До 2016 года и я, и Дмитрий работали в Enterprise-секторе, в том числе в таких компаниях, как Dell, HP, EMC. Анализируя облачный рынок в России, мы поняли, что он активно растет, и решили, что сможем сделать рынку интересное предложение. Собралась команда людей, которые уже работали друг с другом по другим проектам, и вместе начали разрабатывать собственную платформу виртуализации, нацеленную на крупный бизнес с его специфическими запросами. С 2018 года параллельно запустили облачный хостинг «для всех», выделили под проект Boodet.online команду из пяти человек.
Стойка хранения и приготовления перед стартом

Да, он работает параллельно — там уже более крупная команда, и речь больше про программно-аппаратные решения для IT-инфраструктуры, не про хостинг.

Начинали с классического IaaS: предоставляли «голые» виртуальные серверы с закрытыми портами и виртуальные сети для них, чтобы пользователь сам мог создавать полноценную инфраструктуру под себя. Но после старта оказалось, что большинство юзеров не поняли, для чего им такие возможности, и мы решили ввести новый для себя продукт — стандартный VDS/VPS, с которым рынок уже знаком. Для нас это была, по сути, урезанная версия продукта, но пользователи сразу поняли, что это такое, и мы начали получать первых клиентов. Видимо, наш опыт с крупными компаниями заставил разработать сразу более сложное и кастомизированное решение, а массовый рынок хочет простоты. И дальше на базе VPS мы начали развивать новые сервисы, исходя из того, что чаще всего просят клиенты. И развиваем до сих пор.

Всё оборудование наше, арендуем мы только место в двух дата-центрах. Начинали с трех ДЦ: хотели реализовать трехстороннюю отказоустойчивость, но спрос на нее в тот момент был слишком небольшим, чтобы инвестировать в это, поэтому от третьего дата-центра отказались. У нас был один переезд: как раз переезжали из третьего дата-центра в один из оставшихся двух. Выбирали по такому принципу: ДЦ должны быть известны на рынке, надежные (Tier III), чтобы оба территориально находились в Москве, в удаленных друг от друга районах.

Сейчас размещаемся в DataSpace и 3Data. Отказались от одного из ЦОДов 3Data.
Покидаем третий дата-центр

Арендуем.

По большому счету, чтобы быстро расти. Мы предоставляем клиентам виртуальную инфраструктуру, за которую не надо сразу отдавать капитальные вложения, и можно разбить затраты помесячно. Сами мы придерживаемся той же философии, что и наши клиенты — стремимся к расширению и быстрому масштабированию.

Пока что не заметили значительного спроса, поэтому не добавляли себе, но архитектура по выводу проработана, готовы «выкатить» за короткое время, как только поймем, что есть запросы.

Всё верно, но мы используем не «голый» KVM, а полноценную, доработанную систему виртуализации на базе KVM, которую разработал наш «старший брат», включая систему хранения данных (SDS) и программно-определяемую сеть (SDN). Выбирали, исходя из того, чтобы построить максимально отказоустойчивый продукт без единичных точек отказа. Показывает себя хорошо, пока глобальных проблем в проде не возникало. На этапе альфа-тестирования на рынке, когда мы предоставляли услуги первым клиентам за бонусные баллы, обкатывали технологию и поймали ряд неприятных моментов, но за последние два года многое удалось понять и решить.

Оверселлинг используем только по процессорам, но ни в коем случае не по оперативной памяти. Даже в случае физических процессоров не допускаем их загрузку более 75%. По дискам: работаем с «тонким» выделением емкости. У нас централизованный мониторинг всего окружения, что позволяет контролировать нагрузку. За поддержку всей инфраструктуры отвечают два инженера, поэтому мы пытаемся максимально автоматизироваться и собирать всевозможную информацию по системе. Любые отклонения от нормального режима сразу же видны, при этом мы периодически оцениваем и перебалансируем нагрузку внутри инфраструктуры. Перебалансировка всегда происходит в онлайн-режиме незаметно для клиентов.

На данный момент 76 серверов, новые добавляем примерно каждые четыре-пять месяцев. Используем QCT, Intel, Supermicro.

По ресурсам такого не было. Пока растём более-менее равномерно. Но был случай, когда пришел пользователь и захотел 50 IP, каждый — в отдельном блоке. Разумеется, подобного у нас пока нет :)

Самые популярные — банковская карта и QIWI. Меньше всего — оплата безналичным переводом по оферте для юрлиц, зато такие переводы самые объемные (компании платят, как правило, за солидные ресурсы на несколько месяцев). Также отстает PayPal: при старте мы не рассчитывали на зарубежных пользователей, но они стали появляться.

У нас вообще вся система — собственной разработки. Существующие платформы не показались нам очень удобными в плане UX, поэтому решили делать и развивать свою. Биллинг — это лишь один из микросервисов, которые входят в состав системы. Разрабатывать оказалось сложнее, чем думали на старте. Даже в какой-то момент пришлось сдвинуть запуск проекта, чтобы успеть подготовить рабочий продукт, за который не было бы стыдно на альфа-тестировании. Впоследствии “обросли” компетенциями по методике разработки на долгой дистанции и продукт-менеджменту. Сейчас уже проще добавлять в систему новый функционал и новые продукты.

На весь проект у нас пять человек, из них — два разработчика (frontend и backend). Back написан на RoR/Python. Front — это JS.

У нас три точки входа: чат, телефон и система заявок из личного кабинета. Две линии поддержки: если дежурный инженер не смог решить проблему, подключается технический директор или команда разработки. Если проблема в основной платформе, что случается гораздо реже, то технический директор обращается в поддержку «старшего брата». Ночью реагируем только на звонки заказчиков, которые покупают отдельное техническое обслуживание, или на сбои платформы, сообщенные через специально написанного бота в Телеграм.
Самые популярные вопросы:

• Доступны ли наши IP в Туркменистане (это самый первый по популярности — видимо, в стране жесткая политика блокировок).
  
• Как установить то или иное ПО.
  
• Как получить root-доступ (сделана даже специальная памятка в интерфейсе при создании машин, но и она не всегда помогает).

Верификация по почте и телефону (если пользователь подключает 2FA). Спамеры и другие абьюзеры появляются периодически. Мы вынуждены реагировать временной блокировкой скомпрометированных серверов, так как не хотим, чтобы IP попадали в черные списки. Но всегда предварительно пишем пользователю, что на него пришла жалоба, просим связаться и обсудить проблему. Если пользователь не реагирует, или появляются повторные жалобы, блокируем аккаунт целиком и удаляем серверы.

Клиентов атакуют довольно редко. Но нас самих часто — сайт, личный кабинет. Иногда долбят сеть по разным IP-адресам. Не беремся судить, кто это и зачем, тут может быть несколько вариантов. Бывают даже попытки атаковать нас изнутри. Раньше при верификации по телефону мы выдавали бонусные сто рублей, чтобы нормальные пользователи могли протестировать любые конфигурации. Но однажды пришел пользователь с «пачкой симок» и из-под одного IP начал создавать десятки аккаунтов, получая на них бонусы. Поэтому пришлось убрать автоматическое начисление тестовых баллов. Теперь на тестирование нужно подать запрос в техподдержку, и каждый случай рассматриваем отдельно.

Офис есть, но с началом ограничений из-за коронавируса все отправились на работу из дома / дачи / родного города.
Наш офис

Идем к добавлению новых сервисов. У нас обширная roadmap, мы не прерываем разработку, и каждые две недели выходит новый релиз личного кабинета. Добавляем функционал и услуги, которые востребованы у коллег, добавляем то, что просят клиенты.

Каналы привлечения клиентов в нашей сфере — то, на чем держится весь бизнес, если есть рабочий хороший продукт. Поэтому не готовы делиться.
Churn rate, LTV и жизненный цикл — тоже довольно важные показатели, которые мы используем только для внутренней аналитики, но не для разглашения.

Самое главное — это выбирать хостинг с буквой “B” в начале названия.
А если серьезно, то есть несколько факторов, на которые надо обратить внимание:

• Чтобы понять качество, можно взять среднюю конфигурацию и попробовать решить на ней свои прикладные задачи. Выбирайте хостинги, у которых есть почасовой тариф — Вы сможете протестировать серверы, не потеряв много в деньгах, если качество не устроит.
  
• Смотрите на дата-центры, в которых у хостера находятся физические серверы. По ним можно примерно судить по качеству услуг.
  
• Не советуем обращать внимания на цены: есть как супердешевые решения, но неплохо себя показывающие, так и супердорогие, которые ничем особенным не отличаются.

Старт проекта. Первые полтора месяца работали в режиме 24/7: смотрели, как идут регистрации, не ломается ли что-то в интерфейсе личного кабинета, как ведут себя пользователи, удобно ли им заказывать услуги. Многое пришлось решать прямо на ходу, вплоть до того, чтобы заменять одни продукты другими. Изменения делали сразу в проде, минуя тестовые среды. Это был напряженный период, но удалось выжить и не бросить это дело.
Пользователи, которые приходили за уязвимостями в логике. Интересно было их отлавливать и закрывать уязвимости. Например, когда мы еще работали не за деньги, а начисляли бонусы, чтобы пользователи могли заказывать серверы, ссылку на нас выложили на одном из хакерских форумов с комментарием: “дают бесплатно серверы на 500 рублей”. Конечно, нас тут же заполонили ребята-майнеры, жаждущие халявы.

• Первая половина 2017 года — начали разрабатывать платформу, сайт и личный кабинет Boodet.online.
  
• 2018 год — вышли в альфа-тестирование, предоставляли мощности клиентам бесплатно и получали развернутые отзывы и результаты тестирования взамен.
  
• Середина 2018 года — запустили бета-версию с деньгами. Первые сотни клиентов, обкатка техподдержки.
  
• 2019 год — начали привлекать в клиенты юридические лица, работать над кастомными решениями.
  
• 2020 год — все уходят на самоизоляцию, растет спрос на виртуализацию. Мы ощущаем это на себе — происходит прирост клиентов, что дает возможность работать над большим количеством дополнительных услуг.