[Распределённые системы] Webtor.io и в чем его отличия от обычного сидбокса
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Сегодня я вам расскажу вам о сервисе webtor.io для проигрывания и скачивания торрентов онлайн. О том что он умеет, зачем нужен, а также с какими трудностями пришлось столкнуться в процессе разработки читаем далее.
Что это такое и что умеетWebtor предоставляет онлайн-доступ к содержимому любого торрент-файла, если конечно есть доступные пиры. Контент можно не только скачать, его также можно и просмотреть. Всё работает через обычный браузер без каких-либо расширений, т.е. будет работать даже на мобильных устройствах. Причем если проигрывание контента не поддерживается нативно в браузере (например mkv), то осуществляется его транскодирование на лету. Проигрывание начинается без ожидания полной загрузки файла из BitTorrent-сети, т.е. почти сразу. Всё бесплатно и без регистрации. Загружать можно как публичные, так и приватные торренты. Загрузки абсолютно анонимны и безопасны, ip-адрес пользователя не виден участникам BitTorrent-сети.Помимо самого сайта webtor.io существует расширение для Google Chrome и SDK для встраивания плеера в любой другой сайт.Код почти всех компонентов был передан в open source, посмотреть можно здесь.В чем отличие от обычного сидбоксаСтандартные сидбоксы обычно работают по подписке. Чем дороже подписка тем больший объем хранилища и трафика предоставляется. В Webtor решили переосмыслить работу сидбокса и предложить пользователям загружать контент из BitTorrent-сети за просмотр рекламы без возможности длительного хранения в облаке. Основной целью было сократить количество действий пользователя для получения контента.Технические деталиВся система работает под управлением Kubernetes, практически весь бэкенд написан на golang. Каждая загрузка торрента - это отдельная задача (job) в кластере. Общение между сервисами осуществляется через GRPC. Фронтенд написан на Vue.js. Фронт с бэком общается через специальный прокси который проверяет авторизацию и связывает с нужным сервисом внутри кластера. Сборка проектов проходит через Google Cloud Build.Для мониторинга используется Promethus и Grafana.История появленияКогда-то давно я разрабатывал один сайт. Он агрегировал видео-торренты со всех популярных отечественных трекеров, группировал их по конкретному кинопроизведению и подтягивал данные с кинопоиска. В итоге получалась видео-витрина и как-то я подумал, что было бы неплохо реализовать там возможность не только скачивать торрент-файлы, но и онлайн-просмотр. Я пробовал подтягивать соответствующее видео с VK, но это было всё не то, хотелось настоящего стримминга контента из BitTorrent-сети. В какой-то момент, времени стало не хватать на поддержку сайта и пришлось его забросить, а идею забыть... на время...Год спустя (где-то в 17-ом году) я наткнулся на проект, который произвёл на меня сильное впечатление, это был webtorrent.io. "Как раз то что надо" - подумал я. Всё там хорошо, можно проигрывать торрент-файлы через браузер, никакой торрент-клиент устанавливать не нужно, но есть нюанс, доступны только те торренты которые раздаются с использованием webtorrent. И тут появилась идея разработать сервис который позволил бы объединить лучшее из обоих миров и в случае если нет раздающих пиров в webtorrent-сети загружать контент через стандартную BitTorrent-сеть. Для реализации необходимо было разработать сервис, который начинал бы загрузку торрент-файлов и передавал полученные фрагменты по http на лету. Под руку попалась гибридная версия всё того же webtorrent которая могла загружать контент через стандартную BitTorrent-сеть, но уже в исполняемой среде Node.js. Кроме того подкупала возможность разработать проект целиком на JavaScript. Спустя некоторое время удалось разработать прототип который вполне исправно работал. Функционально всё работало хорошо, но после релиза, с увеличением потока посетителей, выяснилась одна неприятная особенность, у приложения были большие аппетиты и оно периодически съедало всю доступную оперативную память, что приводило к полной перезагрузке и обрыву всех текущих соединений. Было потрачено много ночей на поиск утечки памяти, но кардинально изменить ситуацию не удалось. Наверное можно было всё и бросить на этом моменте, учитывая что были и добрые люди которые уверяли, что проект "не взлетит" поскольку доход с проекта никогда не превысит затрат на хостинг. Но тут я не стал унывать и решил двигаться дальше.Чем дальше я углублялся в поиски решения тем более отчётливо становилось понятно, что бэкенд необходимо переписать заново. В конце концов выбор пал на golang в основном из-за его малой требовательности к ресурсам. Опыта разработки на нём у меня было на тот момент довольно мало, но к счастью все необходимые библиотеки уже были кем-то написаны (это также было одной из ключевых причин выбора). Ну и, чтобы добавить драматизма в происходящее решено было построить всё на базе Kubernetes. Решение оказалось выигрышным, удалось без особых сложностей переписать весь имеющийся функционал. В процессе работы было создано порядка дюжины сервисов.Сервис стал работать довольно стабильно, люди начали интересоваться проектом. Кто-то хотел проигрывать торрент-контент у себя на сайте, кто-то хотел хостить бэкенд у себя на оборудовании и использовать в личных целях. Для удовлетворения потребностей обеих групп населения весь бэкенд был передан в open-source, а также был разработан SDK для встраивания торрент-плеера на сайт.Проект за свою жизнь уже пережил порядка 5 переездов по разным причинам и каждый переезд занимал не более суток. Я не раз становился бета-тестером различных Kubernetes-as-a-service решений от различных хостеров и приходилось разбираться в проблемах различной степени тяжести. Весь полученный опыт мне удалось успешно применить в работе.Спасибо за внимание!
===========
Источник:
habr.com
===========
Похожие новости:
- [Open source, GitHub, Копирайт] GitHub удалил репозиторий торрент-трекера NYAA.si
- [Децентрализованные сети, Git, Распределённые системы, Социальные сети и сообщества] git-ssb — децентрализованный хостинг git-репозиториев
- [Python, Распределённые системы] Реализация распределённых вычислений на языке python с использованием технологии docker
- [Анализ и проектирование систем, .NET, C#, Распределённые системы] Оркестратор бесконечных задач
- [Java, Облачные сервисы, Распределённые системы, Kubernetes] Почему JVM —это ОС и больше чем Кубер
- [Децентрализованные сети, NoSQL, Хранилища данных, Распределённые системы, IPFS] CRDT, RON и Сети Данных
- [Децентрализованные сети, IT-стандарты, Распределённые системы, Криптовалюты, Подготовка технической документации] Тернистый путь стандартизации блокчейн технологий в России
- [Habr, Распределённые системы] Анонимный Дед Мороз 2020-2021: пост хвастовства новогодними подарками
- [Высокая производительность, Анализ и проектирование систем, Серверная оптимизация, Распределённые системы] Архитектура отказоустойчивого планировщика задач. Доклад Яндекса
- [Анализ и проектирование систем, Проектирование и рефакторинг, Распределённые системы, Микросервисы] Макропроблема микросервисов (перевод)
Теги для поиска: #_raspredelennye_sistemy (Распределённые системы), #_torrent, #_seedbox, #_webtor, #_raspredelennye_sistemy (
Распределённые системы
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 26-Ноя 03:59
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Сегодня я вам расскажу вам о сервисе webtor.io для проигрывания и скачивания торрентов онлайн. О том что он умеет, зачем нужен, а также с какими трудностями пришлось столкнуться в процессе разработки читаем далее.  Что это такое и что умеетWebtor предоставляет онлайн-доступ к содержимому любого торрент-файла, если конечно есть доступные пиры. Контент можно не только скачать, его также можно и просмотреть. Всё работает через обычный браузер без каких-либо расширений, т.е. будет работать даже на мобильных устройствах. Причем если проигрывание контента не поддерживается нативно в браузере (например mkv), то осуществляется его транскодирование на лету. Проигрывание начинается без ожидания полной загрузки файла из BitTorrent-сети, т.е. почти сразу. Всё бесплатно и без регистрации. Загружать можно как публичные, так и приватные торренты. Загрузки абсолютно анонимны и безопасны, ip-адрес пользователя не виден участникам BitTorrent-сети.Помимо самого сайта webtor.io существует расширение для Google Chrome и SDK для встраивания плеера в любой другой сайт.Код почти всех компонентов был передан в open source, посмотреть можно здесь.В чем отличие от обычного сидбоксаСтандартные сидбоксы обычно работают по подписке. Чем дороже подписка тем больший объем хранилища и трафика предоставляется. В Webtor решили переосмыслить работу сидбокса и предложить пользователям загружать контент из BitTorrent-сети за просмотр рекламы без возможности длительного хранения в облаке. Основной целью было сократить количество действий пользователя для получения контента.Технические деталиВся система работает под управлением Kubernetes, практически весь бэкенд написан на golang. Каждая загрузка торрента - это отдельная задача (job) в кластере. Общение между сервисами осуществляется через GRPC. Фронтенд написан на Vue.js. Фронт с бэком общается через специальный прокси который проверяет авторизацию и связывает с нужным сервисом внутри кластера. Сборка проектов проходит через Google Cloud Build.Для мониторинга используется Promethus и Grafana.История появленияКогда-то давно я разрабатывал один сайт. Он агрегировал видео-торренты со всех популярных отечественных трекеров, группировал их по конкретному кинопроизведению и подтягивал данные с кинопоиска. В итоге получалась видео-витрина и как-то я подумал, что было бы неплохо реализовать там возможность не только скачивать торрент-файлы, но и онлайн-просмотр. Я пробовал подтягивать соответствующее видео с VK, но это было всё не то, хотелось настоящего стримминга контента из BitTorrent-сети. В какой-то момент, времени стало не хватать на поддержку сайта и пришлось его забросить, а идею забыть... на время...Год спустя (где-то в 17-ом году) я наткнулся на проект, который произвёл на меня сильное впечатление, это был webtorrent.io. "Как раз то что надо" - подумал я. Всё там хорошо, можно проигрывать торрент-файлы через браузер, никакой торрент-клиент устанавливать не нужно, но есть нюанс, доступны только те торренты которые раздаются с использованием webtorrent. И тут появилась идея разработать сервис который позволил бы объединить лучшее из обоих миров и в случае если нет раздающих пиров в webtorrent-сети загружать контент через стандартную BitTorrent-сеть. Для реализации необходимо было разработать сервис, который начинал бы загрузку торрент-файлов и передавал полученные фрагменты по http на лету. Под руку попалась гибридная версия всё того же webtorrent которая могла загружать контент через стандартную BitTorrent-сеть, но уже в исполняемой среде Node.js. Кроме того подкупала возможность разработать проект целиком на JavaScript. Спустя некоторое время удалось разработать прототип который вполне исправно работал. Функционально всё работало хорошо, но после релиза, с увеличением потока посетителей, выяснилась одна неприятная особенность, у приложения были большие аппетиты и оно периодически съедало всю доступную оперативную память, что приводило к полной перезагрузке и обрыву всех текущих соединений. Было потрачено много ночей на поиск утечки памяти, но кардинально изменить ситуацию не удалось. Наверное можно было всё и бросить на этом моменте, учитывая что были и добрые люди которые уверяли, что проект "не взлетит" поскольку доход с проекта никогда не превысит затрат на хостинг. Но тут я не стал унывать и решил двигаться дальше.Чем дальше я углублялся в поиски решения тем более отчётливо становилось понятно, что бэкенд необходимо переписать заново. В конце концов выбор пал на golang в основном из-за его малой требовательности к ресурсам. Опыта разработки на нём у меня было на тот момент довольно мало, но к счастью все необходимые библиотеки уже были кем-то написаны (это также было одной из ключевых причин выбора). Ну и, чтобы добавить драматизма в происходящее решено было построить всё на базе Kubernetes. Решение оказалось выигрышным, удалось без особых сложностей переписать весь имеющийся функционал. В процессе работы было создано порядка дюжины сервисов.Сервис стал работать довольно стабильно, люди начали интересоваться проектом. Кто-то хотел проигрывать торрент-контент у себя на сайте, кто-то хотел хостить бэкенд у себя на оборудовании и использовать в личных целях. Для удовлетворения потребностей обеих групп населения весь бэкенд был передан в open-source, а также был разработан SDK для встраивания торрент-плеера на сайт.Проект за свою жизнь уже пережил порядка 5 переездов по разным причинам и каждый переезд занимал не более суток. Я не раз становился бета-тестером различных Kubernetes-as-a-service решений от различных хостеров и приходилось разбираться в проблемах различной степени тяжести. Весь полученный опыт мне удалось успешно применить в работе.Спасибо за внимание! =========== Источник: habr.com =========== Похожие новости:
Распределённые системы ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 26-Ноя 03:59
Часовой пояс: UTC + 5