[Сетевые технологии, Социальные сети и сообщества, Сетевое оборудование] Как замедлили Twitter? Что такое DPI? Разбор
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Наверное, вы слышали, что на этой неделе стартовало так называемое замедление Twitter.
С 10 марта 100% мобильного и 50% стационарного трафика Twitter в России официально замедлены. Все это стало возможным благодаря технологии DPI. Мы решили разобраться, как это работает и как устроен механизм замедления.
Почему это важно? Можно предположить, что Twitter — это репетиция перед замедлением/блокировкой Facebook, а потом YouTube.
Поэтому сегодня разберемся, что такое DPI, как работает и какие у него возможности.
Будет ли у нас как в Китае? И как от этого защититься?
Извините, данный ресурс не поддреживается. :(
Начнем издалека, в ноябре 2019 года вступил в силу закон, по которому операторы связи должны были начать установку специальных «технических средств противодействия угрозам» (ТСПУ).
Позднее выяснилось, что за аббревиатурой ТСПУ скрывалась известная любому сисадмину технология DPI — Deep Packet Inspection или «Глубокий анализ пакетов». Не путать с плотностью пикселей на дюйм — это тоже DPI, но Dots Per Inch.
И вот она дошла до тестирования в масштабах страны. На примере твиттера.
Я сразу скажу, что осуждаю подобное давление на соцсети, потому что это угроза свободе слова, которая у нас только в интернете и сохраняется. Но перейдем к технологиям.
Как работает DPI?
Сисадмины знают, что передача данных в сети разделена на уровни: от физического, где передаются биты, до уровня приложений, где упаковывается сообщение в мессенджере. На каждом уровне пакет данных пополняется своими метаданными, относящимися к нему. Получается своеобразная матрешка. Например, какое приложение отправляет информацию, на какой IP-адрес и так далее.
Так вот DPI умеет просматривать данные разного уровня и сами пакеты. И оно может понять не только откуда и куда идет трафик, но и что это за трафик конкретно: текстовое сообщение, картинки или видео, голосовой трафик Skype или может даже торрент. А дальше сделать с ним, то что хочется:
- Приоритизировать
- Ограничить по скорости
- Перенаправить
- Заблокировать
- Ну или, конечно, передать получателю.
Кстати насколько именно замедляется Twitter сейчас — непонятно. Лично я проблем пока не наблюдаю. Но почему так мы еще поговорим.
Это сильно упрощает задачи по блокировке сайтов и сервисов. Почему?
Раньше блокировки делались по IP-адресам. А это означало, что сервис ограничивался полностью. А кроме этого страдали сайты, которые записаны на тот же IP-адрес.
Теперь можно внимательно рассматривать пакеты и заблокировать, к примеру только загрузку картинок.
Но как вся эта вундер-технология работает?
Есть две вещи, которые анализирует DPI: сами пакеты информации, причем как метаданные и заголовки, так и внутреннее содержимое. И второе — это так сказать поведение пакетов данных.
Давайте посмотрим на пример. Вот так выглядит заголовок пакета при получении данных браузером и с ним все ясно. Сверху написан протокол HTTP, то есть скорее всего веб-страничка. Мы видим адрес запроса. И даже, какие именно данные отправляются.
В данном случае, это небольшая картинка. И ее размер в байтах тоже написан. Даже не нужно залезать внутрь самих данных, чтобы понять, что перед нами.
С зашифрованным трафиком сложнее. Тут инфы намного меньше. Система увидит, какой порт используется (это дает намек на тип приложения), IP-адреса, тип шифрования. А все остальное зашифровано, даже URL-адрес.
Есть и вторая часть алгоритмов DPI. DPI применяет так называемый эвристический анализ: из пакета извлекаются небольшие кусочки данных, так сказать образцы. А дальше система смотрит на что эти данные похожи. Сравнивая их с огромной базой известных образцов. Такие образцы данных называются сигнатурами трафика.
Это очень похоже на то как работает Shazam, который сравнивает небольшой кусочек песни, записанный вами на диктофон, с огромной базой сигнатур песен которые хранятся на сервере. То есть по большому счету DPI — это Shazam для трафика.
Кстати, точно по такому же принципу работают антивирусы, они сравнивают сигнатуры новых вирусов с огромной базой известных вирусов.
Кроме этого DPI смотрит на частоту и размер пакетов, потому что разные приложения тоже имеют свои особенности. Например, торренты очень своеобразно отправляют пакеты.
И главное, что поскольку все происходит в реальном времени, такой подход позволяет не сильно замедлять интернет.
Как можно использовать DPI?
Классифицировав пакет, технология DPI позволяет много чего с ним сделать и в целом технология может быть полезна. С помощью DPI можно повышать качество и скорость соединения, приоритизируя один тип трафика над другим. Например, если в вашей локалке все качают торренты, то люди не смогут нормально созвониться по ZOOM по работе. Тогда DPI позволит трафику ZOOM поставить приоритет повыше.
Но если вы Роскомнадзор, у вас вероятно другие приоритеты.
Но вопрос в том, кто будет определять, какой трафик приоритетный а какой нет, остается открытым. Например, при помощи DPI вполне можно продвигать одни сервисы и замедлять другие: отдавая приоритеты отечественным аналогам. К примеру, можно замедлить YouTube и при этом ускорить Rutube. В общем, вариантов для фантазии масса.
Архитектура или почему все снова пошло не по плану?
Но если существует такой мощный инструмент, почему же с Twitter по-прежнему все весьма неплохо?
Важным является вопрос архитектуры и внедрения: то есть, где именно устанавливать DPI-оборудование. Чтобы весь трафик страны проходил проверку, необходимо, чтобы операторы ставили DPI на всех своих пограничных шлюзах. Логично.
Вы обратили внимание, что анонсировано: Замедление для 100% мобильного трафика, а для стационарного только 50%? Распространять опасный по мнению РКН контент через компы не так опасно, что ли? Нет.
Просто внедрили технологию далеко не все. С тусовкой мобильных операторов удалось договориться. А маленьких местных провайдеров интернета — огромное количество. Но это полбеды.
Во-вторых, как и в случае с Telegram, заблокировать Twitter не так уж и просто. Дело в том, что Twitter для обеспечения высокой скорости работы сервиса по всему миру пользуется услугами CDN-провайдера. Он называется Akamai.
CDN — Content Delivery Network — сеть доставки контента.
CDN-провайдер предоставляет Твиттеру распределенную по всему миру инфраструктуру. Как правило, это необходимо, чтобы пользователь при обращении к какому-либо сайту получал информацию не с его основного сервера, который может находиться на другом конце света, а с ближайшего к нему узла.
Такая распределенная система доставки контента заметно усложняет возможность блокировки или ограничения доступа к ресурсу. Потому что если приложение не получит данные по одному адресу, оно пойдет в другой. А там у оператора может быть не включен DPI.
Чтобы наверняка ограничить доступ к интернет-сервису, использующему CDN, требуется ограничить доступ практически ко всей сети CDN-провайдера, у которого могут быть десятки тысяч серверов по всему миру. Иными словами, чтобы заблокировать Twitter, надо заблокировать CDN-провайдера, а от этого снова ляжет половина интернета.
И я даже не буду останавливаться на курьезной ситуации, когда ограничивают полосу пропускания не только для домена twitter.com, но и для всех доменов, в названии которых есть сочетание «t.co» — это короткий домен, принадлежащий твиттеру. Таким образом, ограничениям подвергались и другие сайты, к примеру: reddit.com, microsoft.com и даже сайт Russia Today — rt.com. Предположительно по этой же причине прилегли сервера ростелекома.
Впрочем, со временем это вроде починили. Интересно другое.
Ограничения DPI. Что делать?
Но самое любопытное: поскольку это своего рода гадание, нет единого стандарта DPI. У каждого поставщика оборудования свои алгоритмы и технологии.
Качество и эффективность работы DPI очень сильно зависит, от качества базы сигнатур, которую должен на постоянной основе обновлять поставщик. Иными словами, если Twitter что-то поменяет в составе пакетов трафика, то не факт, что старые DPI смогут классифицировать трафик по старым сигнатурам.
Ну и наконец, DPI достаточно легко обойти при помощи VPN, так как VPN шифрует весь трафик и подменяет ваш IP-адрес, то и DPI для него не страшен.
Но ожидается и более простое решение. Протоколы шифрования тоже не стоят на месте. И с приходом TLS 1.3 и DNSSEC еще больше данных приложения и пользователя будут скрыты от DPI. И понять, что в системе за пакет будет еще сложнее. Такие дела.
===========
Источник:
habr.com
===========
Похожие новости:
- [Информационная безопасность, Системное администрирование, Сетевые технологии] Как снизить стоимость владения SIEM-системой и повысить качество данных с Quest syslog-ng — анонс вебинара
- [IT-инфраструктура, Сетевые технологии, Сетевое оборудование] Что сегодня есть у Huawei для построения цифровых беспроводных офисов
- [Законодательство в IT, Социальные сети и сообщества, IT-компании] Роскомнадзор дал Google, Twitter и Facebook срок до конца мая для локализации данных россиян
- [Python, Flask] Телеграмм-бот на Python
- [Сетевые технологии, Беспроводные технологии, Разработка систем связи, Научно-популярное, Космонавтика] Всё о проекте «Спутниковый интернет Starlink». Часть 27 Первые итоги. Часть вторая — проблемная
- [Cisco, Сетевые технологии] VxLAN фабрика часть 5. Multisite
- [Системное администрирование, Сетевые технологии, Облачные сервисы, Сетевое оборудование] Как построить сетевую инфраструктуру по-новому? Об удалённом управлении и о много другом
- [Мессенджеры, Бизнес-модели, Финансы в IT] Telegram может выйти на IPO в течение двух лет
- [Виртуализация, Сетевые технологии, Серверное администрирование, Сетевое оборудование] Организация удалённой работы BIM-команды посредством HPE Edgeline, NVIDIA, VMware (перевод)
- [Информационная безопасность, Социальные сети и сообщества] Данные 1,3 млн пользователей Clubhouse выложили в открытый доступ
Теги для поиска: #_setevye_tehnologii (Сетевые технологии), #_sotsialnye_seti_i_soobschestva (Социальные сети и сообщества), #_setevoe_oborudovanie (Сетевое оборудование), #_dpi, #_telegram, #_twitter, #_tvitter (твиттер), #_blokirovka (блокировка), #_roskomnadzor (роскомнадзор), #_rkn (РКН), #_blog_kompanii_droider.ru (
Блог компании Droider.Ru
), #_setevye_tehnologii (
Сетевые технологии
), #_sotsialnye_seti_i_soobschestva (
Социальные сети и сообщества
), #_setevoe_oborudovanie (
Сетевое оборудование
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:36
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Наверное, вы слышали, что на этой неделе стартовало так называемое замедление Twitter. С 10 марта 100% мобильного и 50% стационарного трафика Twitter в России официально замедлены. Все это стало возможным благодаря технологии DPI. Мы решили разобраться, как это работает и как устроен механизм замедления. Почему это важно? Можно предположить, что Twitter — это репетиция перед замедлением/блокировкой Facebook, а потом YouTube. Поэтому сегодня разберемся, что такое DPI, как работает и какие у него возможности. Будет ли у нас как в Китае? И как от этого защититься? Извините, данный ресурс не поддреживается. :( Начнем издалека, в ноябре 2019 года вступил в силу закон, по которому операторы связи должны были начать установку специальных «технических средств противодействия угрозам» (ТСПУ). Позднее выяснилось, что за аббревиатурой ТСПУ скрывалась известная любому сисадмину технология DPI — Deep Packet Inspection или «Глубокий анализ пакетов». Не путать с плотностью пикселей на дюйм — это тоже DPI, но Dots Per Inch.  И вот она дошла до тестирования в масштабах страны. На примере твиттера. Я сразу скажу, что осуждаю подобное давление на соцсети, потому что это угроза свободе слова, которая у нас только в интернете и сохраняется. Но перейдем к технологиям. Как работает DPI? Сисадмины знают, что передача данных в сети разделена на уровни: от физического, где передаются биты, до уровня приложений, где упаковывается сообщение в мессенджере. На каждом уровне пакет данных пополняется своими метаданными, относящимися к нему. Получается своеобразная матрешка. Например, какое приложение отправляет информацию, на какой IP-адрес и так далее. Так вот DPI умеет просматривать данные разного уровня и сами пакеты. И оно может понять не только откуда и куда идет трафик, но и что это за трафик конкретно: текстовое сообщение, картинки или видео, голосовой трафик Skype или может даже торрент. А дальше сделать с ним, то что хочется:
Кстати насколько именно замедляется Twitter сейчас — непонятно. Лично я проблем пока не наблюдаю. Но почему так мы еще поговорим.  Это сильно упрощает задачи по блокировке сайтов и сервисов. Почему? Раньше блокировки делались по IP-адресам. А это означало, что сервис ограничивался полностью. А кроме этого страдали сайты, которые записаны на тот же IP-адрес. Теперь можно внимательно рассматривать пакеты и заблокировать, к примеру только загрузку картинок. Но как вся эта вундер-технология работает? Есть две вещи, которые анализирует DPI: сами пакеты информации, причем как метаданные и заголовки, так и внутреннее содержимое. И второе — это так сказать поведение пакетов данных.  Давайте посмотрим на пример. Вот так выглядит заголовок пакета при получении данных браузером и с ним все ясно. Сверху написан протокол HTTP, то есть скорее всего веб-страничка. Мы видим адрес запроса. И даже, какие именно данные отправляются.  В данном случае, это небольшая картинка. И ее размер в байтах тоже написан. Даже не нужно залезать внутрь самих данных, чтобы понять, что перед нами.   С зашифрованным трафиком сложнее. Тут инфы намного меньше. Система увидит, какой порт используется (это дает намек на тип приложения), IP-адреса, тип шифрования. А все остальное зашифровано, даже URL-адрес. Есть и вторая часть алгоритмов DPI. DPI применяет так называемый эвристический анализ: из пакета извлекаются небольшие кусочки данных, так сказать образцы. А дальше система смотрит на что эти данные похожи. Сравнивая их с огромной базой известных образцов. Такие образцы данных называются сигнатурами трафика.  Это очень похоже на то как работает Shazam, который сравнивает небольшой кусочек песни, записанный вами на диктофон, с огромной базой сигнатур песен которые хранятся на сервере. То есть по большому счету DPI — это Shazam для трафика.  Кстати, точно по такому же принципу работают антивирусы, они сравнивают сигнатуры новых вирусов с огромной базой известных вирусов. Кроме этого DPI смотрит на частоту и размер пакетов, потому что разные приложения тоже имеют свои особенности. Например, торренты очень своеобразно отправляют пакеты. И главное, что поскольку все происходит в реальном времени, такой подход позволяет не сильно замедлять интернет. Как можно использовать DPI? Классифицировав пакет, технология DPI позволяет много чего с ним сделать и в целом технология может быть полезна. С помощью DPI можно повышать качество и скорость соединения, приоритизируя один тип трафика над другим. Например, если в вашей локалке все качают торренты, то люди не смогут нормально созвониться по ZOOM по работе. Тогда DPI позволит трафику ZOOM поставить приоритет повыше. Но если вы Роскомнадзор, у вас вероятно другие приоритеты. Но вопрос в том, кто будет определять, какой трафик приоритетный а какой нет, остается открытым. Например, при помощи DPI вполне можно продвигать одни сервисы и замедлять другие: отдавая приоритеты отечественным аналогам. К примеру, можно замедлить YouTube и при этом ускорить Rutube. В общем, вариантов для фантазии масса. Архитектура или почему все снова пошло не по плану? Но если существует такой мощный инструмент, почему же с Twitter по-прежнему все весьма неплохо? Важным является вопрос архитектуры и внедрения: то есть, где именно устанавливать DPI-оборудование. Чтобы весь трафик страны проходил проверку, необходимо, чтобы операторы ставили DPI на всех своих пограничных шлюзах. Логично. Вы обратили внимание, что анонсировано: Замедление для 100% мобильного трафика, а для стационарного только 50%? Распространять опасный по мнению РКН контент через компы не так опасно, что ли? Нет. Просто внедрили технологию далеко не все. С тусовкой мобильных операторов удалось договориться. А маленьких местных провайдеров интернета — огромное количество. Но это полбеды. Во-вторых, как и в случае с Telegram, заблокировать Twitter не так уж и просто. Дело в том, что Twitter для обеспечения высокой скорости работы сервиса по всему миру пользуется услугами CDN-провайдера. Он называется Akamai. CDN — Content Delivery Network — сеть доставки контента.  CDN-провайдер предоставляет Твиттеру распределенную по всему миру инфраструктуру. Как правило, это необходимо, чтобы пользователь при обращении к какому-либо сайту получал информацию не с его основного сервера, который может находиться на другом конце света, а с ближайшего к нему узла. Такая распределенная система доставки контента заметно усложняет возможность блокировки или ограничения доступа к ресурсу. Потому что если приложение не получит данные по одному адресу, оно пойдет в другой. А там у оператора может быть не включен DPI.  Чтобы наверняка ограничить доступ к интернет-сервису, использующему CDN, требуется ограничить доступ практически ко всей сети CDN-провайдера, у которого могут быть десятки тысяч серверов по всему миру. Иными словами, чтобы заблокировать Twitter, надо заблокировать CDN-провайдера, а от этого снова ляжет половина интернета. И я даже не буду останавливаться на курьезной ситуации, когда ограничивают полосу пропускания не только для домена twitter.com, но и для всех доменов, в названии которых есть сочетание «t.co» — это короткий домен, принадлежащий твиттеру. Таким образом, ограничениям подвергались и другие сайты, к примеру: reddit.com, microsoft.com и даже сайт Russia Today — rt.com. Предположительно по этой же причине прилегли сервера ростелекома. Впрочем, со временем это вроде починили. Интересно другое. Ограничения DPI. Что делать?  Но самое любопытное: поскольку это своего рода гадание, нет единого стандарта DPI. У каждого поставщика оборудования свои алгоритмы и технологии. Качество и эффективность работы DPI очень сильно зависит, от качества базы сигнатур, которую должен на постоянной основе обновлять поставщик. Иными словами, если Twitter что-то поменяет в составе пакетов трафика, то не факт, что старые DPI смогут классифицировать трафик по старым сигнатурам.  Ну и наконец, DPI достаточно легко обойти при помощи VPN, так как VPN шифрует весь трафик и подменяет ваш IP-адрес, то и DPI для него не страшен.  Но ожидается и более простое решение. Протоколы шифрования тоже не стоят на месте. И с приходом TLS 1.3 и DNSSEC еще больше данных приложения и пользователя будут скрыты от DPI. И понять, что в системе за пакет будет еще сложнее. Такие дела. =========== Источник: habr.com =========== Похожие новости:
Блог компании Droider.Ru ), #_setevye_tehnologii ( Сетевые технологии ), #_sotsialnye_seti_i_soobschestva ( Социальные сети и сообщества ), #_setevoe_oborudovanie ( Сетевое оборудование ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:36
Часовой пояс: UTC + 5