[Сетевые технологии, Исследования и прогнозы в IT] Рунета роста пост
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Так вышло, что у меня и у Рунета 7 апреля - День рождения. Ему в этом году 27, мне... чуть больше. На дне рождения часто можно услышать от "о, как вырос!!!" и "уже отца перерос" до "а ты совсем не изменился" или "каши надо больше есть". Рунет и Интернет измерять можно по-разному. Геймеры и трейдеры измеряют в миллисекундах, стримеры - в битах/с, маркетологи - в уникальных посетителях. Сегодня я предлагаю вашему вниманию свою оценку - в интернет-провайдерах и их связях. Кстати, на Хабре есть подробный рассказ про устройство Интернета. Сеть Интернет может быть представлена в виде графа, вершинами которого являются автономные системы (АС), а ребрами - связи между АС, о которых мы узнаем по протоколу BGP. 
Примерно так атрибут AS_PATH превращается в графПоскольку имеем дело с аристократами графами, то и подход к их хранению и анализу нужен специальный. Я остановился на СУБД Neo4j тыц тыц.В качестве исходных данных выбрана система сбора маршрутной информации Routing Information Service со следующими ограничениями:
- рассматриваются маршрутные данные только коллекторанаMSK-IX и только по префиксам IPv4;
- период рассмотрения: 2006 – 2020 годы (коллектор начал работу в 2005 году);
- каждый год представлен данными только за 1 день: 7 апреля
Немного про предобработку исходных данныхТаблицы маршрутизации представлены в формате MRT и нативного загрузчика в БД Neo4j нет, поэтому исходные данные преобразуются в формат csv:as_from,as_to
28917,1299
1299,701
701,703
703,8057 Каждая строка описывает связь двух АС. Исходные данные обладают высокой избыточностью, поскольку одна и та же связь АС присутствует в маршрутах до различных IP-префиксов. Для устранения избыточности в csv-файл каждая связь АС добавляется только один раз.Применение интернет-провайдерами искусственного удлинения маршрутов приводит к тому, что в атрибуте AS_PATH одна и та же АС присутствует несколько раз подряд. Для устранения избыточности в csv-файл не добавлялись связи АС с самой собой (петли).Для создания графа Рунета были отобраны связи между российскими АС (по данным из этого источника).После загрузки в БД имеем 15 графов для глобальной сети и столько же для Рунета. В качестве метрик выбраны:
- количество АС
- количество связей АС
- максимальная степень связности АС
- распределение степени связности АС
Количество АСТут без сюрпризов - линейный рост количества провайдеров во всемирной сети более чем в 3 раза. Полученные данные совпадают с результатами Джефа Хьюстона (Geoff Huston). В Рунете темп роста количества АС значительно замедлился в 2012-2013 годах - интернет-провайдеры стали появляться реже. 
Количество связей АС и максимальная степень связности АСВместе с количеством вершин растет и количество связей, это ожидаемо. В глобальной сети максимальная степень связности АС за 15 лет выросла почти в 3 раза, однако рост нельзя назвать линейным: в 2008, 2016 и 2019 годах зафиксированы ее уменьшения.В Рунете максимальная степень связности выросла более чем в 5 раз, и это без учета связей с зарубежными АС! На графике хорошо виден спад максимальной степени связности в 2012 году, после которого выйти на прежнее максимальное значение получилось только к 2016 году. 
Распределение степени связности АСПредложенная учеными Альбертом-Ласло Барабаши и Ре́кой Альберт модельбезмасштабного (scale-free) графа адекватно описывает граф связей АС. В этой модели степени вершин распределены в соответствии с показательным законом и учитывается принцип предпочтительного присоединения: чем больше степень вершины в графе, тем больше вероятность появления инцидентных ей ребер. Учитывая контекст повествования, можно сказать - чем крупнее интернет-провайдер, тем быстрее растет его связность.Анализ графиков позволяет утверждать, что распределение степеней связности внутри Рунета соответствует таковому в глобальной сети. 
Посмотрев на картинки, можно с уверенностью сказать - закономерности роста Рунета соответствуют закономерностям роста глобальной сети. В планах - с применением граф-ориентированных алгоритмов из библиотеки Graph Data Science попытаться в графе АС найти следы пиринговых войн, а также построить модель для предсказания связей между интернет-провайдерами. Всем графов!
===========
Источник:
habr.com
===========
Похожие новости:
- [Сетевые технологии, Беспроводные технологии, Разработка систем связи, Научно-популярное, Космонавтика] Всё о проекте «Спутниковый интернет Starlink». Часть 26. Первые итоги. Часть первая — позитивная
- [Настройка Linux, Сетевые технологии] Настройка сетевого стека Linux для высоконагруженных систем (перевод)
- [Децентрализованные сети, Сетевые технологии, DNS, Mesh-сети] Meshname – DNS судного дня
- [Исследования и прогнозы в IT] Почему искусственный интеллект пока не будет вас убивать
- [IT-инфраструктура, Сетевые технологии, Сетевое оборудование] 30+ предстоящих вебинаров Huawei: выбираем, критикуем, оставляем заявки
- [Сетевые технологии, Облачные сервисы, Сетевое оборудование] VMware SD-WAN: обзор решения
- [Машинное обучение, Исследования и прогнозы в IT, Учебный процесс в IT, Социальные сети и сообщества] Как системы ИИ преображают digital-маркетинг — мнение эксперта и обсуждение проектов
- [Управление проектами, Исследования и прогнозы в IT, Развитие стартапа, Лайфхаки для гиков] Разум vs Интуиция или как принимать решения
- [Информационная безопасность, Сетевые технологии] MaxPatrol 8 — Работа с системой
- [Сетевые технологии, Беспроводные технологии, Терминология IT, Сетевое оборудование, Сотовая связь] Архитектура, узлы и интерфейсы O-RAN (перевод)
Теги для поиска: #_setevye_tehnologii (Сетевые технологии), #_issledovanija_i_prognozy_v_it (Исследования и прогнозы в IT), #_runet (рунет), #_svjaznost (связность), #_neo4j, #_setevye_tehnologii (
Сетевые технологии
), #_issledovanija_i_prognozy_v_it (
Исследования и прогнозы в IT
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:22
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Так вышло, что у меня и у Рунета 7 апреля - День рождения. Ему в этом году 27, мне... чуть больше. На дне рождения часто можно услышать от "о, как вырос!!!" и "уже отца перерос" до "а ты совсем не изменился" или "каши надо больше есть". Рунет и Интернет измерять можно по-разному. Геймеры и трейдеры измеряют в миллисекундах, стримеры - в битах/с, маркетологи - в уникальных посетителях. Сегодня я предлагаю вашему вниманию свою оценку - в интернет-провайдерах и их связях. Кстати, на Хабре есть подробный рассказ про устройство Интернета. Сеть Интернет может быть представлена в виде графа, вершинами которого являются автономные системы (АС), а ребрами - связи между АС, о которых мы узнаем по протоколу BGP.  Примерно так атрибут AS_PATH превращается в графПоскольку имеем дело с аристократами графами, то и подход к их хранению и анализу нужен специальный. Я остановился на СУБД Neo4j тыц тыц.В качестве исходных данных выбрана система сбора маршрутной информации Routing Information Service со следующими ограничениями:
28917,1299 1299,701 701,703 703,8057 Каждая строка описывает связь двух АС. Исходные данные обладают высокой избыточностью, поскольку одна и та же связь АС присутствует в маршрутах до различных IP-префиксов. Для устранения избыточности в csv-файл каждая связь АС добавляется только один раз.Применение интернет-провайдерами искусственного удлинения маршрутов приводит к тому, что в атрибуте AS_PATH одна и та же АС присутствует несколько раз подряд. Для устранения избыточности в csv-файл не добавлялись связи АС с самой собой (петли).Для создания графа Рунета были отобраны связи между российскими АС (по данным из этого источника).После загрузки в БД имеем 15 графов для глобальной сети и столько же для Рунета. В качестве метрик выбраны:
 Количество связей АС и максимальная степень связности АСВместе с количеством вершин растет и количество связей, это ожидаемо. В глобальной сети максимальная степень связности АС за 15 лет выросла почти в 3 раза, однако рост нельзя назвать линейным: в 2008, 2016 и 2019 годах зафиксированы ее уменьшения.В Рунете максимальная степень связности выросла более чем в 5 раз, и это без учета связей с зарубежными АС! На графике хорошо виден спад максимальной степени связности в 2012 году, после которого выйти на прежнее максимальное значение получилось только к 2016 году.  Распределение степени связности АСПредложенная учеными Альбертом-Ласло Барабаши и Ре́кой Альберт модельбезмасштабного (scale-free) графа адекватно описывает граф связей АС. В этой модели степени вершин распределены в соответствии с показательным законом и учитывается принцип предпочтительного присоединения: чем больше степень вершины в графе, тем больше вероятность появления инцидентных ей ребер. Учитывая контекст повествования, можно сказать - чем крупнее интернет-провайдер, тем быстрее растет его связность.Анализ графиков позволяет утверждать, что распределение степеней связности внутри Рунета соответствует таковому в глобальной сети.  Посмотрев на картинки, можно с уверенностью сказать - закономерности роста Рунета соответствуют закономерностям роста глобальной сети. В планах - с применением граф-ориентированных алгоритмов из библиотеки Graph Data Science попытаться в графе АС найти следы пиринговых войн, а также построить модель для предсказания связей между интернет-провайдерами. Всем графов! =========== Источник: habr.com =========== Похожие новости:
Сетевые технологии ), #_issledovanija_i_prognozy_v_it ( Исследования и прогнозы в IT ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:22
Часовой пояс: UTC + 5