[IT-инфраструктура, Сетевые технологии, Сетевое оборудование] Пьеса об СКС в трех действиях, или Как мы создавали систему из 70 тысяч оптических волокон
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Что общего между Крымским мостом и СКС? Мы случайно выяснили: для железнодорожной части этого моста потребовалось 76 000 шпал (по информации из открытых источников). И примерно столько же оптических волокон в нашей СКС, построенной для банка «Открытие». Под катом рассказываю, как мы ее делали и тестировали (и даже немного о том, зачем на проекте понадобился маляр). 
Действующие лица
- Банк «Открытие» — он же заказчик, входит в ТОП-10 банков России.
- ЦОД «Компрессор» — входит в сеть отказоустойчивых дата-центров ИТ-компании КРОК. Cертифицирован Uptime Institute на уровень Tier III.
- СКС — структурированная кабельная система.
- Инженеры КРОК.
Пролог В 2019 году банк «Открытие» решил использовать «Компрессор» в качестве резервной площадки. В ЦОД для банка выделили машинный зал на 200 стойко-мест. Разумеется, сразу встал вопрос об адаптации инженерной инфраструктуры. Чтобы соответствовать техническим требованиям заказчика, нужно было перестроить всю систему кабельных каналов и смонтировать новую высокоплотную СКС. Предварительные расчеты по проекту мы провели еще в феврале 2019 года. Приблизительно к апрелю стал понятен объем закупок. В течение всего этого времени мы вели переговоры с «Открытием»: согласовывали объемы, спецификацию, утверждали проект.Действие первое: организация Надежность — главное требование для банка при построении СКС. Минута простоя ЦОДа приводит к миллионным убыткам. Также требуется максимально возможная скорость в 100 Гбит/с. По сравнению с активным оборудованием кабельные сети стоят существенно дешевле, так что экономить на СКС — дурной тон.Есть две основные структуры построения СКС: интерконнект и кроссконнект. Заказчик выбрал более дорогой кроссконнект как максимально гибкое решение, с заделом на будущее. Порт на активном оборудовании подключается один раз, так что все переключения происходят в кроссе, а не на оборудовании. Соответственно, риск повредить порт на «активке» практически отсутствует. А в кроссе его всегда можно заменить. Уже на этапе проектирования мы поняли, что проект простым не будет. Главной сложностью были объемы: центральный кросс — 60+ тысяч волокон — нужно было разместить в шести шкафах. И это далеко не максимальная загрузка, а с возможностью роста. Структурная схема:
Решения с такой плотностью и такими маленькими размерами кросса есть не у всех вендоров, и, как правило, они дорогие. Выбор пал в сторону американского Corning. Во-первых, это качественный поставщик оптоволокна. Во-вторых, только они смогли гарантировать соблюдение сроков. Обещали поставку за 5 недель — поставили за 5. Для сравнения: все прочие компании говорили о сроке в 8-10 недель.
Действие второе: монтаж К маю 2019 года в ЦОДе все еще стояло оборудование предыдущего заказчика, которое требовалось демонтировать. Сделали мы это довольно быстро, и уже в начале июня стартовал монтаж. В это же время мы поняли, что не все стандартные практики тут применимы. Во-первых, кабель оказался необычайно толстым. Поскольку это была одна из первых реализаций высокоплотной СКС, мы слегка не рассчитали, что кабель с большим количеством волокон будет ощутимо толще обычного. Ведь, когда говорим про оптику, то сразу думаем — она же тонкая, около 6 мм в диаметре! А тут мы столкнулись с диаметром около 12 мм. Если раньше такого не встречал, то и представить такой вариант сложно. Так что дорабатывать лоточную систему пришлось буквально на ходу. Кроме того, кабель оказался еще и довольно тяжелым. Пришлось пересчитывать подвесы — опорные крепления самого лотка. Во-вторых, у нас оптика претерминированная, то есть предоконцованная с двух сторон. Проектировщики в таком случае всегда боятся ошибиться с длиной, закладывают запас. Потому что столкнуться с нехваткой — куда большая проблема, чем перезаложить. Плюс при заказе претерминированной оптики производители рекомендуют соблюдать условную номенклатуру — 3-5 метров. Нормальная практика — предусматривать «бублики» в лотках, куда этот запас можно уложить. В этот раз пришлось искать нестандартный вариант: из-за толщины кабеля не смогли его нужным радиусом разложить в лотке, поэтому аккуратно скрутили его над шкафом. В-третьих, частично сказались и некоторые ограничения самого ЦОДа. Во время его строительства использовались несколько иные нормы, в том числе, для СКС. Заказчик же выбрал очень высокие шкафы — 48U — чтобы держать в одной стойке больше железа. Поэтому лотки под оптику, электричество, сами панели было достаточно трудно разместить в просвете над шкафами. Пространства для маневра у нас практически не оставалось — рукой подать до фальшпотолка, поэтому сделали так компактно, насколько возможно. Чтобы оптический кросс не занимал половину зала, мы реализовали гибридную систему: с одной стороны разъем на два волокна, с другой — на восемь.Действие третье: тестирование Без тестирования ни один производитель не поставит свою СКС на гарантию. Есть много вариантов тестирования: с одной перемычкой, с двумя, с тремя, и у многих производителей в дополнение к основным стандартам идут еще и свои собственные требования. Это иногда приводит к недопониманию. На одном из объектов, например, мы тестировали по стандартам, а они со стандартами вендора в некритичных моментах расходились. В итоге пришлось по просьбе заказчика провести повторное тестирование. Смысл тестирования заключается в том, чтобы проверить, укладываемся ли мы в определенные показатели затухания. Заклятый враг всех оптических систем при тестировании — стройка. Пыль оседает на волокно, и протестировать в нужное затухание сложно. При слишком большом затухании некоторые протоколы просто не заработают, а систему необходимо ставить на гарантию. Поэтому приходится чистить от пыли. И тут нам, кстати, помогли ребята из Corning. Приехал их специалист и объяснил: если по результатам теста затухание больше 6 децибел, то чистка не поможет — проблема точно в волокне. Кроме того, при подключении тоже рекомендуется продуть сжатым воздухом разъемы на панели.Для очистки можно использовать любое оборудование, но ведущие производители рекомендуют эталонные патч-корды Fluke, а они сами по себе достаточно дорогие. Обычная штука, которая нужна для прочистки LC разъема, стоит не меньше 5000 рублей (есть и дешевле, но они, как правило, очень быстро выходят из строя). По заявлениям производителей, хватает ее на 500-600 разъемов. Еще дороже эталонные шнуры — около 30 тысяч рублей. При этом одного комплекта может хватить и на 100 разъемов, и на 1500. Тестирование шло около месяца, в ежедневном режиме. И тут надо сказать, что проблем с кабелем практически не было, а единичные случаи Corning оперативно заменил. В итоге заказчик «заехал» в ЦОД в июле. Привезли и ввели в эксплуатацию оборудование. В первую очередь — телеком, затем — серверное железо. Так выглядит центральный кросс:
Эпилог Итого — в кратчайшие сроки развернули действительно огромную СКС. Получилось 52 юнита рабочего пространства. Да еще и в цветах «Открытия». Для этого на несколько дней по просьбе банка останавливали монтаж. Все, что можно было, замотали пленкой и пустили маляров сделать их работу. Но это, как говорится, совсем другая история. 
===========
Источник:
habr.com
===========
Похожие новости:
- [IT-инфраструктура, Управление продажами, Управление персоналом] ТОП-4 зависимости между KPI входящей линии контакт-центра, которые должен знать каждый руководитель
- [Информационная безопасность, Системное администрирование, Сетевые технологии, Сетевое оборудование] Fortinet Security Fabric на практике. Часть 1. Общий обзор
- [Информационная безопасность, Data Mining, Научно-популярное] Стеганография и ML. Или что нам подарили генеративно-состязательные сети (GAN)?
- [Сетевые технологии, Беспроводные технологии, Разработка систем связи, Научно-популярное, Космонавтика] Всё о проекте «Спутниковый интернет Starlink». Часть 9
- [Информационная безопасность, Open source] Maltego Часть 7. DarkNet matter
- [Обработка изображений, Машинное обучение] 5 подходов к разметке данных для проектов машинного обучения (перевод)
- [Системное администрирование, Сетевые технологии, Сетевое оборудование] Linux Switchdev по-мелланоксовски
- [Системное администрирование, Сетевые технологии, Сетевое оборудование] Linux Switchdev the Mellanox way
- [Информационная безопасность] Security Week 46: подсматривание паролей в телеконференциях
- [Информационная безопасность, Сетевые технологии] Решения для защиты корпоративной и технологической сети: обзор продуктов Positive Technologies
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_setevye_tehnologii (Сетевые технологии), #_setevoe_oborudovanie (Сетевое оборудование), #_sks (скс), #_strukturirovannye_kabelnye_seti (структурированные кабельные сети), #_setevye_tehnologii (сетевые технологии), #_seti (сети), #_blog_kompanii_krok (
Блог компании КРОК
), #_itinfrastruktura (
IT-инфраструктура
), #_setevye_tehnologii (
Сетевые технологии
), #_setevoe_oborudovanie (
Сетевое оборудование
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:18
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Что общего между Крымским мостом и СКС? Мы случайно выяснили: для железнодорожной части этого моста потребовалось 76 000 шпал (по информации из открытых источников). И примерно столько же оптических волокон в нашей СКС, построенной для банка «Открытие». Под катом рассказываю, как мы ее делали и тестировали (и даже немного о том, зачем на проекте понадобился маляр).  Действующие лица
   Решения с такой плотностью и такими маленькими размерами кросса есть не у всех вендоров, и, как правило, они дорогие. Выбор пал в сторону американского Corning. Во-первых, это качественный поставщик оптоволокна. Во-вторых, только они смогли гарантировать соблюдение сроков. Обещали поставку за 5 недель — поставили за 5. Для сравнения: все прочие компании говорили о сроке в 8-10 недель.  Действие второе: монтаж К маю 2019 года в ЦОДе все еще стояло оборудование предыдущего заказчика, которое требовалось демонтировать. Сделали мы это довольно быстро, и уже в начале июня стартовал монтаж. В это же время мы поняли, что не все стандартные практики тут применимы. Во-первых, кабель оказался необычайно толстым. Поскольку это была одна из первых реализаций высокоплотной СКС, мы слегка не рассчитали, что кабель с большим количеством волокон будет ощутимо толще обычного. Ведь, когда говорим про оптику, то сразу думаем — она же тонкая, около 6 мм в диаметре! А тут мы столкнулись с диаметром около 12 мм. Если раньше такого не встречал, то и представить такой вариант сложно. Так что дорабатывать лоточную систему пришлось буквально на ходу. Кроме того, кабель оказался еще и довольно тяжелым. Пришлось пересчитывать подвесы — опорные крепления самого лотка. Во-вторых, у нас оптика претерминированная, то есть предоконцованная с двух сторон. Проектировщики в таком случае всегда боятся ошибиться с длиной, закладывают запас. Потому что столкнуться с нехваткой — куда большая проблема, чем перезаложить. Плюс при заказе претерминированной оптики производители рекомендуют соблюдать условную номенклатуру — 3-5 метров. Нормальная практика — предусматривать «бублики» в лотках, куда этот запас можно уложить. В этот раз пришлось искать нестандартный вариант: из-за толщины кабеля не смогли его нужным радиусом разложить в лотке, поэтому аккуратно скрутили его над шкафом. В-третьих, частично сказались и некоторые ограничения самого ЦОДа. Во время его строительства использовались несколько иные нормы, в том числе, для СКС. Заказчик же выбрал очень высокие шкафы — 48U — чтобы держать в одной стойке больше железа. Поэтому лотки под оптику, электричество, сами панели было достаточно трудно разместить в просвете над шкафами. Пространства для маневра у нас практически не оставалось — рукой подать до фальшпотолка, поэтому сделали так компактно, насколько возможно. Чтобы оптический кросс не занимал половину зала, мы реализовали гибридную систему: с одной стороны разъем на два волокна, с другой — на восемь.Действие третье: тестирование Без тестирования ни один производитель не поставит свою СКС на гарантию. Есть много вариантов тестирования: с одной перемычкой, с двумя, с тремя, и у многих производителей в дополнение к основным стандартам идут еще и свои собственные требования. Это иногда приводит к недопониманию. На одном из объектов, например, мы тестировали по стандартам, а они со стандартами вендора в некритичных моментах расходились. В итоге пришлось по просьбе заказчика провести повторное тестирование. Смысл тестирования заключается в том, чтобы проверить, укладываемся ли мы в определенные показатели затухания. Заклятый враг всех оптических систем при тестировании — стройка. Пыль оседает на волокно, и протестировать в нужное затухание сложно. При слишком большом затухании некоторые протоколы просто не заработают, а систему необходимо ставить на гарантию. Поэтому приходится чистить от пыли. И тут нам, кстати, помогли ребята из Corning. Приехал их специалист и объяснил: если по результатам теста затухание больше 6 децибел, то чистка не поможет — проблема точно в волокне. Кроме того, при подключении тоже рекомендуется продуть сжатым воздухом разъемы на панели.Для очистки можно использовать любое оборудование, но ведущие производители рекомендуют эталонные патч-корды Fluke, а они сами по себе достаточно дорогие. Обычная штука, которая нужна для прочистки LC разъема, стоит не меньше 5000 рублей (есть и дешевле, но они, как правило, очень быстро выходят из строя). По заявлениям производителей, хватает ее на 500-600 разъемов. Еще дороже эталонные шнуры — около 30 тысяч рублей. При этом одного комплекта может хватить и на 100 разъемов, и на 1500. Тестирование шло около месяца, в ежедневном режиме. И тут надо сказать, что проблем с кабелем практически не было, а единичные случаи Corning оперативно заменил. В итоге заказчик «заехал» в ЦОД в июле. Привезли и ввели в эксплуатацию оборудование. В первую очередь — телеком, затем — серверное железо. Так выглядит центральный кросс:   Эпилог Итого — в кратчайшие сроки развернули действительно огромную СКС. Получилось 52 юнита рабочего пространства. Да еще и в цветах «Открытия». Для этого на несколько дней по просьбе банка останавливали монтаж. Все, что можно было, замотали пленкой и пустили маляров сделать их работу. Но это, как говорится, совсем другая история.  =========== Источник: habr.com =========== Похожие новости:
Блог компании КРОК ), #_itinfrastruktura ( IT-инфраструктура ), #_setevye_tehnologii ( Сетевые технологии ), #_setevoe_oborudovanie ( Сетевое оборудование ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:18
Часовой пояс: UTC + 5