[IT-инфраструктура, Хранение данных, Хранилища данных] Статистика и ЦОД: откуда берутся 5 кВт на стойку и почему это немало
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
В новостях про запуск дата-центров вы обязательно встретите упоминание мощности в «киловаттах на стойку». За последний год наша объединенная команда DataLine и «Ростелеком-ЦОД» запустила 4 дата-центра, и мы каждый раз сталкивались с комментариями в соцсетях и вопросами в чатах: 
Суть всех вопросов: «Почему средняя мощность 5 кВт на стойку? Как так, 21-й век, 21-й год, а цифра не меняется? Это слишком мало».Сегодня по порядку ответим: как мы считаем мощность на стойку, почему эта цифра не ограничивает заказчика, а наоборот, экономит его ресурсы. Объясню с точки зрения статистики и возьму пару наглядных аналогий из популярной книги «Статистика и котики» (очень классного пособия для обновления забытых знаний).
Представим, что у нас 10 котиков (а мы знаем примеры, когда и 100 котиков бывает). Самый маленький котик ест 1 кг корма, средний – 3, а самый крупный – вообще 10. Мы не покупаем каждому по 10, а подсчитываем общий расход корма на всех и планируем покупки из среднего значения. Так же, ну или почти так же – со стойками.Как мы считаем киловатты на стойку и причем тут котики Показатель средней мощности на стойку помогает провайдеру еще на этапе проектирования спланировать основные ресурсы: электричество, холод и место. В случае с котиками такие ресурсы тоже есть: корм, вода и туалет.Этот вид планирования называют capacity management (можете так и передать своим пушистым). Мы уже рассказывалио нем раньше в другой статье. Напомню, что основной принцип такого планирования – электричество, холод и место в дата-центре должны заканчиваться одновременно. Мы не можем допустить использование какого-то ресурса вхолостую и потому следим, чтобы все расходовалось равномерно. С закупками для котов бывает похожая ситуация: оптимальнее покупать корм и наполнитель сразу, еще и скидку от зоомагазина получить.Когда мы проектируем новый ЦОД, то сначала планируем самый неэластичный ресурс, который нельзя добавить потом. Чаще всего это место: у нас есть площадка определенного размера, на которой мы не можем разместить бесконечное число стоек. Выясняем площадь, расставляем на ней оборудование, потом планируем мощность для него. Иногда бывает и наоборот, но в этом контексте не так важно. В самом конце расставляем холод, с ним проще всего.
Так выглядит план на этом этапе: пока все стойки одинаковые. Чтобы подвести достаточно электричества к каждой запланированной стойке, нужно знать ее потребление. Возникает вопрос, как предсказать мощность стоек. Тут есть 2 варианта дата-центров:
- Если это корпоративный ЦОД, то требования компании могут включать любое количество высоконагруженных стоек. Например, недавно мы спроектировали для заказчика зал со стойками более 15 кВт.
- Если это коммерческий ЦОД с множеством независимых заказчиков, нужно оценить реальные потребности рынка.
Во втором случае нам помогает наша статистика. Вот уже 13 лет мы ежеминутно собираем данные по потреблению наших 5000 стоек. 
График среднего потребления всех стоек DataLine за год.В статистику входят компании из разных отраслей. У кого-то уходит 7 кВт на стойку, у кого-то – 3 кВт. Мы считаем среднее арифметическое по потреблению и смотрим динамику за последние годы. Сейчас в среднем получаем 4 кВт на стойку. Рост потребления с 2010 года составляет не больше 100 ватт на стойку в год. Так что для нового дата-центра мы закладываем небольшой запас и получаем те самые 5 кВт на стойку.Знатоки статистики скажут, что среднее арифметическое – не единственный способ узнать центральную тенденцию. И будут правы. Среднее арифметическое не сработает, если у нас есть высоконагруженные стойки, которые существенно сдвинут среднее в свою сторону. Обратимся к таким случаям. Как статистика учитывает исключения из правилаОсновной контраргумент в споре про 5 киловатт примерно такой: «Если я поставлю в стойку 3 блейд-корзины, они будут потреблять существенно больше 5 кВт, и что тогда?» Давайте разбираться с точки зрения статистики и реальной практики.Начну с теоретической статистики. «Прожорливые» стойки намного больше среднестатистической называют выбросом. Для статистики это выглядит так:
Чтобы среднестатистическая стойка отражала реальную ситуацию в машзале, из совокупности рекомендуют убирать 5–10 % экстремально больших и экстремально маленьких значений и считать усеченное среднее. Так в статистике очищают выборку от исключительных случаев.
Значит, при проектировании мы всегда должны учитывать долю нестандартных стоек у заказчиков. Сейчас кажется, что мы все чаще видим в наших дата-центрах оборудование для high-performance computing с потреблением в районе 25 кВт. Но, по сухой статистике, это все еще пара десятков серверов на зал: как раз вписываются в те самые 10 % выброса.
Допустим, у нас в машинном зале стоит 198 стоек со средним потреблением 5 кВт. Добавим пару стоек в 25 кВт и посчитаем среднее: (1985+225)/200 = 5,2 5,2 кВт, совсем небольшая разница. Но если таких мощных стоек будет уже 10 (около 5 %), то среднее значение отклонится на целый киловатт: (1985+1025)/208 =5,96 При этом типичная стойка в этом зале по-прежнему будет потреблять 5 кВт.
На практике эти подсчеты не означают, что мы не учитываем потребности заказчиков с нестандартными стойками. В прошлый раз мы уже показывали, что спокойно размещаем стойки на 8, 11, 15 кВт с соблюдением нескольких правил. Стараемся ставить их в такие места, где с охлаждением точно не будет проблем. Если же у заказчика много высоконагруженных стоек, выделяем для них особые ряды и залы с дополнительным охлаждением. В некоторых новых дата-центрах мы сразу проектируем отдельные залы со стойками повышенной мощности под особые запросы. Что будет, если планировать стойки с большим запасомТеперь посмотрим внимательнее на проектирование 3 ресурсов в дата-центре. Что будет на каждом этапе планирования, если мы решим сделать запас больше одного кВт на стойку?Итак, мы начали проектировать ЦОД от здания: берем общую площадь, вычитаем место под офисную часть и вспомогательные помещения. Понимаем размер машинных залов и прикидываем количество стоек: с учетом всей инфраструктуры исходим из 6 кв. м на стойку. Получившиеся стойки умножаем на планируемую среднюю мощность. Допустим, берем на стойку 6 кВт.Если мы строим ЦОД в столице, его емкость составит не меньше 1 000–2 000 стоек. Итого, 9 000 кВт вместо 7 500 для усредненных 1,5 тысяч стоек. Добавим к этому 30 % на тепло. Уже 11 700 кВт, а не 9 750. Смотрим, есть ли у нас столько подведенной мощности, или нужно «докинуть» электричества.Дальше распределяем электричество по нескольким точкам отсечки на схеме электроснабжения:
Стандартная схема энергоснабжения дата-центров DataLine. Посмотрим на мощность самой стойки, которая определена PDU (справа). Дальше по схеме справа налево идет мощность зального щита ЩР. Затем следует мощность щита распределения от ИБП (ЩИБП). Дальше ИБП, и так доходим до ГРЩ. Каждое из этих устройств имеет свою мощность, необходимо распределять нашу нагрузку в этих пределах. Для стоек помощнее нам понадобятся дополнительные ИБП и вообще оборудование помощнее – это снова дополнительные расходы.Затем разбираемся с холодом, самым управляемым ресурсом. Раз наши стойки потребляют и выделяют больше энергии, нужно поставить больше кондиционеров или сделать их более мощными.Итого, каждый лишний киловатт приведет к дополнительным затратам на электричество, оборудование для электроснабжения и холодоснабжения. Вся «лишняя» стоимость по нескольким статьям размажется по всем стойкам нового дата-центра. Но цена за киловатт для заказчика растет не линейно. На каких-то масштабах каждый новый киловатт в 2 раза дороже предыдущего из-за дополнительных затрат на инфраструктуру. Стоимость инфраструктуры растет пропорционально росту мощности, эффекта масштаба здесь уже нет. Зачастую дешевле взять две стойки по 5 кВт, чем одну на 10 кВт.Именно поэтому мы не рекомендуем брать стойки с запасом на будущее – экономически невыгодно не только проектировать «на вырост», но и брать стойки «на вырост».Всегда ли заказчику нужно больше 5 кВт в стойкеКогда к нам приходит новый заказчик со стойками больше 5 кВт, наш дизайн-центр должен подготовить проект. Задача ответственного инженера – согласовать проект с точки зрения соответствия запросам заказчика. В идеальном сценарии заказчик берет свои требования из реальной статистики: «У меня на другой площадке работает точно такое же оборудование и оно потребляет те самые 7-8 заявленных киловатт». Но такое бывает нечасто. Чаще есть примерный список оборудования, которое будет установлено в дата-центре. Нередко бывает, что в спецификации на серверное оборудование мощность считают по мощности блоков питания и затем закладывают запас 30 %. Получается, что нагрузку рассчитали «на бумаге». Но в реальности инженеры никогда не грузят свою систему на 100 %. Реальный коэффициент спроса с сервера будет максимум 80 %, так что искусственный запас будет лишним. Такие расчеты мы корректируем, обсуждаем и согласовываем с заказчиком.Для понимания общей картины наши инженеры копают еще глубже и анализируют нагрузку с точки зрения задач системы. В сервере несколько потребителей электричества: процессор, память, диски, кулеры. Больше всего ресурсов требует CPU. Например, у сервера со средним потреблением 1–1,2 кВт на процессор уходит 800–900 Вт. При этом далеко не все нагрузки требуют максимальной утилизации процессора. Если мы говорим о среднестатистических задачах вроде файловых шар, почты, системы хранения данных, терминальных серверов или веб-серверов, то загрузка CPU составит 20–30 %. Серьезную нагрузку на процессор стоит планировать в случае баз данных: там мы легко можем дойти до 80–90 %.
Про 5 кВт с точки зрения ИТ мы говорили с моим коллегой Андреем Будреевым в нашем последнем выпуске подкаста «Разговоры из-под фальшпола». Заодно обсудили будущее процессоров с точки зрения экологии – заглядывайте на огонек и делитесь своими прогнозами.
Так что не бойтесь дополнительных вопросов от специалистов дата-центра. Мы помогаем заказчикам грамотно планировать нагрузку и за счет этого не только экономим деньги заказчиков, но и правильно распределяем свои ресурсы.
===========
Источник:
habr.com
===========
Похожие новости:
- [Системное администрирование, *nix, Хранилища данных, DevOps, Распределённые системы] Cortex и не только: распределённый Prometheus
- [Системное администрирование, IT-инфраструктура, DevOps] Изучаем ELK. Часть III — Безопасность
- [IT-инфраструктура, DevOps, Kubernetes] Инъекция секретов из Vault в поды используя сайдкары Kubernetes (перевод)
- [IT-инфраструктура, IT-стандарты, Законодательство в IT, IT-компании] Внутренний ИТ: разработка и обслуживание ПО в группе компаний
- [Анализ и проектирование систем, Хранилища данных, Управление проектами] Создаём компанию мечты: мастер-данные и интеграция
- [IT-инфраструктура, Инженерные системы] Обзор российского рынка турникетов
- [IT-инфраструктура, Управление продуктом, Микросервисы] Как быстро и легко интегрироваться с Active Directory
- [Системное администрирование, Программирование, IT-инфраструктура, Apache] Как Apache Kafka поддерживает 200К партиций в кластере? (перевод)
- [Обработка изображений, Хранение данных, Хранилища данных] На Google Photos начнут сжимать качественные фото с искажениями
- [Open source, Python, IT-инфраструктура, Хранение данных, Хранилища данных] HDB++ TANGO Archiving System (перевод)
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_hranenie_dannyh (Хранение данных), #_hranilischa_dannyh (Хранилища данных), #_datatsentry (дата-центры), #_tsody (цоды), #_capacity_management, #_5_kvt (5 квт), #_stojki (стойки), #_blog_kompanii_dataline (
Блог компании DataLine
), #_itinfrastruktura (
IT-инфраструктура
), #_hranenie_dannyh (
Хранение данных
), #_hranilischa_dannyh (
Хранилища данных
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 19:09
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
В новостях про запуск дата-центров вы обязательно встретите упоминание мощности в «киловаттах на стойку». За последний год наша объединенная команда DataLine и «Ростелеком-ЦОД» запустила 4 дата-центра, и мы каждый раз сталкивались с комментариями в соцсетях и вопросами в чатах:  Суть всех вопросов: «Почему средняя мощность 5 кВт на стойку? Как так, 21-й век, 21-й год, а цифра не меняется? Это слишком мало».Сегодня по порядку ответим: как мы считаем мощность на стойку, почему эта цифра не ограничивает заказчика, а наоборот, экономит его ресурсы. Объясню с точки зрения статистики и возьму пару наглядных аналогий из популярной книги «Статистика и котики» (очень классного пособия для обновления забытых знаний).  Представим, что у нас 10 котиков (а мы знаем примеры, когда и 100 котиков бывает). Самый маленький котик ест 1 кг корма, средний – 3, а самый крупный – вообще 10. Мы не покупаем каждому по 10, а подсчитываем общий расход корма на всех и планируем покупки из среднего значения. Так же, ну или почти так же – со стойками.Как мы считаем киловатты на стойку и причем тут котики Показатель средней мощности на стойку помогает провайдеру еще на этапе проектирования спланировать основные ресурсы: электричество, холод и место. В случае с котиками такие ресурсы тоже есть: корм, вода и туалет.Этот вид планирования называют capacity management (можете так и передать своим пушистым). Мы уже рассказывалио нем раньше в другой статье. Напомню, что основной принцип такого планирования – электричество, холод и место в дата-центре должны заканчиваться одновременно. Мы не можем допустить использование какого-то ресурса вхолостую и потому следим, чтобы все расходовалось равномерно. С закупками для котов бывает похожая ситуация: оптимальнее покупать корм и наполнитель сразу, еще и скидку от зоомагазина получить.Когда мы проектируем новый ЦОД, то сначала планируем самый неэластичный ресурс, который нельзя добавить потом. Чаще всего это место: у нас есть площадка определенного размера, на которой мы не можем разместить бесконечное число стоек. Выясняем площадь, расставляем на ней оборудование, потом планируем мощность для него. Иногда бывает и наоборот, но в этом контексте не так важно. В самом конце расставляем холод, с ним проще всего.  Так выглядит план на этом этапе: пока все стойки одинаковые. Чтобы подвести достаточно электричества к каждой запланированной стойке, нужно знать ее потребление. Возникает вопрос, как предсказать мощность стоек. Тут есть 2 варианта дата-центров:
 График среднего потребления всех стоек DataLine за год.В статистику входят компании из разных отраслей. У кого-то уходит 7 кВт на стойку, у кого-то – 3 кВт. Мы считаем среднее арифметическое по потреблению и смотрим динамику за последние годы. Сейчас в среднем получаем 4 кВт на стойку. Рост потребления с 2010 года составляет не больше 100 ватт на стойку в год. Так что для нового дата-центра мы закладываем небольшой запас и получаем те самые 5 кВт на стойку.Знатоки статистики скажут, что среднее арифметическое – не единственный способ узнать центральную тенденцию. И будут правы. Среднее арифметическое не сработает, если у нас есть высоконагруженные стойки, которые существенно сдвинут среднее в свою сторону. Обратимся к таким случаям. Как статистика учитывает исключения из правилаОсновной контраргумент в споре про 5 киловатт примерно такой: «Если я поставлю в стойку 3 блейд-корзины, они будут потреблять существенно больше 5 кВт, и что тогда?» Давайте разбираться с точки зрения статистики и реальной практики.Начну с теоретической статистики. «Прожорливые» стойки намного больше среднестатистической называют выбросом. Для статистики это выглядит так:  Чтобы среднестатистическая стойка отражала реальную ситуацию в машзале, из совокупности рекомендуют убирать 5–10 % экстремально больших и экстремально маленьких значений и считать усеченное среднее. Так в статистике очищают выборку от исключительных случаев.  Значит, при проектировании мы всегда должны учитывать долю нестандартных стоек у заказчиков. Сейчас кажется, что мы все чаще видим в наших дата-центрах оборудование для high-performance computing с потреблением в районе 25 кВт. Но, по сухой статистике, это все еще пара десятков серверов на зал: как раз вписываются в те самые 10 % выброса. Допустим, у нас в машинном зале стоит 198 стоек со средним потреблением 5 кВт. Добавим пару стоек в 25 кВт и посчитаем среднее: (1985+225)/200 = 5,2 5,2 кВт, совсем небольшая разница. Но если таких мощных стоек будет уже 10 (около 5 %), то среднее значение отклонится на целый киловатт: (1985+1025)/208 =5,96 При этом типичная стойка в этом зале по-прежнему будет потреблять 5 кВт.
 Стандартная схема энергоснабжения дата-центров DataLine. Посмотрим на мощность самой стойки, которая определена PDU (справа). Дальше по схеме справа налево идет мощность зального щита ЩР. Затем следует мощность щита распределения от ИБП (ЩИБП). Дальше ИБП, и так доходим до ГРЩ. Каждое из этих устройств имеет свою мощность, необходимо распределять нашу нагрузку в этих пределах. Для стоек помощнее нам понадобятся дополнительные ИБП и вообще оборудование помощнее – это снова дополнительные расходы.Затем разбираемся с холодом, самым управляемым ресурсом. Раз наши стойки потребляют и выделяют больше энергии, нужно поставить больше кондиционеров или сделать их более мощными.Итого, каждый лишний киловатт приведет к дополнительным затратам на электричество, оборудование для электроснабжения и холодоснабжения. Вся «лишняя» стоимость по нескольким статьям размажется по всем стойкам нового дата-центра. Но цена за киловатт для заказчика растет не линейно. На каких-то масштабах каждый новый киловатт в 2 раза дороже предыдущего из-за дополнительных затрат на инфраструктуру. Стоимость инфраструктуры растет пропорционально росту мощности, эффекта масштаба здесь уже нет. Зачастую дешевле взять две стойки по 5 кВт, чем одну на 10 кВт.Именно поэтому мы не рекомендуем брать стойки с запасом на будущее – экономически невыгодно не только проектировать «на вырост», но и брать стойки «на вырост».Всегда ли заказчику нужно больше 5 кВт в стойкеКогда к нам приходит новый заказчик со стойками больше 5 кВт, наш дизайн-центр должен подготовить проект. Задача ответственного инженера – согласовать проект с точки зрения соответствия запросам заказчика. В идеальном сценарии заказчик берет свои требования из реальной статистики: «У меня на другой площадке работает точно такое же оборудование и оно потребляет те самые 7-8 заявленных киловатт». Но такое бывает нечасто. Чаще есть примерный список оборудования, которое будет установлено в дата-центре. Нередко бывает, что в спецификации на серверное оборудование мощность считают по мощности блоков питания и затем закладывают запас 30 %. Получается, что нагрузку рассчитали «на бумаге». Но в реальности инженеры никогда не грузят свою систему на 100 %. Реальный коэффициент спроса с сервера будет максимум 80 %, так что искусственный запас будет лишним. Такие расчеты мы корректируем, обсуждаем и согласовываем с заказчиком.Для понимания общей картины наши инженеры копают еще глубже и анализируют нагрузку с точки зрения задач системы. В сервере несколько потребителей электричества: процессор, память, диски, кулеры. Больше всего ресурсов требует CPU. Например, у сервера со средним потреблением 1–1,2 кВт на процессор уходит 800–900 Вт. При этом далеко не все нагрузки требуют максимальной утилизации процессора. Если мы говорим о среднестатистических задачах вроде файловых шар, почты, системы хранения данных, терминальных серверов или веб-серверов, то загрузка CPU составит 20–30 %. Серьезную нагрузку на процессор стоит планировать в случае баз данных: там мы легко можем дойти до 80–90 %. Про 5 кВт с точки зрения ИТ мы говорили с моим коллегой Андреем Будреевым в нашем последнем выпуске подкаста «Разговоры из-под фальшпола». Заодно обсудили будущее процессоров с точки зрения экологии – заглядывайте на огонек и делитесь своими прогнозами.
=========== Источник: habr.com =========== Похожие новости:
Блог компании DataLine ), #_itinfrastruktura ( IT-инфраструктура ), #_hranenie_dannyh ( Хранение данных ), #_hranilischa_dannyh ( Хранилища данных ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 19:09
Часовой пояс: UTC + 5