[Высокая производительность, Визуализация данных, Хранение данных, Облачные сервисы] Серверная память: DDR3/4, Buffered, …unBuffered, ECC? Помогаем разобраться с выбором памяти для различных платформ

Автор Сообщение
news_bot ®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

Создавать темы news_bot ® написал(а)
25-Июн-2021 12:32

Пока компьютерный прогресс бежит сломя голову, в стане серверов остаются доступными совершенно различные конфигурации, как современные, так и 5-10 летние железки. И в момент подбора комплектующих для апгрейда возникает закономерный вопрос, а какую память и в каком количестве доустанавливать или менять? Помимо привычного разъема DIMM используется и SO-DIMM, а о том, что бывает память с ECC и без нее, буферизованная и нет, знает каждый школьник.
Платформы Intel
За более чем 40-летнюю историю существования компания Intel разработала и выпустила десятки серверных платформ. Сейчас две из них пользуются повышенным вниманием: V3/V4 Xeon процессоры распространены благодаря относительно дешевым ценам в пересчете на 1 ядро, а также Xeon Scalable из-за неимоверного разнообразия процессоров.
Чтобы не запутаться в версиях/ревизиях посмотрим на типы процессоров Intel, разделив их на большие группы по архитектуре.

В процессе подбора оттолкнемся именно от архитектуры процессора, потому что лучше всего идти правильным путем: процессор -> материнская плата… В принципе можно этот путь пройти назад, однако частота и канальность памяти на 100% зависит от установленного процессора, но возможны и ограничения платы.
LGA 1151

1151 сокет использовался для 3 платформ продолжительное время. Начальным этапом стали процессоры Skylake-S, содержащие 4 физических ядра. Потом их сменили процессоры Kaby Lake-S, и наконец завершающим семейством стали CPU Coffee Lake-S WS. Все поколения оснащались 2-канальным контроллером памяти. По мере совершенствования архитектуры он перешел с частоты 1866 МГц к 2666 МГц. Платы на LGA 1151 поддерживают до 4 разъемов DIMM (2 модуля Х 2 канала), как с ECC, так и без нее. Совсем редко попадаются конфигурации с DDR3L памятью (от 1333 до 1600 МГц). Максимальный объем памяти 64 Гбайт.

э
Для Skylake, Kaby Lake и Coffee Lake LGA 1151 можно использовать DDR4 память с ECC частотой от 1866МГц до 2666 МГц (как не буферизированная, так и регистровая). Существует 2 типа плат: с 2 разъемами и с 4 разъемами DIMM. Для 2 разъемов используйте парные модули, чтобы задействовать оба канала. Для 4 разъемов устанавливайте память парами (2х DIMM в 2 канала или 4х DIMM в 2 канала). В зависимости от версии процессора используйте максимально разрешенную частоту для достижения максимальной производительности подсистемы памяти.
LGA 2066

Платформа LGA 2066 с процессорами Skylake-W поддерживают до 8 разъемов DIMM (2x4 канала), ECC с частотой от 1600 до 2666 МГц. Тип памяти DDR4. Максимальный объем памяти 512 Гбайт.

Для Skylake LGA 2066 можно использовать DDR4 память (ECC RDIMM, Registered ECC RDIMM, Registered ECC LRDIMM, Registered ECC LRDIMM) частотой 1600-2666МГц. Существует 2 основных конфигурации с 4 слотами и 8.
В материнскую плату с 4/8 слотами лучше всего устанавливать память по 4 модуля для максимальной производительности. Для достижения максимальной емкости задействуйте 8 слотов. В зависимости от версии процессора используйте максимально разрешенную частоту для достижения максимальной производительности подсистемы памяти.
LGA 3647

Платформа LGA 3647 поддерживает до 12 разъемов DIMM (2x6 каналов), ECC с частотой от 2133 до 2666 МГц. Тип памяти DDR4. В список не включены процессоры Xeon Platinum 92ХХ.

8 слотов памяти при 6 (А, B, C, D, E, F) каналах. Два канала разделены на ранги (А1 ранг + А2 ранг и D1 + D2), типичная ситуация, когда «А» и «D» канал делят пополам. Допускается установка различных конфигураций, но наиболее производительная – установка 6 модулей без «2» рангов.
4 слота памяти при 6 (А, B, C, D, E, F) каналах. Из 6 каналов чаще всего выброшен канал «С» и «F». Другими словами, система из 6 канальной превращается в 4 канальную. Соответственно уменьшается пропускная способность и суммарная производительность.
6 и 12 слотов памяти прекрасно соотносятся с 6 канальными контроллерами памяти. Здесь все просто – для достижения максимальной скорости ПСП используем 6 или 12 модулей.
LGA 1200


Для Comet Lake-S LGA 1200 нужно использовать DDR4 память с и без ECC частотой до 2933 МГц. Существует 2 типа плат: с 2 разъемами и с 4 разъемами DIMM (SO-DIMM). Для 2 разъемов используйте парные модули, чтобы задействовать оба канала. Для 4 разъемов устанавливайте память парами (2х DIMM в 2 канала или 4х DIMM в 2 канала). В зависимости от версии процессора используйте максимально разрешенную частоту для достижения максимальной производительности подсистемы памяти.
LGA 4189 (v2)

Наиболее производительные платформы от Intel. Оговоримся сразу, Socket LGA 4189 и LGA 4189v2 не совместимы между собой. «Свежайшие» Ice Lake-SP появились совсем недавно и поддерживают память с частотой 3200 МГц. Фактическое размещение модулей может быть разным, как и конфигурации DIMM на материнских платах. В таблице нет ошибки с наименованиями. Intel действительно выпустила 2 поколения процессоров под разные сокеты с похожими названиями:
https://ark.intel.com/content/www/us/en/ark/products/codename/189143/cooper-lake.html#@Server
https://ark.intel.com/content/www/us/en/ark/products/codename/74979/ice-lake.html#@Server

Мало того, даже названия самих процессоров слишком похожи. Добавляет путаницы общее принадлежность CPU к «3rd Generation Intel Xeon Scalable Processors». В любом случае разбирать конфигурацию памяти лучше раздельно, из-за различий в количестве поддерживаемых каналов. Первая ревизия LGA 3647 оснащена контроллером памяти с 6 каналами. На рынке присутствуют платы со слотами кратными 3, и 6, где память подключается логично. Но встречаются модели с меньшим числом слотов DIMM. 4х DIMM вариант просто не задействует 2 из 6 каналов, а 8-ми модульные системы разделяют А и D канал на 2 банка (А1+А2, D1+D2). Выбор частот совместимых модулей велик – от 2666 до 3200 МГц.
Процессоры Ice Lake-SP поддерживают 8 каналов памяти, значит устанавливаются модули кратно 4 и 8. Конечно сейчас появятся в продаже материнские платы с конфигурацией DIMM 2+2 слота (это минус 4 канала памяти), ли с разделяемыми каналами на банки.
Тонкости подбора модулей в различных конфигурациях

Начиная с конца 2019 года производители микросхем постепенно начали переходить на нормы тех. процесса менее 20 нм. Это позволило удвоить объем памяти на модуле. К сожалению не все процессоры Intel способны работать с новыми планками. При выборе памяти для старых платформ убедитесь, что материнская плата получила обновление BIOS в котором заявлена совместимость с 16 Гбит микросхемами.
Список новых 16 Гбит модулей Kingston:
• 8GB Unbuffered DIMM / SODIMM (1Rx16)
• 16GB Unbuffered DIMM / SODIMM (1Rx8)
• 32GB Unbuffered DIMM / SODIMM (2Rx8)
• 16GB ECC Unbuffered DIMM / SODIMM (1Rx8)
• 32GB ECC Unbuffered DIMM / SODIMM (2Rx8)
• 16GB ECC Registered DIMM (1Rx8)
• 32GB ECC Registered DIMM (2Rx8)
• 32GB ECC Registered DIMM (1Rx4)
• 64GB ECC Registered DIMM (2Rx4)

Простое правило наращивания частоты никто не отменял. Чем больше использованных каналов и выше частота памяти, тем выше производительность сервера. В конфигурациях, где материнская плата не реализует часть каналов скорость работы с памятью существенно ниже.

Пример установки 384Гб памяти в плату тремя различными способами. В первых двух неправильно заполненные каналы приводят к двукратному снижению ПСП. Оптимальный режим – это установка высокочастотной памяти по 1 планке в каждый канал без использования второго банка. Причем о ранговости обязательно нужно помнить!

2-ранговая память всегда будет быстрее 1-ранговой. Однако учтите, что не все системы могут работать с 2-ранговой памятью, установленной во все слоты памяти. Не стоит использовать 2-ранговуе модули в разделенных канала. И тем более смешивать их с 1-ранговыми.

Платы с разделенными каналами позволяют покупать сервера в минимальной комплектации экономя средства на начальном этапе. Дальнейший апгрейд подсистемы памяти часто происходит с ошибками. Практически любая материнская плата позволяет работать с 1 модулем, но в дальнейшем добавление модулей строго регламентируется производителем. Конечно идеальный вариант – это доустановка аналогичных планок, чтобы задействовать все каналы. Но стоимость комплектующих зачастую неподъемна. Поэтому, выбирая начальную конфигурацию с памятью, которая использует 1 банк из канала учитывайте особенности апгрейда. Деление каналов позволяет суммарно установить больше памяти в ущерб производительности.

Вернемся к конечному подбору модулей памяти. Быстрый и эффективный способ – выяснить причастность процессора/ов к определенному семейству. Для этого используйте сайт ark.intel.com. После определения посетите страницу сервера или материнской платы. Запишите название, и продолжите подбор на сайте в разделе «Manufacturer Qualification». Далее по названию вашей материнской платы «Motherboard» найдите подходящие модули памяти. Если в сервере уже установлено какое-то количество планок, то через сторонние утилиты или открыв сервер и найдя память запишите и выясните конфигурацию модуля. Вам важно понять ранговость, частоту, наличие ECC и т.п. А далее можно смело переходить на страницу выбора памяти с фиксированным BOM.
FAQ по серверной памяти

По умолчанию вся серверная память «де-факто» имеет поддержку ECC. Другое дело остальные характеристики. Их значения не всегда правильно трактуются.

UDIMM — обычная память для настольных компьютеров. У такой памяти в маркировке присутствует буква U (Unbuffered). Почему мы включаем такую память в обзор? Многие серверные 1-процессорные платы поддерживают помимо процессоров Xeon десктопные CPU. В них нет совместимости с ECC, поэтому допускается установка UDIMM в такие системы со всеми вытекающими последствиями.

ECC – любая память может быть с ЕСС и без. В сервера устанавливается только с ECC. Большинство ошибок при работе памяти удается исправить во время работы, даже если они появляются, не теряя данные.

Registered DIMM (FBDIMM) —регистровая память с коррекцией ошибок (ECC). Позволяет масштабировать емкость используемых рангов без появления ошибок и перегрузки контроллера памяти в процессоре. Установленная микросхема берет на себя управление адресами.

LRDIMM — эволюционное развитие Registered DIMM (FBDIMM). На такие модули ставят вспомогательный контроллер. Он управляет как адресами, так и питанием модуля. Дополнительный бонус – создание памяти глубиной до 4 рангов и более высокая частота работы в сравнении с Registered DIMM. В результате LRDIMM обладает массой положительных свойств за исключением цены.

Видимый эффект от применения LRDIMM в сравнении с Registered DIMM.
Неочевидные характеристики

Частота и тайминги: покупать память с частотой выше поддерживаемой вашим сервером не приведет к росту пропускной способности. Это 100% аксиома, потому что редкий случай, когда материнская плата позволяет менять частоту. Классический вариант – поддерживаемая частота считывается из SPD микросхемы и выбирается поддерживаемая процессором.
Ранги памяти: 1R,2R и 4R.
Модули памяти могут быть одно, двух, четырех или даже восьмиранговыми. Самые распространенные – это 1-2 ранговые модули, которые не накладывают множество ограничений в отличие от 4-8 ранговых. Производители материнских плат в инструкциях подробно расписывают поддерживаемые конфигурации пулов памяти при различной ранговости памяти. Часть оборудования позволяет устанавливать разноранговые модули, но не во все разъемы.
Чип RCD: Rambus или IDT.
Register Clock Driver (RCD) – микросхема управления, устанавливаемая на модули. Есть 2 крупных производителя (Rambus и IDT). Нет никаких ограничений в выборе того или иного производителя. Используется в паре с буферами и температурными сенсорами.

Схема подбора памяти

Выводы

• Знать тип и конфигурацию установленной или устанавливаемой в будущем памяти;
• Стараться использовать все каналы памяти;
• Не допускать установку памяти с различными рангами;
• Использовать максимальную частоту памяти (зависит от CPU);
• Выбирать однотипную память (RDimm, LRDIMM) для всей платформы;
• Стараться не использовать разделенные каналы.
В конфигураторе Kingston для покупателей создан удобный интерфейс, помогающий выбрать тип, объем и характеристики памяти.
В разделе «Manufacturer Qualification» выбирается память по производителю системной платы:
https://www.kingston.com/unitedstates/us/memory/server-memory
В разделе памяти с фиксированным BOM подбирается память исходя из требуемых характеристик: https://www.kingston.com/unitedstates/us/memory?memorytype=server%20premier#search-results

Для получения дополнительной информации о продуктах Kingston обращайтесь на официальный сайт компании.
===========
Источник:
habr.com
===========

Похожие новости: Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_vizualizatsija_dannyh (Визуализация данных), #_hranenie_dannyh (Хранение данных), #_oblachnye_servisy (Облачные сервисы), #_dimm, #_server_premier, #_intel_skylake, #_tsod (ЦОД), #_server (сервер), #_hranenie_dannyh (хранение данных), #_vysokie_nagruzki (высокие нагрузки), #_tsentr_obrabotki_dannyh (центр обработки данных), #_blog_kompanii_kingston_technology (
Блог компании Kingston Technology
)
, #_vysokaja_proizvoditelnost (
Высокая производительность
)
, #_vizualizatsija_dannyh (
Визуализация данных
)
, #_hranenie_dannyh (
Хранение данных
)
, #_oblachnye_servisy (
Облачные сервисы
)
Профиль  ЛС 
Показать сообщения:     

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 22-Ноя 08:36
Часовой пояс: UTC + 5