Серверы 2018: стандарты и перспективы

29 декабрь, 2017 - 11:20Андрей Тищенко

На поле высокопроизводительных вычислений будет жарко. Не из-за конкуренции между производителями, а благодаря соперничеству платформ и востребованности типовых серверов.

Из-за демократизации технологий, а еще объективного желания операторов данных быть гибкими и независимыми, в дата-центрах становится все больше оборудования COTS (commodity of the shelf, «серверов с полки») — доступных устройств многоцелевого назначения на стандартных взаимозаменяемых компонентах. За специализацию отвечает не производитель, а управляющее ПО и дополнения, превращающие типовой сервер в подготовленный под специфические задачи.

2017-й год оказался богат на серверные премьеры, вернул интригу в противостояние платформ и заложил новые стандарты на несколько лет вперед. В приложениях с повышенными требованиями к ресурсу процессоров и оперативной памяти теперь есть как минимум выбор между Intel Xeon Scalable и AMD EPYC. В серверах производительного хранения обжились флэш-накопители прямого доступа NVMe (а механические диски HDD переехали в дома напротив), и уже не являются обязательным атрибутом аппаратные контроллеры RAID. Распределенная инфраструктура приложений подняла спрос на сетевые стандарты Ethernet 10/25/40/50/ 100 Gbps.

Проще показать на живом примере, какие серверы сегодня выбирают под корпоративную застройку. Возьмем две 1U-платформы одного вендора (благо, они похожего дизайна и отражают общие тенденции): Asus R700-E9-RS12 под Intel Xeon Scalable и Asus RS700A-E9-RS12 под AMD EPYC.

Серверы 2018: стандарты и перспективы

ASUS RS700-E9-RS12

Серверы 2018: стандарты и перспективы

ASUS RS700A-E9-RS12

CPU

AMD сделала общедоступным то, что пока не удалось Intel —32 ядра в одном CPU. Двухпроцессорный 64-ядерный сервер с четырьмя терабайтами оперативной памяти манит облачных операторов, аналитиков, HPC-фермеров, модельеров и инженеров, с их массивами расчетов.

Характеристики старшего процессора семейства AMD EPYC:

Серверы 2018: стандарты и перспективы

В двухcокетных платформах под Intel Xeon Scalable работают процессоры Bronze/ Silver / Gold / Platinum, вплоть до старших:

Серверы 2018: стандарты и перспективы

Два процессорных сокета не всегда лучше, чем один. В поддержку марша «Меньше, да лучше» AMD предлагает линейку процессоров EPYC 7xxxP под однопроцессорные конфигурации:

Серверы 2018: стандарты и перспективы

Оперативная память

Процессоры AMD EPYC и Intel Xeon Scalable поддерживают память стандарта DDR4-2666 RDIMM/LR DIMM. Небольшой против DDR4-2400, но все же шаг вперед.

В платформе R700A-E9-RS12 — 32 места под модули памяти, по 16 DIMM на CPU. У AMD EPYC 8-канальный контроллер памяти. Поддерживается до 4096GB RAM. Если набирать доступными планками RDIMM 32GB, получатся внушительные для двухпроцессорного сервера 1024GB.

В платформе R700-E9-RS12 — 24 места под память при 6-канальном контроллере памяти на процессоре Intel Xeon, по 12 DIMM на CPU. Максимальная емкость 3072GB (для процессоров с суффиксом М, для обычных — вдвое меньше). 24×32 = 768GB — разумно достижимый объем.

Масштабируемость по RAM остается основным ресурсом производительности в организации многомерных баз данных и реакции на когнитивные нагрузки, требующие высокого уровня доступности.

Накопители

В гонке за производительностью и устройства ввода-вывода нужны соответствующие.

Под натиском NVMe и SSD из продуктивных серверов ушли механические диски SAS HDD 10-15K rpm. Емкие диски HDD NL SAS / SATA 7.2 rpm форм-фактора 3.5″ покидают их по другой причине: объемное хранение десятков-сотен терабайт в любом случае требует выделенных устройств. И даже в распределенной инфраструктуре (Ceph, Datacore, VMware VSAN, Microsoft S2D) удобнее работать связками «сервер 1U + JBOD». Прощайте, отсеки 3.5″. Без вас массовым cерверам и их пользователям только лучше.

Серверы 2018: стандарты и перспективы

В нашем примере 1U-платформ дисковая корзина с целой дюжиной (!) отсеков горячего подключения принимает три типа накопителей: NVMe / SAS / SATA в форм-факторе 2.5″. По умолчанию предлагается раскладка 12×2.5″ = 4 x NVMe + 8 x SAS / SATA, c соответствующими разъемами на бэкплейне и кабелями Oculink прямого подключения накопителей U.2 (NVMe в 2.5«) к шине PCIe. Если того требуют приложения, в сервер доставляются типовые контроллеры: SAS HBA, SAS RAID, да хоть Tri-mode RAID.

Под загрузочную пару флэш-накопителей на платах есть 2 x M.2 (22110) на x4 PCIe.

Состоялось становление новой архитектуры — массивов на NVMe-накопителях. Ей Intel придумал забавное название VROC (Virtual RAID on CPU). Очевидно, что RAID-массив на подключенных напрямую к процессору устройствах, поддерживать он сам и должен.

Cеть и расширения

Базовые сетевые потребности сегодня обслуживают двухпортовые сетевые карты Gigabit Ethernet (i350-BT2). Нормой стало наличие отдельного сетевого порта для управления.

Изменить назначение сервера, помимо выбора процессоров, памяти и накопителей, можно, добавив сетевой контроллер, или несколько. Обе наши 1U-платформы открыты к дополнениям, слотов достаточно: x16 PCIe 3.0 под полновысотную карту, два х8 под низкопрофильные, и еще один х16 под карту-мезонин OCP 2.0. Наложенных ограничений по совместимости и привязки к производителю нет.

Расширения (SAS HBA, SAS RAID, Infiniband, 10...100GbE NICs, графические карты) адаптируют типовые серверы под специализированную задачу. Что важно, малой кровью — ведь они выполнены в индустриальном стандарте, их на конкурентной основе предлагает несколько производителей.

Второй сильный козырь AMD — 128 линий PCIe, которые напрямую обслуживает процессор EPYC — впрямую к типовым серверам не относится, скорее к высокоскоростным хранилищам данных или мощным GPU-вычислителям. Тем не менее, отметим перспективы однопроцессорных решений на AMD EPYC, богатых на вычислительные ядра и линии PCIe.

Управление и диагностика

Удобен тот сервер, который прост в настройке и обслуживании. Простые мелочи, вроде вывода двухразрядного индикатора Q-кода ошибок наружу, облегчают ситуативную диагностику.

Система управления (в том числе и удаленного) насыщается интеллектуальными решениями. Интерфейс IPMI обрастает виртуальными устройствами, расширяющими арсенал системного администратора, «эффект присутствия» постепенно сходит на нет. Зачем к серверу подходить, если встроенный сервисный процессор iKVM/IPMI позволяет удаленно управлять хоть пулом серверов с единой программной консоли (в нашем примере AСС, Asus Control Center)?

Серверы 2018: стандарты и перспективы

За мониторинг серверных платформ отвечает «компьютер в компьютере» — Aspeed 2500. Его полномочия касаются не только обслуживания iKVM. Экранный интерфейс, инициализированный до старта BSP-процессора, дает пользователю полный доступ к управлению всем и вся: от журналирования системных событий до их вывода на дисплей независимо от прихотей UEFI.

Перспектива программно-определяемого всего

Производители серверов подстраиваются под тренды вычислений. Один из мощных драйверов рынка, «программная определяемость всего», твердой рукой направляет разработчиков в зону массового спроса. Не аппаратчики сегодня правят моду.

Столбовая дорога серверостроения в ближайшие годы будет вымощена универсальными платформами. С одной стороны, им понадобится достаточная вычислительная мощность — обеспечить «наследственность» (преемственность приложений и защиту инвестиций). С другой, они должны быть открыты к вариациям — возникающие вызовы парирует «изменчивость».

Такая вот генетика.