Платформы под Xeon: многообразие решений

31 июль, 2002 - 23:00Евгений Севериновский

Не за горами осень, начало бизнес-сезона и традиционная пора составления планов -- обновления, развития и, в частности, пополнения парка вычислительной техники. А раз так -- значит, время немного подковаться теоретически, в том числе и в отношении современных серверных платформ. Этим обзором мы открываем подборку серверных тем, которые планируем осветить в течение осени.

Скажем без преувеличения: платформа Intel Xeon состоялась и становится массовой. Естественно, никто не бросался сломя голову переходить на нее, да и рынок high-end такими крайностями никогда не отличался. Мы не будем особо расписывать прелести Xeon -- это сделано уже не раз. Высокие тактовые частоты, большой L2-кэш, поддержка Hyper-Threading, сравнение производительности с другими SMP-платформами (в том числе и с Pentium III-S и Athlon MP) -- все это рассматривалось нами ранее и является доступным. Вот краткий список материалов по двухпроцессорным системам, опубликованных в "Компьютерном Обозрении" за последнее время:

"Intel Xeon дуальному Pentium 4 -- быть!" (# 7, 2002, www.itc.ua/9083);

"Hyper-Threading: "два-в-одном" от Intel, или Скрытые возможности Xeon" (# 12, 2002, www.itc.ua/9428);

"Дуальный Athlon: второй раунд" (# 14, 2002, www.itc.ua/9589).

Со времени нашего последнего тестирования с участием Xeon для всех трех "дуальных" платформ вышли процессоры с более высокими частотами -- Xeon 2,4 GHz, Athlon MP 2100+ и Pentium III-S 1,4 GHz. И конечно, по сравнению с предыдущими они более производительны (специалисты даже могут без особого труда оценить насколько). Но расстановку сил это не изменило, и переоценивать значимость самого факта мы бы не стали. Гораздо более важным, на наш взгляд, является выход новых платформ, на чем мы и остановимся подробнее.

Если для процессора существует один хороший или хотя бы нормальный чипсет -- это уже большой шанс на успех. Но если таких чипсетов несколько, это о чем-то говорит. Для Xeon их на текущий момент четыре, но вряд ли они на слуху у всех. Тем не менее эти чипсеты довольно интересны, и иметь о них понятие полезно хотя бы "для общего развития".

Таблица 1. Процессоры семейства Intel Xeon

Перед тем как перейти к рассмотрению чипсетов, еще раз напомним, что на самом деле под Xeon подразумеваются целых три семейства процессоров (табл. 1):

неторопливый Xeon Foster с маленьким 256-килобайтовым L2-кэшем;

быстрый Xeon Prestonia с L2-кэшем 512 KB и поддержкой Hyper-Threading (как мы его прозвали, "настоящий Xeon");

Xeon MP (Foster MP) с L3-кэшем, поддерживающий Hyper-Threading и 4-процессорные конфигурации.

Сразу заметим, что 4-процессорные конфигурации в наших реалиях относятся к числу достаточно редкой экзотики и массового пользователя интересуют мало. Поэтому мы в основном ограничимся рассмотрением двухпроцессорных платформ.

Новые чипсеты под Xeon: DDR и PCI-X

Примерно к середине года два основных производителя "серьезных" чипсетов для платформы x86 -- Intel и ServerWorks (ныне подразделение Broadcom) -- представили свои наборы системной логики для платформы Xeon. Собственно, о Grand Champion LE (GC-LE) от ServerWorks многое было известно заранее (что для "великого конспиратора" ServerWorks совсем уж нетипично) -- например, о поддержке двухканальной DDR-памяти и шины PCI-X. Так оно и оказалось на самом деле, и такими же параметрами обладал выпущенный немногим раньше набор логики Intel E7500, известный под кодовым названием Plumas.

Блок-схема чипсета Intel E7500

Но на этом сходство чипсетов не заканчивается. У обоих PCI-X реализуется через отдельные мосты (хотя их количество может быть разным) -- соответственно, E7500 и GC-LE состоят из трех типов микросхем. Также оба набора поддерживают чисто серверные возможности: например, PCI Hot Plug ("горячую замену" PCI-устройств), максимальный объем памяти 16 GB, технологию исправления ошибок памяти Chipkill (защиту от отказов отдельных микросхем и многоразрядных ошибок в модулях памяти), использование резервной памяти (аналог "запасного" диска hot spare в RAID-массивах).

E7500 и GC-LE работают с регистровой памятью PC1600 DDR SDRAM с коррекцией ошибок (Registered ECC DDR SDRAM). Ее частота может быть равной только 200 MHz (100 MHz DDR), т. е. память работает синхронно с процессорной шиной (все серверные процессоры Intel с ядром Pentium 4 пока по-прежнему остаются на частоте FSB 100 4 = 400 MHz). Оба чипсета не поддерживают AGP, что свидетельствует об их исключительно серверной ориентации. Оба работают только с двухпроцессорными конфигурациями -- интересно сравнить их с "младшеньким" Intel i860, который вроде бы поддерживает AGP и применяется, в том числе, и в системах класса workstation, но может обслуживать до четырех процессоров.

Intel E7500 использует традиционную для Intel хабовую архитектуру и состоит из следующих компонентов:

Intel E7500 Memory Controller Hub (MCH);

Intel 82870P2 64-bit PCI/PCI-X Controller Hub 2.0 (P64H2);

Intel 82801CA I/O Controller Hub 3-S (ICH3-S).

К хост-контроллеру MCH может быть присоединено до трех P64H2, у каждого из которых по два независимых 64-разрядных интерфейса PCI-X и по два контроллера PCI Hot Plug. Таким образом, общее количество шин PCI-X достигает шести, каждая может работать в режимах 133/100/66 MHz. Компоненты используют для связи Hub Interface версии 2.0 (HI2.0), обеспечивающий пропускную способность 1,066 GBps. Общая пропускная способность E7500 MCH получается по 3,2 GBps "со всех сторон":

3,2 GBps с ICH3-S;

3 1,066 GBps с тремя P64H2;

3,2 GBps с DDR-памятью.

На практике обычно применяются только две или даже одна микросхема P64H2, обслуживающие четыре либо две шины PCI-X. Но спроектирован чипсет явно с запасом на случай построения "очень расширяемой" системы с шестью шинами PCI-X. Работу с обычной PCI 32-бит/33 MHz в E7500 обеспечивает южный мост ICH3-S, который, кроме всего прочего, содержит встроенные контроллеры ATA/100, USB 1.1, AC'97 и Fast Ethernet.

Таблица 2. Характеристики чипсетов с поддержкой Intel Xeon

Надо сказать, что вхождение в состав Broadcom явно пошло на пользу ServerWorks, и теперь открытой информации о ее продуктах значительно больше. ServerWorks GC-LE весьма близок по характеристикам к Intel E7500 (см. табл. 2). Собственно, их общие черты мы уже перечисляли выше, остановимся только на различиях.

Чипсет состоит также из трех компонентов:

Host Bridge CMIC LE (хост-контроллер);

I/O Bridge CIOB-X2 (контроллер PCI-X);

South Bridge CSB5 (контроллер периферии).

Чип CIOB-X2 обеспечивает работу двух шин PCI-X 133 MHz, всего к хост-контроллеру могут подключаться два таких чипа (у E7500, как помним, их может быть до трех). Соответственно, максимальное число шин PCI-X у GC-LE равняется четырем, плюс стандартная PCI 32-бит/33 MHz, обслуживаемая южным мостом. Пропускная способность каждого из двух каналов между хост-контроллером и CIOB-X2 равняется 3,2 GBps. Одним из кандидатов на место на шине PCI-X, по версии ServerWorks, является контроллер Gigabit Ethernet -- естественно, производства родительской компании. Отметим, что, в отличие от чипсетов Intel, поддержка AC'97 и встроенного в южный мост Ethernet-контроллера у ServerWorks GC-LE не значится.

Кроме достаточно "тяжелого" по характеристикам GC-LE, в конце мая 2002 г. ServerWorks выпустила облегченный чипсет GC-SL с поддержкой Xeon и Pentium 4. Для него максимальный объем памяти составляет всего 4 GB, контроллер памяти является одноканальным, и можно устанавливать только один мост PCI-X CIOB-X2 (соответственно, только две шины PCI-X). Однако используемый в GC-SL новый южный мост CSB6, в отличие от CSB5, поддерживает 64-битовую шину PCI (правда, только на частоте 33 MHz) и шесть IDE-устройств на трех каналах ATA/100 (причем на двух из них есть возможность построения RAID 0, 1, 5). Между прочим, последнее является, мы бы сказали, знаковым событием, причем многими оно было предсказано -- впервые в южный мост x86-чипсета включен не просто контроллер IDE, а фактически контроллер IDE RAID.

Вкратце о PCI-X

Впервые о PCI-X заговорили еще в 1998 году, когда Compaq, HP и IBM объявили о готовящемся к выходу расширении спецификации PCI. Вскоре к ним присоединилась и Intel. Основной целью разработки PCI-X являлось существенное повышение пропускной способности по сравнению с традиционной PCI. Разрядность шины изначально предполагалась равной 64 битам, а тактовую частоту планировалось довести до 100 или даже до 133 MHz. В результате теоретическая пропускная способность должна была составить более 1 GBps (64 бит 133 MHz = 1,066 GBps) -- вдвое выше аналогичного параметра PCI 64-бит/66 MHz. Как сфера предположительного применения назывались Gigabit Ethernet, Fibre Channel, Ultra3 SCSI, интерфейсы между узлами в кластерных системах и т. п.

Новая шина PCI-X обеспечивает обратную совместимость с PCI: физически разъем остался тем же, как и способ представления в PCI-пространстве. Кроме более высокой тактовой частоты, у PCI-X есть еще ряд преимуществ по сравнению с традиционной PCI. Вместо механизма отложенных транзакций (Delayed Transactions) PCI-X использует более совершенный -- распределенных транзакций (Split Transactions), который позволяет упростить архитектуру моста PCI-X. А благодаря Split Transactions устройство получает возможность самостоятельно сигнализировать о своем состоянии. Также в случае PCI-X неактивные в данный момент устройства просто временно "удаляются" (исключаются из циклов опроса), из-за чего снижаются накладные расходы работы шины. В результате PCI-X оказывается на 14--34% эффективнее PCI при равных ширине и тактовой частоте (см. график). Учитывая, что последняя у PCI-X может быть на 50 или 100% выше, чем у PCI 66 MHz (100 или 133 MHz соответственно), общая эффективность шины получается намного выше.

Как это часто бывает, распространение PCI-X происходило не так гладко, как хотелось бы. В результате хоть сколько-нибудь заметной технология стала лишь в конце 2001 -- начале 2002 г. Постепенно начался выпуск устройств с интерфейсом PCI-X и появились системы с поддержкой этой шины. Так, в начале апреля 2002 г. Compaq выпустила первый в индустрии RAID-контроллер PCI-X (SA-5312). На выставке Networld+Interop, проходившей 5--10 мая в Лас-Вегасе, Intel представила опытные образцы серверного адаптера 10 Gigabit Ethernet (Intel PRO/10 GbE LR) с интерфейсом PCI-X. В июле IBM объявила о выходе хост-адаптера 2Gb Fibre Channel PCI-X 133 MHz для eServer xSeries и других Intel-совместимых серверов. Поддержка PCI-X уже реализована в некоторых серверных наборах системной логики и заявлена в будущих чипсетах.

Серверные платы под Xeon: пока в основном Plumas

Блок-схема чипсета ServerWorks GC-LE

Признаемся, выход этого материала мы намеренно несколько затянули. Хотя платформе Xeon уже почти восемь месяцев, да и новые серверные чипсеты под нее тоже появились не только что, но вот с разнообразием плат в родных степях как-то все не складывалось. Поэтому, чтобы не превращать статью в "бенефис Supermicro", мы решили немного подождать. Надо сказать, ожидание себя почти оправдало: на этот раз в обзоре Xeon-платформ рассматриваются продукты уже от трех производителей -- к Supermicro присоединились Intel и Tyan. Однако есть и минус -- обзор пришелся на "межсезонье" в платах на ServerWorks GC-LE (Supermicro переводит модели с контроллеров Ultra160 на Ultra320 SCSI), поэтому здесь представлены четыре различные модели только на чипсете E7500 Plumas. Для полноты картины мы также включили в обзор и плату-ветерана -- Supermicro P4DC6+ на чипсете i860, на которой проводились все предыдущие тесты с участием Intel Xeon.

Таблица 3. Двухпроцессорные платы с поддержкой Intel Xeon

Характеристики плат сведены в таблицу 3, и сначала мы остановимся на их общих чертах. Хотя чипсет E7500 предусматривает установку до трех чипов P64H2 (соответственно, до шести шин PCI-X), но реально на трех из четырех представленных моделей на E7500 установлено по одному мосту, и только на Supermicro P4DP6 этих мостов два. Практически на всех есть по два сетевых чипа (причем все от Intel) -- или два 100-мегабитовых Fast Ethernet, или один 100-мегабитовый и один Gigabit Ethernet. Плата Intel SE7500CW2 поставляется в варианте без SCSI-контроллера, на трех других установлен "классический" Ultra160 SCSI-контроллер Adaptec AIC-7899W. Кроме того, все три платы поддерживают установку PCI-контроллеров Zero Channel RAID (ZCR, подробнее см. www.itc.ua/8820). Естественно, все представленные модели имеют формат Extended ATX.

Intel SE7500CW2 (E7500)

Intel SE7500CW2

Плата выглядит самой большой из всех -- наверное, из-за того, что на ней очень много свободного, ничем не занятого текстолита. Впрочем, это уже стало своего рода визитной карточкой плат от Intel. Второе впечатление -- довольно минималистичное оснащение: нет радиатора на чипе P64H2, вместо SCSI-контроллера -- IDE RAID (Promise PCD20267). Зато те компоненты, что есть, использованы "по-умному". Вот, к примеру, такой маленький штришок: индикаторы активности двух интегрированных 10/100 Ethernet-интерфейсов, естественно, присутствуют на самих разъемах RJ-45, но, кроме этого, предусмотрена и возможность подключения внешних -- для вывода информации на лицевую панель системы. Также имеется дополнительный пятиштырьковый ("в линеечку") разъем питания AUX Power. На стандартных БП мы таких коннекторов не видели, скорее всего, эта фирменная особенность может быть задействована только при монтаже платы в шасси от Intel. Преобразователь напряжения на плате четырехканальный, для увеличения мощности в каждом из плеч используется по два однотипных транзистора (4 2 2). Типы транзисторов в верхнем и нижнем плече разные, отличающиеся максимальным током стока -- 77 и 110 А соответственно. В целом же Intel SE7500CW2 более всех остальных продуктов-участников производит впечатление именно фундамента для сборки готовой системы -- фантазия составителя конфигурации почти ничем не ограничена, на плату интегрированы только самые необходимые компоненты.

Supermicro P4DMS-6GM (E7500)

Supermicro P4DMS-6GM

Очень "плотно сбитый" продукт -- на текстолите нет буквально ни одного свободного сантиметра. Впрочем, это понятно, учитывая, сколько в плату всего "наинтегрировали" -- SCSI-контроллер, видеокарта, один 10/100 Ethernet-адаптер, плюс еще один Gigabit Ethernet, шесть слотов DIMM... К тому же один из слотов PCI-X выполнен в конструктиве VXB (Virtual Extended Bus). При монтаже платы в "обычный" корпус он просто играет роль еще одного слота PCI-X, по функциональности аналогичного другим. А вот если планируется использовать rackmount-корпус, то для уменьшения высоты в слот VXB может устанавливаться "елочка" с теми же тремя слотами PCI-X, что на плате, но расположенными уже горизонтально. Именно для того, чтобы развести линии прерываний на все три слота, и нужен небольшой "довесок" контактов, которым слот VXB отличается от обычного PCI-X. Если ко всему сказанному добавить, что эта плата поддерживает возможность установки ZCR (Zero Channel RAID), то получаем высокоинтегрированное и в то же время хорошо масштабируемое решение для построения системы практически любого уровня сложности и производительности. Можно сказать, что Supermicro в этом отношении несколько "концептуально противостоит" Intel, используя в своих продуктах большее количество различных по функциональности компонентов. С другой стороны, их подбор вполне грамотен, т. е. шанс, что они "не останутся не у дел", весьма велик. Трудно определить, какой из путей "правильнее". Мы бы сказали, что оба -- просто у каждого есть свои приверженцы.

Supermicro P4DP6-0 (E7500)

Supermicro P4DP6-0

Классический пример "серверного монстра" -- 8 разъемов под DIMM, 6 слотов PCI-X (один в конструктиве VXB), радиаторы почти на всех чипах, 2 100 Mbps Ethernet, SCSI-контроллер, поддержка Zero Channel RAID. Интересно реализованы слоты: по конструктиву это PCI-X, но с помощью специальных перемычек на плате можно управлять частотой работы этой шины, и даже более того -- переключать в режимы совместимости с PCI 66 MHz. Из особенностей также отметим "разнесенность" в разные углы разъемов для подключения SCSI-винчестеров. Кстати, преобразователи напряжения у всех плат Supermicro выполнены по одной схеме -- 4 2, т. е. дублирования транзисторов в каждом из плеч нет. Зато сами транзисторы используются более мощные -- их максимальный ток стока составляет по документации 110 А. Несколько удивило то, что в документации на плату заявлена только поддержка Xeon Prestonia (Intel Xeon 512 KB L2-кэшем), т. е. нет упоминаний о более старом его варианте Foster.

Supermicro P4DC6+ (i860)

Эта плата уже не раз фигурировала в материалах, посвященных двухпроцессорным платформам, начиная от первого знакомства с Xeon ("Компьютерное Обозрение", # 7, 2002, www.itc.ua/9083). Собственно, до сих пор P4DC6+ была основой для всех тестовых систем с процессорами Intel Xeon и наверняка хорошо знакома нашим постоянным читателям. Поэтому подробно останавливаться на ее особенностях мы не будем. Отметим лишь, что это единственная плата в обзоре на чипсете i860, и, соответственно, только она работает с памятью Rambus DRAM. От прочих участников обзора Supermicro P4DC6+ отличается еще и тем, что на ней можно построить не только двухпроцессорный сервер, но и мощную рабочую станцию. Так, слот AGP Pro есть лишь на этой плате (на всех остальных его нет вообще), и лишь на ней отсутствует интегрированное видео.

В общем, платформа явно с уклоном в сторону хорошей workstation -- максимальный объем памяти в 2 GB также выглядит достаточно скромно по сравнению с 12--16 GB у плат на E7500 и ServerWorks GC-LE. Из прочих отличий стоит, пожалуй, отметить поддержку Zero Channel RAID не в слоте PCI, а в специализированном разъеме SO-DIMM (когда контроллер размером с кредитную карточку устанавливается параллельно плоскости платы).

Tyan Thunder i7500 (S2720)

Tyan Thunder i7500 (S2720)

Плата, занимающая промежуточную позицию между "легкосерверными" вариантами вроде Intel SE7500CW и "тяжелой артиллерией" в лице Supermicro P4DP6. Самая простая характеристика, позволяющая быстро сориентироваться в вопросе "who is who?", -- это максимальный объем поддерживаемой памяти. Так, в продукте Intel он составляет "скромные" 4 GB, в Supermicro P4DP6 -- 16 GB, а вот в Supermicro P4DMS-6GM и Tyan Thunder i7500 -- 12 GB. По сути, две последние очень похожи: равный объем памяти и количество разъемов DIMM, одинаковая сетевая оснащенность (по одному адаптеру 10/100 и Gigabit Ethernet), тот же SCSI-чип, поддержка ZCR... Словом, при взгляде на сравнительную таблицу характеристик сразу же становится понятно, что ориентация у Tyan Thunder i7500 и Supermicro P4DMS-6GM примерно одинаковая. Основное же различие состоит в наборе слотов: Tyan уделил больше места и внимания поддержке PCI-X (4 слота против трех у продукта Supermicro), но в то же время слот "обычной" PCI на этой плате всего один. А вот преобразователь напряжения Tyan предпочел "интеловской" схемы -- 4 2 2, только транзисторы чуть менее мощные -- на 64 А. Впрочем, исходя из предположения, что с потреблением по току более 100 A нам вряд ли придется столкнуться, даже 2 64 = 128 A является вполне достаточной характеристикой.

Платы на ServerWorks GC-LE -- ждем-с...

К сожалению, платы с поддержкой Xeon на чипсетах ServerWorks в наш обзор не вошли, но не упомянуть их было бы неправильно. В настоящее время Supermicro производит три двухпроцессорные модели на ServerWorks GC-LE -- P4DL6, P4DLR и P4DLR+. Все они работают с DDR-памятью и поддерживают соответственно 16, 12 и 8 GB. Все платы оснащены двухканальным Ultra160 SCSI-контроллером, интегрированным графическим чипом ATI Rage XL и двумя сетевыми чипами (на P4DL6 -- Gigabit Ethernet и Fast Ethernet, на двух других -- по паре Fast Ethernet). Основное отличие P4DLR от P4DLR+ в том, что вторая ориентирована на rackmount-системы, для чего слоты DIMM наклонены под углом 25°. Три платы Supermicro на ServerWorks GC-LE также различаются между собой набором слотов.

Недавно тайваньская ASUS выпустила двухпроцессорную плату PR-DLSW на чипсете ServerWorks GC-LE. Плата поддерживает до 12 GB памяти (шесть слотов DIMM), имеет пять 64-битовых слотов PCI-X, один PCI 32-бит/33 MHz и слот AGP Pro (!). Интегрированное видео отсутствует, в наличии контроллеры Ultra160/320 SCSI и Fast Ethernet.

Ну и для полноты картины стоит упомянуть готовящуюся к выходу Tyan Thunder GC-HE (S4520) на чипсете ServerWorks GC-HE -- четырехпроцессорную плату с поддержкой Xeon MP, 24 GB памяти, семи слотов PCI-X... Впрочем, это уже несколько из другой, еще более high-end-области.

Заключение

Мы сознательно отказались в данном случае от тестирования, ограничившись обзором чипсетов и готовых решений на их основе, причем сделали это по двум причинам. Во-первых, словосочетание "тестирование производительности серверной платформы" у специалистов, работающих в этой области, чаще всего вызывает лишь грустную улыбку. "Да знаю я примерно, какая у нее производительность", -- думают они про себя. И если платформа X обгонит пусть даже на 10--15% платформу Y -- то поводом для раздумий специалиста, подбирающего сервер под свои задачи, это ни в коей мере являться не будет. Какие 10--15%, когда сервер приобретается с расчетом на функционирование в течение долгих лет, и во многих (если не в большинстве) случаях с запасом, превышающим требования дня нынешнего в разы? Потенциального покупателя интересует совсем другое -- функциональность (применительно к платам мы ее описали) и надежность. Что же до тестирования последней... Тут нам, как говорится, не стыдно пожать плечами, ибо, честно говоря, ни один пример тестирования надежности сервера нам попросту неизвестен. Ну а вторая причина состоит в том, что даже без "тестового компонента" вполне достаточно материалов для раздумий. Тем более что описали мы не некие гипотетические "где-то-там-существующие" продукты, а те, которые вполне реально "пощупать", не выезжая за пределы Украины. Вот он -- "мировой high-end" -- под рукой, рядом. Все-таки приятно осознавать, что, несмотря на, прямо скажем, не лучшую рыночную ситуацию, есть у нас компании, не ограничивающиеся отверточной сборкой ПК и стремящиеся к чему-то большему. А "если звезды зажигают -- значит, это кому-нибудь нужно", не так ли?

Оборудование для подготовки материала предоставлено:

Материнская плата Intel SE7500CW2	Украинское представительство Intel	(044) 490-6417
Материнские платы Supermicro, процессоры Intel Xeon 2,4 GHz	"Оникс"	(044) 205-5561
Материнская плата Tyan Thunder i7500 (S2720)	Entry	(044) 246-8463