8-way Opteron: новые степени свободы для задач любой сложности

Совсем недавно мы рассматривали доступные в Украине серверные barebone-комплекты для двухпроцессорных конфигураций на базе AMD Opteron. Сегодня же нам представилась уникальная возможность познакомиться с наиболее мощной системой от Tyan, поддерживающей восемь процессоров.

На выставке CeBIT 2005 компания Tyan показала свое первое 8-процессорное решение для AMD Opteron 8хх, и вот спустя месяц этот сервер оказался в нашей Тестовой лаборатории. Внешне конструкция не вызывает каких-то особенных эмоций – обычный с виду полноразмерный напольный сервер с возможностью использования в стойке. Однако внутренняя конструкция – двухъярусная материнская плата с восемью сокетами – весьма впечатляет. Но, прежде чем перейти к «железной» части вопроса, очень важно выяснить подоплеку появления многопроцессорных систем от AMD и понять, почему же сам анонс подобного продукта – событие знаменательное.

Многопроцессорная система по версии AMD

Да простит нас читатель, хорошо разбирающийся в вопросах SMP, но для полноты картины все же напомним некоторые базовые понятия. Как известно, производительность мультипроцессорных систем почти никогда не соответствует суммарной производительности отдельно взятых процессоров. В компьютерах с количеством CPU больше одного обязательно необходимо учитывать факторы, имеющие непосредственное влияние на общее быстродействие, – топологию SMP-системы и особенности этой топологии. В принципе, компания AMD в своих серверных процессорах Opteron применила не новый подход, однако впервые такое решение реализовано в массовых продуктах. В отличие от более дешевых собратьев (серий 2хх для дуальных систем) с одной шиной HyperTrasport все модели Opteron 8хх имеют три независимые когерентные шины HyperTrasport. Они используются в качестве скоростного интерфейса между процессорами (топологию построения 8-процессорных конфигураций можно увидеть на блок-схеме).

Сервер Tyan B4881-8P
Шасси Tyan Transport VX50
Формфактор	Пьедестальный, стоечный полноразмерный 4U
Отсеки	3×5,25", 8×3,5"
Корзина	SATA, hot swap, 4×HDD SCSI, hot swap, 4×HDD
Блок питания	Модульный, hot swap, 4×500 Вт
Вентилятор	3×120 мм, 3×80 мм
Материнская плата Tyan Thunder K8QW
Чипсет	NVidia nForce4 Professional + AMD-8131
Разъемы на плате	3×PCI-X, 2×PCIe x16 (x16, x4), 2×HTX x16
DIMM	32×PC2700/3200R
IDE (Parallel ATA)	2
Serial ATA II	4 порта, nForce4 (RAID 0,1,0+1)
Ethernet	2×GbE (Broadcom BCM5704C)
Видео	ATI Rage XL, 8 MB

Контроллер памяти у всех представителей платформы AMD64 – интегрированный, значит, им нужен максимально гибкий алгоритм доступа к участкам памяти, относящимся к другим чипам. Скоростные соединения непосредственно между CPU как раз необходимы для получения процессорами данных из «чужой» памяти. Для сравнения: в системах на базе Xeon/Itanium 2 используется одна общая полудуплексная шина, которая в случае интенсивного обращения к ОЗУ становится узким местом (кстати, поэтому Intel такими темпами увеличивает объемы кэш-памяти у своих серверных процессоров – чтобы уменьшить количество запросов к оперативной памяти). Кроме того, коммутация между процессорами AMD может изменяться в зависимости от того, в какой области памяти находятся необходимые для вычислений данные (пунктирные линии на рисунке изображают возможные трансформации HyperTransport-соединений). Наибольшее преимущество такого подхода – практически линейный рост производительности при увеличении количества CPU. Получается, что на подобных системах одинаково хорошо решаются как задачи, оптимизированные для параллельного выполнения на уровне алгоритмов, так и обычные многопоточные приложения.

Второе важное заключение, вытекающее из вышесказанного, – принципиальная возможность построения систем с любым количеством процессоров. Нет никаких препятствий для создания, скажем, 16-процессорной конфигурации на базе подобной топологии, тем более что результат обязательно окажется выше, чем при использовании кластерной технологии, которая коммутирует узлы на более высоком уровне, а это неизбежно ведет к большим задержкам даже в случае применения высокопроизводительных коммутирующих интерфейсов. 8-процессорные системы с CPU Intel выполнены на базе расширенной версии чипсета E8870 (с дополнительной микросхемой 8870SP) и платформы Itanium 2. Однако «8-way» по версии Intel нельзя назвать «чистой» SMP-моделью – скорее, это кластер с использованием внутреннего скоростного интерфейса для соединения двух серверов с чипсетами E8870. Фактически получается, что два независимых сервера с четырьмя CPU объединяются в один с помощью последовательной двунаправленной шины Scalability Port общей производительностью до 12,8 GBps. В результате топовая конфигурация от Intel гораздо сложнее по реализации и, соответственно, дороже.

Почему мы начали сравнивать «восьмерку» от AMD с аналогичной по числу чипов системой на Itanium 2? Дело в том, что образец, который создала Tyan, явно ориентирован именно на те сферы применения, где необходимы интенсивные 64-битные вычисления. Двухпроцессорные Opteron-комплекты (будем реалистами) не конкурируют с продуктами на базе Itanium 2, скорее, они нацелены на тот же рынок, что и Xeon DP. Зато модели с большим количеством процессоров уже способны выполнять более сложные задачи – во многом благодаря прогрессивным технологиям обмена данными между CPU. Долгое время Intel не проводила никаких изменений с платформой Xeon MP. Процессоры были необычайно дороги и имели при этом не самые высокие показатели производительности в значительной степени ввиду использования устаревших чипсетов, в результате чего в некоторых задачах могли легко проиграть более современным моделям на Opteron 2xx и Xeon DP. Сегодня ситуация исправлена – недавно увидело свет новое поколение Intel Xeon MP, оснащенных 1 MB L2-кэша и 8 MB L3-кэша, а также 64-битным «расширителем» EM64T. Но идеология процессорной шины не изменилась, поэтому вопросы о необходимости столь большого кэша отпадают сразу. По идее, нет особых противопоказаний для использования новых Xeon MP совместно с чипсетом 8500 для создания «восьмерок», но пока говорить о технической реализации и целесообразности такого подхода в целом рановато. Снова мы приходим к выводу, что для 8-процессорных серверов наиболее достойную конкуренцию AMD сможет составить лишь Itanium 2.

Для связи двух «этажей» материнской платы впервые применен внешний интерфейс HyperTransport

Но стоит учитывать один важный нюанс – минимальное количество микросхем чипсета E8870 даже для 4-процессорной конфигурации равняется восьми (и это только в случае использования одного контроллера PCI-X). Для восьми CPU уже необходимо минимум 20 (!) контроллеров (по десять на каждую четверку). Честно говоря, представить такой чипсет гораздо сложнее, чем о нем написать. Подобный подход требует значительно большего места на материнской плате, сложной разводки и усиленного питания, что обязательно скажется на цене.

Для серверов AMD пока применяются два набора логики – «родной» AMD-8000 и появившийся совсем недавно nForce4 Professional. В новом детище инженеры Tyan использовали комбинированный подход – в качестве основного хаба выступает чип от NVidia, а для поддержки PCI-X применяется мост AMD-8131. Но интерес, прежде всего, вызывает не столько приход производителя акселераторов в серверный сегмент, сколько то, что для построения 8-процессорного сервера с полным набором функций (PCI-X, PCI Express, 2×Gigabit Ethernet, SATA II) понадобилось всего две (!) микросхемы. Безусловно, за такое инновационное решение, позволяющее одновременно сделать проще разводку, освободить место на PCB, снизить энергопотребление и увеличить производительность, обеим компаниям (AMD и NVidia) можно сказать только спасибо. Вероятно, именно таких прогрессивных технологий так не хватало застоявшемуся сектору серверных технологий последние лет пять.

Для чего же в обзорной статье, посвященной новому продукту, столько теоретического материала? Просто хотелось, чтобы читатель перед знакомством с технической частью имел представление о том, что многопроцессорный сервер – это гораздо более сложная система, чем просто материнская плата с количеством сокетов 2^N, а каждое следующее значение N существенно увеличивает сложность построения сервера. При этом прирост производительности при удвоении числа CPU всегда меньше «линейных» 100%. Кстати, подобный аргумент в последние годы стал основополагающим фактором многократно возросшей популярности вычислительных кластеров. Решения с восемью процессорами чаще всего (если вообще допустимо применение подобного словосочетания) являются промежуточным звеном между серверами и кластерами. Они имеют большее быстродействие, чем четыре 2-процессорных узла, являются более предпочтительным выбором для задач, где вычисления распараллеливаются частично, либо где необходима быстрая реакция системы на поступающие команды. Несмотря на то что использовать кластеры зачастую оказывается дешевле, пока сложно сказать, смогут ли они окончательно вытеснить многопроцессорные серверы.

Спецификации

Первое, что хотелось бы заметить, – попавший к нам продукт является пока лишь прототипом будущих мощных серверов Tyan. Решение еще официально не представлено – прежде всего по причине того, что оно ориентировано на новые двухъядерные Opteron 8xx, появление которых ожидается в этом квартале (хотя нет никаких противопоказаний использовать его и со старыми образцами CPU). Однако незавершенность продукта проявляется лишь в системе охлаждения, которая реализована не полностью: посадочные места под вентиляторы на задней части корпуса после установки платы становятся недоступными, а в остальном система выглядит вполне готовой к производству.

«Двухэтажная» 8-процессорная плата Tyan K8QW: нижний (верхнее фото) и верхний (нижнее фото) слои расположены один над другим, каждый несет на себе по четыре процессора

Основу сервера B4881-8P составляет пьедестальное шасси Transport VX50 с возможностью трансформации в стоечный формат 4U. Спереди есть отсеки для трех корзин с установленными 12 жесткими дисками, а основная система охлаждения включает три мощных 120-миллиметровых вентилятора, находящихся в центральной части корпуса. Материнская плата Tyan K8QW имеет ряд уникальных особенностей. Прежде всего – она двухъярусная, т. е., по сути, состоит из двух плат, расположенных одна над другой. Система снабжена портом PCI Express x16, что позволяет при необходимости устанавливать внешнюю видеокарту. Для соединения между «этажами» платы впервые применяется внешняя версия интерфейса HyperTrasport, получившая название HTX (HyperTransport Expansion Interface). Соответствующие два разъема выполнены аналогично PCI Express x16, что еще раз доказывает близкое родство двух стандартов. Поддерживается до 128 GB памяти DDR400/333 или же до 256 GB DDR266.

Оснащение сервера полностью соответствует требованиям, обычно предъявляемым к таким системам: интегрированное видео ATI Rage XL, двухпортовый контроллер Gigabit Ethernet, три порта PCI-X, слот PCIe x4 (разъем x16) и на выбор – четыре порта SATA II или интегрированный контроллер Ultra320 SCSI. Для питания столь мощного агрегата применятся модульный 4-компонентный блок питания производства Zippy общей мощностью 1,3 кВт.

Большой плюс данной системы – ее компактность. Также наверняка это первая попытка (если не учитывать продукты Silicon Graphics) оснастить восьмипроцессорную конфигурацию мощной внешней видеокартой, что дает уникальную возможность использовать ее и в качестве сверхпроизводительной рабочей станции.

Итого

Безусловно, продукт у Tyan получился концептуальный и интересный. Инженеры компании славно потрудились, чтобы создать действительно мощный образец, но в то же время сделать его максимально удобным в применении и наделить той функциональностью, которая позволит решать широкий круг задач.

Наконец-то мы увидели и полную реализацию архитектурных новшеств, заложенных в наиболее производительное семейство из серии Opteron.

Пока мы не располагаем данными о быстродействии 8-процессорных систем на базе Opteron и Itanium 2, поэтому не можем точно сказать, какая же из них по соотношению цена/производительность окажется лучше. То же самое относится и к новым двухъядерным серверным CPU, которые обе компании вот-вот выпустят. Но уже сейчас можно с уверенностью говорить, что для таких задач, как создание кинематографических спецэффектов, сложная анимация, корпоративные CAD/CAM-системы, новое детище Tyan будет просто незаменимым.

Оборудование предоставлено компанией Entry, www.entry.kiev.ua