Суперкомпьютерный "БигМак"

25 ноябрь, 2003 - 00:00Александр Пацай
Суперкомпьютеры как вид

Суперкомпьютерный "БигМак"Хотя современные персональные компьютеры в производительности шагнули далеко вперед по сравнению с вычислительными устройствами, существовавшими всего десяток лет назад, но есть множество задач, для которых мощности никогда не бывает достаточно, и за примером далеко ходить не нужно: это и прогнозирование погоды, и создание новых медицинских препаратов и пр. Одним словом, суперкомпьютеры по-прежнему нужны, и чем мощнее, тем лучше.

Зачастую эти системы состоят из сотен компьютеров, объединенных высокоскоростной "магистралью" для передачи данных. Такие вычислительные комплексы чаще всего строятся под заказ для крупных научных и военных исследовательских организаций. Стоимость подобных проектов измеряется десятками, а то и сотнями миллионов долларов. Так, по некоторым оценкам, цена суперкомпьютера # 1 в мире NEC Earth Simulator составляет около 250--300 млн. долл. Понятно, что такого рода комплексы доступны далеко не каждой организации. Но все больше высокопроизводительных систем сегодня строится на основе стандартных компонентов -- PC и, в последнее время, Macintosh.


Power Macintosh G5

Суперкомпьютерный "БигМак"
Сриниди Варадараджан: "Суперкомпьютер -- это очень просто". Самодельный кластер TCF от Virginia's Tech вдвое дешевле систем такого класса и запущен в эксплуатацию всего за полгода
В июне Apple представила новую модель персональных компьютеров Power Macintosh на новом 64-битном процессоре PowerPC 970, разработанном совместно с IBM. Apple со свойственной ей смелостью назвала этот компьютер самым быстрым в мире (подобное заявление было подкреплено сравнительными тестами производительности процессоров PowerPC 970, Intel Pentium 4 и Intel Xeon). Многие обозреватели не преминули покритиковать способ сравнения быстродействия процессоров, которым воспользовалась компания, однако в итоге стороны сошлись на том, что производительность процессора -- это еще далеко не все, и нужно оценить, как будут себя вести компьютеры "в жизни", с реальными приложениями.

Когда начались продажи системы, появилась возможность сравнить производительность G5 и с предыдущими моделями "Маков", и с разными конфигурациями PC, включая модели с процессорами Pentium 4, Xeon и даже Opteron/Athlon 64. Причем разные тесты отличались своими результатами, и шум вокруг "самой самости" по-прежнему не утихал. При этом двухпроцессорные машины так и не поступили в продажу. По слухам, задержки в их поставках связаны с тем, что Apple сначала собирается выполнить крупный заказ на партию систем для построения суперкомпьютера-кластера.

Какое-то время информация об этом предполагаемом кластере действительно не выходила за рамки слухов, но это было связано с тем, что, кроме Apple, в тендере участвовали такие именитые поставщики серверных/кластерных решений, как Dell, IBM, HP и Sun, и некоторые компании (в частности, Dell) требовали неразглашения деталей до заключения контракта. Поэтому первые официальные сообщения появились только 2 сентября, когда уже стал известен победитель конкурса -- компания Apple.


Проект

Заказчиком этого проекта был Политехнический институт штата Вирджиния (Virginia's Tech). Цель -- создание высокопроизводительного вычислительного центра для научных исследований в сфере наноэлектроники, аэродинамики, моделирования молекул белка, акустики и биохимии.

Одним из главных факторов для института, безусловно, была стоимость и соотношение затраченных средств к полученной производительности. Организации вроде Министерства энергетики США могут особо не задумываться над этим, главное -- получить мощнейший вычислительный ресурс, а для образовательных учреждений -- это одна из основных проблем.

Кроме того, второй важный аспект -- сроки. Например, компания IBM также являлась одним из главных претендентов на поставку оборудования, построенного на основе PowerPC 970, но обещала предоставить его только с 2004 г. (Действительно, недавно IBM обьявила, что выпустит в начале следующего года blade-серверы размером в 1U с двумя процессорами PowerPC 970 с частотой 1,6 GHz.)

Идея построить суперкомпьютер возникла в институте в марте, финансирование было получено в апреле-мае, в июне его сотрудники (узнав об анонсе новых Power Mac G5 на основе 64-битных процессоров PowerPC 970) встретились с представителями Apple, а уже в конце сентября суперкомпьютер начал функционировать в отладочном режиме. Стоит отметить, что обычно создание суперкомпьютера, который должен попасть в десятку самых мощных в мире, занимает до полутора лет.

Одним из важных условий построения кластера являлось применение 64-битной архитектуры процессоров (вариант 32-битных решений даже не рассматривался), а также использование сети с высокой надежностью и пропускной способностью.

По утверждению доктора Сриниди Варадараджана (Srinidhi Varadarajan), вдохновителя проекта, первоначально кластер задумывался как ресурс, доступный различным исследовательским организациям. "Мы не хотим ограничивать доступ тех, у кого нет гранта на исследования. Иногда нужен результат, чтобы получить грант". Кроме того, за отдельную плату суперкомпьютер будет доступен всем, кто заинтересован в исследованиях, требующих высоких мощностей.

Дерек Бастиль (Derek Bastille) из Суперкомпьютерного центра Арктического региона сказал, что просто поражен результатами Virginia's Tech -- Центр потратил около 30 млн. долл. и два с половиной года на установку двух суперкомпьютеров от Cray и IBM.

Собирали кластер студенты института -- волонтеры. Их задача заключалась в том, чтобы распаковать компьютер, включить его, затем, выключив, установить память и сетевую карту, потом еще раз проверить машину и после этого поставить компьютер в стойку. В среднем на такую процедуру с одной машиной затрачивалось около двух часов. В качестве вознаграждения студенты получали билеты на футбольные матчи. Кроме этого, дополнительные затраты на сборку кластера -- около 600 пицц и сотня литров кока-колы для 165 добровольцев.

Настольный суперкомпьютер

В августе 1999 г. компания Apple представила новую модель настольных компьютеров под названием Power Macintosh G4 на основе процессора PowerPC 7400 от Motorola. По утверждениям компании, производительность этой системы превышала 1 миллиард операций в секунду (GFLOP). В то время в США еще действовал закон, согласно которому машины с производительностью более 1 GFLOP попадали в разряд суперкомпьютеров, и их экспорт в некоторые страны (в том числе в Россию и Украину) был запрещен. Безусловно, до Apple и другие производители компьютеров сталкивались с подобной проблемой, но именно Apple использовала это ограничение как идею для маркетинговой акции. В начале 2000 г. оно было изменено -- теперь "планка суперкомпьютерности" находится на высоте 50 GFLOP. Двухпроцессорный Power Mac G5 IBM PowerPC 970 на частоте 2 GHz "выдает на-гора" в пике 17 GFLOP, а уже на подходе модель с процессорами по 2,5 GHz, летом следующего года планируется переход на PowerPC 980 с частотой от 3 GHz. Соответственно, уровень производительности такой машины может вплотную приблизиться к 50 GFLOP, и Apple снова достигнет того порога, за которым ее компьютеры, скорее всего, будут ввозить в Украину "серыми" поставками.


Hardware

Кластер "БигМак" (официальное название -- Terascale Computing Facility, TCF) состоит из 1100 Power Macintosh G5, в каждом из которых находится по два процессора PowerPC 970 с тактовой частотой 2 GHz. Во все машины установлено дополнительно по 2 GB оперативной памяти, и таким образом каждый узел кластера содержит по 4 GB RAM. Кроме того, 1100 жестких дисков размером в 160 GB дают в сумме 176 TB дискового пространства. Четыре машины используются для компиляции задания и запуска задач на кластере, а одна -- для управления всем кластером.

Компания Mellanox, производитель продуктов InfiniBand, разработанных консорциумом производителей серверных систем, стала поставщиком коммуникационного оборудования и драйверов для сетевых карт.

Суперкомпьютерный "БигМак"
Сборка основной части системы студентами заняла только один день и обошлась институту примерно в 600 пицц, сотню литров кока-колы и несколько десятков билетов на футбол
Двадцать четыре 96-портовых коммутатора InfiniBand, которые соединяют машины в кластер, используют специальные медные проводники для того, чтобы обеспечить передачу данных с предельной скоростью до 20 Gbps. Реально она составила около 700 Mbps. После изменения задержек в шине PCI-X, в разьем которой установлены сетевые карты, скорость передачи данных возросла до 870 Mbps. Древовидная структура соединения компьютеров в кластере позволяет им связываться между собой с задержкой менее 10 мс.

В качестве поставщика вспомогательной сетевой инфраструктуры была выбрана Cisco. Компания предоставила 5 коммутаторов Cisco 4500, каждый из которых содержит 240 гигабитных портов. Вспомогательная сеть используется для управления машинами, запуска вычислений и обычного IP-трафика. Напомним, что все модели Power Macintosh содержат встроенный сетевой адаптер со скоростью передачи данных 10/100/1000 Mbps.

Суперкомпьютерный "БигМак"Весь набор оборудования, включая компьютеры, память, основное и вспомогательное сетевое обеспечение, обошелся институту в 5,2 млн. долл., из них 1,6 млн. стоили коммутаторы и сетевые карты и около 180 тыс. долл. -- кабели.

Как уже отмечалось, институт рассматривал предложения и от других поставщиков компьютерных решений, но их стоимость находилась на уровне 10--12 млн. долл. И это при том, что во всех Power Mac G5 установлены дорогие CD/DVD-RW-приводы и видеокарты с 64 MB памяти, которые в данном случае не нужны; если бы был поднят вопрос о дальнейшем удешевлении предложения от Apple, то у компании оставалось еще пространство для маневрирования.

По словам д-ра Варадараджана, первоначально в качестве платформы для кластера рассматривались Opteron от AMD и Itanium 2 от Intel. Но ни один, ни другой вариант не подошел по суммарным параметрам.

Помимо Terascale Com­puting Facility, у института также есть построенный ранее суперкомпьютер на базе 400 процессоров Opteron (под управлением Linux) и кластер из 20 SGI Origin 2000. Кроме того, Virginia's Tech подключен к National Lambda Rail -- оптической сети протяженностью более 20 тыс. км, которая объединяет учебные заведения и исследовательские организации, занимающиеся HPC.


Software

На всех компьютерах в качестве операционной системы установлена Mac OS X, которая привлекла создателей кластера тем, что базируется на FreeBSD с типичной Unix-средой. В данный момент во всех машинах используется та версия Mac OS X, с которой они и поставлялись, -- 10.2.7. В ближайшее время планируется обновление системного ПО до новой версии Mac OS X -- 10.3 Panther.

При расчетах используется набор библиотек для параллельных вычислений под названием MPI, разработанных в университете штата Огайо. Они были портированы самим Сриниди Варадараджаном с Linux на Mac OS X благодаря Unix-корням Mac OS X. В будущем планируется совместное с лабораториями Argonne портирование библиотек MPI-2.

Для компиляции задач будут применяться встроенный в Mac OS X GCC 3.3 и xlc от IBM, который генерирует более оптимизированный код, чем GCC.

Кроме того, лаборатория планирует задействовать два разных компилятора Fortran 90/95/77 -- от IBM и от NAG. Преимущество компилятора IBM -- скорость, а продукт NAG имеет более широкую функциональность.

При построении подобных кластеров одно из важных условий -- высокая надежность всех составляющих и возможность выполнять задачу даже в тех случаях, когда часть узлов не функционирует. Для таких ситуаций была создана программа Deja vu, которая автоматически переводит за­дачу на другой узел.


Производительность

На первом месте "хит-парада" пятисот мощнейших компьютеров планеты, как и год назад, находится Earth Simulator Center, построенный компанией NEC на базе 5120 специально разработанных процессоров. На втором -- суперкомпьютер ASCI Q из военной исследовательской лаборатории в Лос-Аламосе, состоящий из 8192 процессоров Alpha и построенный компанией Hewlett-Packard. Третью позицию в этом списке занял самостоятельно собранный Tera­scale Compu­ting Facility из 1100 Power Mac G5.

На четвертом и пятом местах также оказались кластерные вычислительные центры из военных лабораторий, занимающихся разработкой новых видов оружия, построенные на основе 2500 Xeon и 1936 Itanium 2 соответственно. (Полный список суперкомпьютеров доступен на странице www.top500.org/list/2003/11/.)

В этом списке компьютеры расположены по уровню их реальной производительности. Например, у Earth Simulator ее теоретическое пиковое значение составляет более 40 TFLOP, хотя реально этот суперкомпьютер достиг только 35,8 TFLOP. ASCI Q демонстрирует результаты 20,4 и 13,8 TFLOP соответственно. "БигМак" скромно разместился на третьем месте с соотношением 17,6 TFLOP (теоретическая) и 10,3 TFLOP (максимально достигнутая производительность системы).

Такой высокий показатель возможен благодаря архитектуре процессора PowerPC 970. В каждом процессоре G5 -- два блока для вычислений с плавающей точкой с двойной точностью. Блоки могут выполнять одну смешанную операцию сложения--умножения за один цикл, а каждый процессор выдает "на-гора" результат с двойной точностью при двух операциях за цикл, т. е. 8 GFLOP. Соответственно двухпроцессорная машина способна работать с производительностью около 16 GFLOP.

Взглянув на пятую позицию, где разместился кластер из почти 2 тыс. процессоров Itanium 2, можно заметить, что проигрыш в достигнутой/пиковой производительности (8,6/11,6 TFLOP) в первую очередь обусловлен разницей в тактовой частоте. Если сравнить с четвертым местом "хит-парада", то очевидно, что даже большее количество трехгигагерцевых процессоров (2500) не помогло кластеру, построенному фирмой Dell, повысить производительность суперкомпьютера (9,8/15,3 TFLOP).

Существует мнение, что если "БигМаку" добавить еще с тысячу процессоров, он вполне мог бы посоревноваться за второе место с системой, содержащей 8 тыс. процессоров Alpha. Безусловно, что увеличение производительности "БигМака" вряд ли будет пропорционально количеству добавленных процессоров, но тем не менее оно должно быть существенным.


Facility

Кроме наличия компьютеров, кабелей и сетевого оборудования, есть и другие аспекты построения такого вычислительного комплекса. Речь идет о здании, в котором нужно разместить 1100 компьютеров и создать нужную рабочую среду для оборудования -- с определенным температурным и влажностным режимом, уровнем пожарной безопасности, контролем доступа и т. д. Также требуется обеспечение электричеством (2 МВт), устройствами бесперебойного питания и резервным дизельным генератором.

Современные процессоры -- это мощный источник выделения тепла. Обычно в комнатах с большим количеством вычислительной техники воздух должен "обновляться" три раза в час. Расчеты показали, что в случае с TCF во избежание перегрева оборудования воздух нужно "обновлять" три раза в минуту. Сначала было решено поставить компьютеры задними стенками друг к другу и охлаждать их подаваемой снизу струей холодного воздуха. Но оказалось, для того чтобы обеспечить достаточный уровень поступления воздуха, его поток должен иметь скорость около 100 км/час, и при этом все равно сохранятся недостаточно охлажденные места.

Поэтому для построения системы охлаждения институт обратился в компанию Liebert (подразделение Emerson Network Power), известную системами охлаждения для чувствительной электроники. Решение выглядит следующим образом: между компьютерами построены специальные "радиаторы", состоящие из медных трубок, по которым течет вода с температурой в несколько градусов выше нуля. Вода поглощает выделяемое компьютерами тепло, попадает в специальный рефрижератор, в котором охлаждается, и продолжает циркулировать по системе. Стоимость подготовки здания и построения систем электрообеспечения и охлаждения составила 2 млн. долл.


Суперкомпьютер "для всех остальных"

Как сказал доктор Сриниди Варадараджан, следует ожидать появления подобных кластеров в ближайшем будущем. Интерес к системе из Power Mac G5 проявили Национальное агентство по безопасности и лаборатория Argonne по разработке новых видов оружия.

Поскольку, как уже говорилось, суперкомпьютер в институте был построен практически без помощи высококвалифицированных специалистов и наладчиков на основе доступных "широким массам" компонентов, Virginia's Tech планирует в начале следующего года выпустить "конструктор суперкомпьютеров" -- набор документации и программного обеспечения, позволяющий любой организации с достаточным количеством финансовых ресурсов построить суперкомпьютер, который сможет занять достойное место в списке самых производительных систем мира.