Вычислительные кластеры под Windows: на рынок выходят доступные решения

26 ноябрь, 2007 - 17:07Сергей Грицачук

Слово «кластер» у многих пользователей прочно ассоциируется с очень дорогими, сложными и трудоемкими в настройке и обслуживании системами, которые применяют в тех областях, где уже недостаточно производительности одного компьютера. Конечно, здесь есть доля истины, но это совершенно не означает, что кластеры представляют собой нечто совершенно уникальное и недоступное. Примером тому являются готовые решения, по стоимости сравнимые с мощными одиночными серверами, два из которых мы и рассмотрим.

Вычислительные кластеры под Windows на рынок выходят доступные решения
Кластер Entry ClusterWorks i5 поставляется с полностью настроенным ПО, включая Clustered Excel for Financial Services

Идея применения кластерных решений, построенных на основе недорогих комплектующих, не нова. Были случаи, когда в них использовали настольные ПК и даже ноутбуки, не говоря уже об устаревших серверах. Вычислительные системы такого рода, конечно, не имеют высокоскоростных интерфейсов обмена данными и мощных процессоров – уместно было бы говорить скорее о том, что они представляют собой действующую модель кластера. И, тем не менее, такие «модели» успешно помогают не только обучать молодых специалистов разработке программных продуктов для многоузловых систем, но и существенно ускорять решение задач в некоторых областях науки.

Впрочем, известно, что в Украине построено и несколько «настоящих» кластеров, самые крупные из которых занимают места в первой десятке «Top 50 суперкомпьютеров в России и СНГ» – например системы в НТУУ «КПИ» и Институте кибернетики НАН Украины. Конечно, это полноценные вычислительные системы, созданные отечественными специалистами на основе новейших технологий, включая высокопроизводительные платформы и высокоскоростные каналы обмена данными.

Впрочем, и применяются они для решения сложнейших научных и исследовательских задач, которые вряд ли под силу одному, пусть даже очень мощному компьютеру. Но означает ли это, что кластерным системам место только «в науке», и в современном бизнесе они не нужны? Впрочем, ответ понятен – конечно, не означает. Последние исследования, проведенные многими аналитическими компаниями, показали, что применение кластеров, например в финансовой сфере, более чем оправданно. Особенно при наличии инструмента, позволяющего обеспечить функционирование привычных однопользовательских программ в многоузловых системах.

Собственно, с этого момента и пойдет рассказ о разработках, уже доступных на украинском рынке и представляющих фактически готовую к эксплуатации конфигурацию, недорогую, но при этом обладающую высокой вычислительной мощностью, простотой в настройке и обслуживании и допускающую широкие возможности масштабирования. Но перед тем как перейти к описанию систем и их исследованию, немного расскажем о том, благодаря чему появились такие «коробочные» решения.

ОС, управляющее ПО и немного о «железе»

Вычислительные кластеры под Windows на рынок выходят доступные решения
При инсталляции кластера с помощью мастера настройки прогграмма предлагает пользователю выбрать и установить требуемые компоненты, часть из которых придется получить с сервера Microsoft

Что касается аппаратной части, тут все понятно и просто: появление многоядерных процессоров и платформ нового поколения в сочетании с их довольно невысокой стоимостью позволяет собирать компактные вычислительные узлы, содержащие до 16 ядер в обычном шасси высотой 1U. Достаточно вспомнить, что еще относительно недавно такая конфигурация с трудом поместилась бы в одном шкафу-стойке.

Но минимизация и удешевление оборудования – не главное. Основным толчком к развитию идеи так называемого «народного кластера» стало появление Windows Computing Cluster Server 2003, основной целью разработчиков которого было достижение максимальной простоты в его настройке и запуске.

Ранее для управления кластерными решениями применялись в основном ОС на базе UNIX, в том числе системы с открытым кодом (Linux и FreeBSD). Разумеется, подготовка и настройка компонентов кластера были делом далеко не простым и требовали недюжинных знаний: нередко использовались даже собственноручно написанные компоненты. Каждая система, базирующаяся на основе «бесплатных ОС», требовала кропотливой и трудоемкой работы по настройке, являющейся своего рода эксклюзивным решением. Кластеры же промышленного типа от ведущих разработчиков стоили очень дорого и также носили характер уникальных, не будучи серийными.

Windows Computing Cluster Server 2003 в корне изменила ситуацию: посредством применения встроенного мастера создание кластера происходит настолько просто и быстро, что доступно даже не специалисту в этой области – хотя, разумеется, обладать знаниями Windows Server и некоторых компонентов обязательно. Фактически от пользователя требуется только настроить управляющий узел, обеспечив его работу в режиме контроллера домена и запустив необходимые службы (например, Active Directory).

Все остальные расчетные узлы (РУ) настраиваются аналогично с помощью мастера и могут быть включены в состав кластера незамедлительно после инсталляции. Для того чтобы обеспечить полное представление об этом процессе, поделимся собственным опытом, когда после подготовки и чтения документации удалось «поднять» полностью готовый к работе четырехузловой кластер за 3,5 ч, включая установку базовой ОС и получение с сайта Microsoft требуемых обновлений и компонентов ПО. Вполне возможно, что у опытного специалиста это заняло бы еще меньше времени: до сих пор нам доводилось работать только с кластерами под управлением UNIX.

Конечно, такой вычислительный комплекс нельзя назвать «готовым решением» – для полноценной работы требуются еще установка пользовательского ПО и его настройка. Но рассмотрение каких-то специальных задач совершенно не входило в рамки данной статьи. Тем не менее одним из рассмотренных предложений, подготовленных совместными усилиями Entry и Microsoft, является серийное комплексное решение для банков, страховых компаний, финансовых институтов.

Для прикладных вычислений в Entry ClusterWorks i5 используется модель Clustered Excel for Financial Services (ECS). Основная идея заключается в обеспечении защищенного и безопасного доступа к параллельным вычислителям из привычного для финансистов инструмента Microsoft Excel. Возможности данного комплекса достаточны для расчетов и в других финансовых пакетах, например SunGard.

Второй кластер, разработанный совместно специалистами компании Onix и Тестовой лаборатории «Компьютерного Обозрения», также можно применять для этих целей, но в данном случае основной решаемой задачей было обеспечение максимальной компактности, универсальности и простоты в обслуживании. Потенциальным заказчиком такой системы может быть решена любая задача под управлением как ОС Windows, так и Linux – разработаны и протестированы оба варианта использования. В результате конфигурация из пяти узлов разместилась всего в 3U-исполнении, включая управляющий узел (УУ). В остальном параметры систем идентичны, обе они содержат УУ (не принимающий участия в расчетах) и четыре одинаковых РУ, объединенных между собой в сеть по интерфейсу Ethernet с пропускной способностью в 1000 Мб/с. Справедливости ради отметим: каждый из них оснащен двумя сетевыми интерфейсами, что в режиме агрегации трафика позволяет обеспечить более высокую скорость (до 2 Гб/с) обмена данными.

Здесь же отметим: применение «обычного» LAN вместо высокоскоростных межузловых соединений класса InfiniBand целиком и полностью оправданно в случае с ECS. Специалисты Microsoft подтвердили, что для такой модели использования достаточно, чтобы пропускная способность между узлами кластера составляла 100 Мб/с (рекомендованная – 1000 Мб/с). Разумеется, этот подход позволил ощутимо снизить стоимость комплекса в целом, но при необходимости вполне допустимо дооснастить решение и высокоскоростным межузловым соединением. Но это может потребоваться только при значительном расширении системы или для специфических задач.

...а ведь есть еще и лезвийные системы!

Вычислительные кластеры под Windows на рынок выходят доступные решения
Один из альтернативных вариантов построения кластера – воспользоваться лезвийными решениями, например такими как Dell PowerEdge 1955

Все чаще в последнее время встречаются кластерные решения, построенные на базе лезвийный технологий. В нашей статье мы сознательно не акцентировали внимания на этой теме, поскольку такой случай, на наш взгляд, в контексте данного материала может рассматриваться как частный. Действительно, формируя кластер на базе серверов-лезвий, пользователь фактически получает готовое шасси, оснащенное требуемым интерконнектом и средствами управления и позволяющее с легкостью сформировать необходимую конфигурацию. Достаточно рассмотреть решения от HP BladeSystem c7000, IBM BladeCenter, SUN Blade 6000 или Dell PowerEdge 1955, чтобы обнаружить целый ряд удобств для построения кластеров на их основе. Однако стоит заметить, что для ряда ситуаций этот подход может оказаться неоптимальным как по цене, так и по эксплуатационным характеристикам (габариты, избыточная производительность и т. д). Вывод: лезвийные кластеры хороши в тех случаях, когда предполагают либо довольно мощную вычислительную среду с большим количеством узлов (не менее семи), либо с заполнением оставшихся ячеек серверами, предназначенными для других задач. В случае простого кластера из четырех узлов применение лезвийного решения скорее всего нерентабельно.

Аппаратная часть и компоненты

Вычислительные кластеры под Windows на рынок выходят доступные решения
Кластер Onix на платформе Supermicro Twin имеет конфигурацию, аналогичную предыдущему, но занимает существенно меньше места в стойке

Как уже отмечалось выше, оба комплекса практически идентичны: каждый их вычислительный узел содержит два четырехъядерных процессора Intel Xeon 5335 и оснащен ОЗУ объемом 4 ГБ (FB DIMM dual rank, 4 модуля). В отличие от кластера Entry, где каждый расчетный узел представляет собой 1U-сервер, конфигурация от Onix построена на основе специализированного решения Supermicro, предназначенного для создания HPC (о нем мы уже подробно рассказывали). Все модули здесь включают по два сервера, что и позволило в конечном итоге объединить 32 процессорных ядра в объеме всего 2U.

Отдельно стоит отметить, что на сегодняшний день серверы Supermicro 6015T используют материнские платы как со встроенным InfiniBand, так и без него. Поэтому если вы планируете в будущем наращивать возможности своего кластера, есть смысл приобретать сразу серверы со встроенным высокоскоростным межузловым соединением. При не слишком значительном увеличении стоимости в будущем не придется докупать отдельные модули для этого интерфейса.

В качестве управляющего узла выбран Supermicro Superserver 5015M-MT+B, собранный на материнской плате Super PDSMi+ и оснащенный одним CPU Intel E2140, ОЗУ на двух модулях DDR2-667 с ECC объемом 512 МБ каждый и двумя дисками Seagate ST3250620NS.

Вычислительные кластеры под Windows на рынок выходят доступные решения
Внутренняя компоновка сервера Tyan Tank GT14. Все узлы кластера одинаковы, отличие управляющего узла – менее мощный процессор и уменьшенный объем памяти

Теперь подробнее остановимся на платформе, которая легла в основу кластерного решения Entry. Все пять узлов (четыре вычислительных и один управляющий) собраны на Tyan Tank GT14 (B5372-LC), представляющих собой серверные модули с материнской платой TYAN Tempest i5000VS (S5372-LC). Последняя оснащена двумя процессорными гнездами и шестью разъемами под память (допустима установка 24 ГБ DDR2-667/533 с полной буферизацией). Платформа построена на наборе системной логики, состоящем из Intel 5000V (Blackford-VS) MCH, ESB2 I/O, а также контроллеров SMSC ввода-вывода SCH5017 и мониторинга EMC6D103.

Дисковая подсистема допускает подсоединение двух накопителей SFF SATA с возможностью объединения их в RAID уровней 0 и 1. Для подключения к ЛВС на плате установлены два контроллера Gigabit Ethernet. Питание сервера осуществляется от БП мощностью 400 Вт. Отличительной особенностью шасси является ЖКИ, отображающий оперативную информацию о состоянии компонентов сервера. В перспективе предусмотрена возможность дооснастить узлы модулями Infiniband, что позволяет наращивать производительность кластера, реагируя на требования прикладного ПО.

Кластер, собранный на описанной платформе, представляет собой готовое решение, рассчитанное в первую очередь на потребителей, предпочитающих быстрое развертывание и мгновенное включение системы в работу. С этой целью в комплекте поставляется шасси высотой 15U, где размещены не только сам кластер (пять узлов) и коммутатор, но и (опционально) источник бесперебойного питания, а также модуль удаленного доступа (KVM). При необходимости число расчетных узлов может быть увеличено, кроме того, возможна комплектация отдельным дисковым массивом NAS.

Помимо собственно набора аппаратных компонентов, в состав кластера входит и полностью подготовленное ПО Clustered Excel, что позволяет незамедлительно приступить к работе с незначительной настройкой. Впрочем, несмотря на самодостаточность такого подхода, это не означает, что решение используется только как отдельный комплекс. При необходимости оно с легкостью внедряется в существующую инфраструктуру, в том числе и кластерную – в этом случае все узлы могут работать как вычислительные. Поэтому такую конфигурацию стоит рассматривать как недорогое и полностью автономное решение начального уровня, легко масштабируемое под любые требования заказчика.

В отличие от кластерного решения Entry конфигурация серверного вычислительного комплекса Onix прежде всего ориентирована на универсальное применение в составе существующей ИС предприятия. Учитывая сверхмалые габариты системы (всего 3U), ее без проблем можно разместить в имеющемся шкафу или стойке, тем самым получив в свое распоряжение готовый кластер, и развернуть специфическое ПО заказчика. Причем для универсальности можно установить как ОС Windows, так и Linux. Учитывая, что расширение такого кластера путем добавления узлов так же просто (1U = 2 узла), решение, очевидно, представляет наибольший интерес для научных исследований и учебных заведений.

Некоторые выводы и немного тестов

Вычислительные кластеры под Windows на рынок выходят доступные решения
В качестве УУ в кластере Onix использован 19" сервер Supermicro Superserver 5015M-MT+B, хотя не исключено применение и платформы Twin: в таком случае при той же высоте в 3U кластер будет состоять из 5 РУ и 1 УУ

Прежде всего отметим, что подобные разработки еще практически нигде в Украине не внедрены, да и в открытых источниках информация о таком подходе встречается совсем нечасто. Сама идея «народного кластера из коробки» настолько нова и непривычна, что далеко не все пользователи готовы принять ее сразу и безоговорочно, хотя уже начинают интересоваться этими решениями.

Поэтому говоря о столь неординарном событии, как появление совершенно не дорогих кластеров (ценой порядка $10 000), готовых к эксплуатации практически после распаковки и монтажа, мы не можем привести количественные показатели прироста производительности в рамках, скажем, аналитической компании, занимающейся финансовыми прогнозами. Поэтому ограничимся стандартным измерением быстродействия кластеров с помощью широко распространенного пакета Linpack benchmark (версия HPL), выполняющего решение систем линейных алгебраических уравнений (СЛАУ) методом LU-факторизации (LU-разложения) с выбором ведущего элемента столбца. В нашем случае применялась упомянутая выше версия теста HPL, позволяющая задать все значимые параметры алгоритма, подбирая их для достижения наивысшей производительности. При тестировании использовались специализированные библиотеки MKL, оптимизированные для процессоров Intel.

Вычислительные кластеры под Windows на рынок выходят доступные решения
Вычислительные кластеры под Windows на рынок выходят доступные решения

Наборы тестов выполнялись под управлением ОС Windows, поскольку именно эта система позиционируется для рассматриваемых кластеров в качестве базовой. Тем не менее для сравнения были проведены измерения производительности также и под ОС Linux (для платформы Supermicro). Оба кластера продемонстрировали очень близкие результаты, существенной разницы нет – показатели отличаются всего на несколько процентов, что не может считаться критичным. Это говорит в первую очередь о том, что для современных задач практически не имеет значения, какую ОС выбирать в качестве базовой. И утверждения тех, кто заявляет о более низком быстродействии Windows в сравнении с Linux, совершенно необоснованны. Так что окончательное решение о выборе ОС следует принимать только опираясь на используемое ПО. Правда, не забывая и о том, что продукты Microsoft не бесплатны и увеличивают стоимость системы в целом.

Также в ходе тестов отмечено, что производительность платформ от различных вендоров почти идентична. Здесь можно судить исключительно о погрешности измерений, не влияющей на общую картину. Соответственно, предположим, что это характерно практически для всех однотипных платформ. Впрочем, полученные нами данные без труда можно сравнить с показателями для аналогичных систем, регулярно публикуемыми в Интернете.

Остается только добавить, что появление подобных систем на отечественном рынке – серьезная предпосылка к внедрению кластерных решений не только в корпоративном сегменте, но и в секторе SMB. Разумеется, вряд ли стоит ожидать, что такие продукты мгновенно обретут популярность. Но, тем не менее, факт остается фактом – они уже доступны не только в теории, но и на практике.

Кластерные системы на службе у бизнеса

Вычислительные кластеры под Windows на рынок выходят доступные решения
Архитектурная визуализация позволяет наглядно оценить как будет выглядеть группа проектируемых зданий и прилегающие территории

Производительности современных настольных компьютеров вполне хватает для реализации так называемых стандартных офисных задач. Между тем существуют области применения, где, по крайней мере, на нынешнем этапе развития техники, ни о какой избыточности вычислительных мощностей речь не идет. Одна из них – трехмерное моделирование. На выполнение относящихся к ней сложных ресурсоемких заданий до сих пор уходят многие часы машинного времени. В подобных случаях приобретение и использование кластера не только оправданно с финансовой точки зрения, но и может дать импульс развитию бизнеса, а также поспособствовать его выходу на принципиально иной уровень.

В качестве примера можно привести молодую фирму Archviz Ukraine. Она вышла на отечественный рынок около года назад и занимается выполнением оперативных работ по архитектурной визуализации для строительно-инвестиционных компаний, специализированных бюро и частных проектировщиков. Речь идет о прорисовке на основе чертежей разработчиков трехмерных моделей зданий, с наложением текстур и соответствующего окружения. Уровень детализации изображения, его качество, а также необходимый объем вычислений зависят от предоставленного клиентом технического задания. Однако, по словам директора компании Дениса Паламарчука, даже на небольшую фотоимитацию формата А4 уходит от 7 до 10 ч машинного времени графической станции. То есть на все обсчеты затрачивается примерно половина из заложенного под среднестатистический проект срока, и более мощная техника позволила бы выполнять заказы почти вдвое быстрее. Кроме того, сейчас фирма стремится расширить спектр предоставляемых услуг за счет планировочных работ, решений по размещению мебели и дизайну интерьеров.

Еще одним весьма перспективным направлением является архитектурная анимация – создание динамичных роликов, с помощью которых можно оценить эстетические достоинства предполагаемого здания при различном освещении и под разными углами зрения. Но для этого потребуется еще более производительная техника.

После изучения имеющихся на рынке предложений и ознакомительного тестирования их возможностей компания пришла к выводу о целесообразности покупки небольшого кластера, состоящего из двадцати узлов на базе современных четырехъядерных процессоров Intel Xeon или Intel Core 2 Quad. На приобретение системы, которая будет создана по индивидуальному заказу фирмы, планируется израсходовать около 25 тыс. долл. По предварительным расчетам специалистов Archviz Ukraine, даже при неполной загрузке решение должно окупиться примерно за полгода. Скажем, то же изображение формата А4 на такой рендер-ферме можно будет получать примерно за 20–30 мин, причем в более высоком качестве. По мнению директора Archviz Ukraine, это даст возможность значительно ускорить выполнение работ, увеличить их объемы и, в конечном итоге, расширить клиентуру.

Дополнительные материалы :

 

Статья : Кому нужны кластерные системы «из коробки»