`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Аппаратная поддержка проектирования в ANSYS

Статья опубликована в №25 (736) от 13 июля

+55
голосов

В области современных CAE-технологий одним из лидеров является компания ANSYS, представляющая программный комплекс из набора расчетных модулей для решения различных задач – от статической и нелинейной прочности до гидро-, газодинамики и электромагнетизма.

Аппаратная поддержка проектирования в ANSYS
Аппаратная поддержка проектирования в ANSYS

ANSYS – система моделирования, основанная на методе конечных элементов, предусматривающем разбиение расчетной области на элементарные части (конечные элементы), в пределах которых выполняется решение моделирующих уравнений. Выбранный элемент может иметь разную пространственную форму – гексаэдр, тетраэдр, призма и т. д. Вершины (узлы) элемента описываются числами свободы – количеством величин, вычисляемых в узле. Типовые значения чисел свободы для прочностных задач – 3 или 6 (перемещения по осям координат и вращения относительно них), для тепловых – одна (температура) и т. д. В итоге после построения модели получают число степеней свободы (общее количество решаемых уравнений), которое для реальных задач и исходя из требований к качеству результатов оценивается на уровне миллионов (и может быть на несколько порядков выше). На рынке Украины продукты компании ANSYS используют предприятия, работающие во многих, в том числе стратегических, отраслях:

  • газотурбинные двигатели – ОАО «Мотор Сич», ГП НПКГ «Зоря»–«Машпроект»;
  • морские платформы – ЦКБ «Коралл»;
  • трансформаторы – ОАО «ВИТ»;
  • вагоностроение – ОАО «Крюковский машиностроительный завод»;
  • проектирование газопроводов – ОАО «ЮЖНИИГИПРОГАЗ»;
  • ракетная техника – НПО «ЮЖМАШ»;
  • подъемные машины – НПФ «МИДИЭЛ»;
  • строительство – ООО «ТММ» и т. д.

Задача

Для транспортировки газа, добываемого на месторождениях Крайнего Севера, строятся магистральные газопроводы (МГ). Их прокладка часто выполняется на территориях со сложными геологическими и геокриологическими условиями. Потому поиск технических решений, обеспечивающих инженерную защиту как собственно газопроводов, так и входящих в их состав сооружений, исключительно важен. И без моделирования процессов теплового взаимодействия трубопровода с окружающими грунтами при проектировании не обойтись. Программный продукт ANSYS позволяет решать в том числе и эти задачи с учетом изменений температуры воздуха, теплопроводности грунтов и различных физических эффектов.

При проектировании магистрального газопровода в рамках проекта «Расширение Уренгойского ГТУ» необходимо было разработать технические решения по инженерной защите узла запуска средств очистки и диагностики (СОД), который располагался на территории, характеризующейся специфическим распространением вечномерзлых грунтов. В связи с тем что транспортировку предполагалось вести при положительных температурах газа, основной целью расчетов было определение ореолов протаивания и промерзания грунтов вокруг объектов газопровода (рисунок). На основании этих данных проверялась удерживающая способность свай и оптимизировалась их длина.

3D-модель ANSYS сложностью порядка 1,8 млн 10-узловых элементов описывала четыре слоя грунтов со своими теплофизическими свойствами, камеру запуска СОД, трубопровод, свайное поле и запорно-регулирующую арматуру. Тип анализа – статический, в нелинейной постановке. Использовался расчетный блок Ansys SPARSE MATRIX DIRECT SOLVER в SMP-режиме (Shared Memory Parallel).

Тесты рабочих станций

Целью проводимых тестов рабочих станций было изучение на поставленной модельной задаче зависимости производительности от архитектуры базовой платформы, частоты процессоров, общего количества ядер системы, объема оперативной памяти. Так как последний был выбран достаточным, тип накопителей дисковой подсистемы (SATA, SAS, SSD) почти не сказался на производительности (в пределах 1%), и все тесты проводились с RAID-0 массивами оптимальных по цене дисков SATA ІІ.

Сравнивались две близкие по конфигурации рабочие станции производства Entry, одна – на процессорах Intel Xeon, вторая – на AMD Opteron (табл. 1) с сопоставимой ценой. Результаты тестирования продемонстрировали стабильную работу программного комплекса ANSYS на обеих представленных платформах.

В процессе тестирования на Intel Xeon были сделаны установочные замеры с включенным и выключенным режимом Hyper-Threating. Как и ожидалось, увеличение числа логических ядер при неизменном количестве вычислительных привело к небольшому замедлению расчетов. Этот и последующие эксперименты производились с выключенным Hyper-Threating.

Таблица 1
Процессоры/частота Общее количество ядер Частота шины, MГц Объем памяти, ГБ Время счета, мин:с Пиковая производительность, MFLOPS
2×AMD Opteron 2435 / 2,6 ГГц 12 800 24 43:54:00 28 281
2×Intel Xeon X5650 / 2,66 ГГц 12 1330 24 40:39:00 31 128
2×Intel Xeon X5650 / 2,66 ГГц 12 1330 16 48:47:00 24 368
2×Intel Xeon X5620 / 2,4 ГГц 8 1066 24 52:45:00 22 336
2×Intel Xeon X5680 / 3,3 ГГц 12 1330 24 35:19:00 36 526

Влияние частоты процессоров и объема памяти

Тест зависимости от частоты процессоров, общего количества ядер системы и объема оперативной памяти проводился на платформе Intel (табл. 2). CAE-системы весьма чувствительны к частоте CPU. Кроме того, если система эффективно использует физические ядра процессора (например, исключение на программном уровне из расчетов 4 из 12 ядер приводит к ухудшению результатов приблизительно на 20–25%).

Также оценивалась и зависимость времени расчета от объема оперативной памяти при тех же процессорах, количестве ядер и частоте (табл. 3). Как и следовало ожидать, уменьшение объtма памяти на 25% привело к снижению производительности на 20%.

Таблица 2
Процессоры/частота Общее количество ядер Частота шины, MГц Объем памяти, ГБ Время счета, мин:с Пиковая производительность, MFLOPS
2×Intel Xeon X5650 / 2,66 ГГц 12 1330 16 48:47:00 24 368
2×Intel Xeon X5620 / 2,4 ГГц 8 1066 24 52:45:00 22 336
2×Intel Xeon X5680 / 3,3 ГГц 12 1330 24 35:19:00 36 526
Таблица 3
Процессоры/частота Общее количество ядер Частота шины, MГц Объем памяти, ГБ Время счета, мин:с Пиковая производительность, MFLOPS
2×Intel Xeon Six-core X5650 / 2,66 ГГц 12 1330 24 40:39:00 31 128
2×Intel Xeon Six-core X5650 / 2,66 ГГц 12 1330 16 48:47:00 24 368

Как выбирать рабочие станции CAE

Специфику рабочих станций CAE определяет выбранное ПО. При этом может оказаться, что современные многоядерные процессоры или мощные видеокарты не приносят ожидаемого прироста производительности с имеющейся версией пакета. Кроме того, даже внутри установленного и работоспособного пакета могут возникать сбои, так как расчетные модули часто оптимизируются под различные процессорные архитектуры и наборы команд. В результате приходится изменять последовательность проведения расчетов или использовать другие модули. Поэтому производительность рабочей станции и всего вычислительного комплекса в целом оценивается исключительно в привязке к конкретному ПО и исполняемому набору операций.

Самые общие рекомендации по выбору аппаратных решений могут быть разве что такими:

  • для инженерных расчетов с плохо распараллеливаемыми процессами следует применять системы с большим объемом оперативной памяти, симметричной многопроцессорной архитектурой (SMP), с быстрой дисковой подсистемой ввода-вывода с интерфейсами SAS или SATA и поддержкой RAID, высокой вычислительной мощности за счет наиболее производительных процессоров;
  • для инженерных расчетов с хорошо распараллеливаемыми процессами – масштабируемые вычислительные кластеры с низколатентным межузловым соединением.

При работе с пакетами класса ANSYS основные вычислительные и временные ресурсы уходят на решение систем уравнений матричными методами. Для задач с действительно большим числом степеней свободы наилучший «рецепт» – загрузка всего обрабатываемого массива данных в оперативную память. В этом случае время решения будет определяться количеством участвующих в счете ядер и объемом оперативной памяти. Если же ее не хватает, задача решается методом декомпозиции с неизбежным задействованием дисковой подсистемы. В таком случае время ее решения может быть очень большим – сутки, недели, месяцы. Поэтому если оперативной памяти недостаточно, «рецептура» расширяется использованием скоростных SSD-накопителей, SAS и производительных RAID-контроллеров.

Выводы

Тестируемые рабочие станции продемонстрировали отличные (в пределах заданных конфигураций) показатели в рамках выполненного теста. Процесс расчетов был стабилен, что указывает на хорошую сбалансированность аппаратных и программных компонентов. Эксперимент с запуском тестов на рабочей станции с новейшими 12-ядерными процессорами AMD Opteron 6172 (24 ядра в станции), производительность которых по тестам LinPack превосходит показатели 6-ядерных собратьев, продемонстрировал неожиданный результат. Время счета – 52:41, пиковая мощность – 25 015 MFLOPS. Вместо прироста производительности мы получили 20%-ный спад. Это наглядный пример несогласованности аппаратных и программных компонентов. Причина наверняка кроется не в плохих расчетных качествах процессоров, а в пока еще отсутствующей оптимизации пакета для этой передовой архитектуры.

Авторы благодарят компанию Entry за предоставленное для тестов оборудование и ОАО «ЮЖНИИГИПРОГАЗ» за право использовать реальные проектные задачи в качестве тестового инструмента.

+55
голосов

Напечатать Отправить другу

Читайте также

Спасибо, статья довольно интересная.

Но, как обычно, много пространных заключений и не так много пользы.

Было бы, например, намного интереснее увидеть тест большой задачи с использованием дискового пространства (рано или поздно этот момент наступает) причем протестировать быстрые HDD / SSD / SAS и устройство ACARD ANS-9010 - последний видится наиболее перспективным кандидатом, особенно в варианте объединения в RAID.

При "жестком" задействовании дискового пространства (по опыту знаю) для записи матриц, промежуточных файлов, таблиц, логов и scrap/page file - вышеупомянутый RAM-Disk, по идее, в этой ситуации наиболее выигрышен.

А так рецепт прост - если приложение параллелится, то нужно брать оптимальный копромисс количество ядер/частота, если же не параллелится, как Marc - то одно/два ядра с максимальной частотой. Ну и память, которой не бывает много.

К тому же, нормальные вендоры, при официальной покупке софта предоставляют бенчмарки оборудования - разных платформ, и разных задач, дабы пользователь сам мог выбрать, что ему подходит.

Вы также не указали операционную систему, скорее всего это было что-то в духе Windows XP 64-bit, в то время как все серьезные расчеты в нормальных программах Ansys/Abaqus проводятся в Linux, т.к. с памятью он работает лучше.

"...Устройство ACARD ANS-9010 - последний видится наиболее перспективным кандидатом, особенно в варианте объединения в RAID"

Все же проще нарастить оперативную память - поставив в станции 48GB, не так и дорого. 96GB в тяжелых задачах тоже можно себе позволить, экономия расчетного времени все окупит.

Исходя из цены, нынче наращивание RAM обойдется не сильно дороже, чем качественные SSD. Сегодня это 144GB для массовых 2-х процессорных платформ от Intel и 288GB для специализированных 2-х процессорных от Intel. У нового покления серверных процесоров AMD этот показатель еще интереснее.
По моему мнению, зависимость от дисковой подсистемы как раз имеtт смысл всячески минимизировать.

При любых раскладах, даже когде задача полностью ложится и считается In-core, все программы формируют матрицы, записывают промежуточные файлы, History output на каждом шаге, и просто результаты. На больших задачах, если мы ведем речь о тех, что требуют порядка 100 Gb оперативной памяти, это становится критичным, и постоянно слышно и видно, как гремит дисковый массив. К тому же I/O идет непрерывно, большими потоками, особенно при нелинейных, мультифизичных задачах - там это критично.

Видимо, в данной роли будут вне конкуренции дисковые массивы собранные из дисков типа iRAM. ACARD ANS-9010 тому пример. Ёмкости, правда, у них маловато - всего 64 GB. Зато скорость впечатляет. И на больших задачах это должно сказаться. Впрочем, большое количество ядер и памяти тоже никто не отменял :)

Поясните, пожалуйста, почему Вы считаете, что эмуляторы дисковых массивов, собранные на динамической памяти, лучше чем просто большой объем оперативной памяти? Современные рабочие станции позволяют поставить и 96, и даже 128GB оперативки, за приемлемые деньги. Если софт умеет работать со всем доступным пространством памяти, зачем ему суррогаты?

Вы понимаете методику FEM и сам процесс расчета?

Вкратце так, из препроцессора пишется входной input файл для решателя, далее запускается решатель, формируются матрицы и записываются на диск, затем начинается поиск решения и численное интегрирование, на этом этапе крайне желательно, чтобы задача считалась In-core, но это абсолютно не отменяет записи на каждом шаге промежуточных файлов расчета, history outout, output results, файлы, использующиеся при поиске решения, логи и другое. Потом следует декомпозиция матриц (если расчет нелинейный) и процесс повторяется, пока не сойдется полностью и не запишется последний Load step.

Как видно, нужна и RAM и пространство на жестком диске, используется и то и другое. С одной стороны, нужно, чтобы задача ложилась в ОЗУ, а с другой нужен очень быстрый дисковый массив при параллельных многопоточных I/O, и вот то описанное выше устройство, по идее, может помочь в этом деле.

Про FEM я знаю только как это расшифровывается :). Наша роль в тестировании была - подносить патроны. А если у Вас есть готовая модельная задача, где критичны большая оперативная память и дисковые I/O - приглашаем к нам. Давайте поставим тестовый эксперимент, отследим влияние дисковой подсистемы на скорость расчетов в Ansys. Проведем забеги массивов на дисках SAS, на SSD и на этом загадочном устройстве. Всем будет интересно.

Очень было бы интересно узнать, - на какой оперативной памяти тестировались 12-ядерные Оптероны, что дали такой, можно сказать, отрицательный результат.

Авторы, ответьте, пожалуйста.
Вы прямо озадачили своей статьей про 6172-процессор. Можно сказать, остановили покупку. Поэтому, вопрос памяти хотелось бы прояснить.

Если там стояли штатные 16 Ггб оперативки, то результат даже не удивителен, ну а если там было 64 Ггб и более?

Нет, 64 Гигов там не стояло. Устанавливали те же 24 Гига DDR3 памяти, что и в тестах с 6-ти ядерными Оптеронами. Склонен думать, что причиной такого результата является сам ANSYS. Давайте дождёмся апдейта и затем проверим результат. Если у Вас есть на этот счёт иные соображения - мы всегда открыты для сотрудничества. Свои контакты я отправлю Вам в личку.

У Вас есть какие-нибудь сведения о планируемом апдейте Ансиса под 12-ядерные процессоры?

Таких сведений пока нет. Если Вам это актуально, можете запросить напрямую Ансисовский саппорт.

Вы знаете прямую дорогу туда?

а какие машины с 6-ядерными Оптеронами Вы тестировали?

Я Вам в почту отправлял. Может спаморез сработал? Посмотрите еще раз почту.

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT