Аппаратная поддержка проектирования в ANSYS

В области современных CAE-технологий одним из лидеров является компания ANSYS, представляющая программный комплекс из набора расчетных модулей для решения различных задач – от статической и нелинейной прочности до гидро-, газодинамики и электромагнетизма.

ANSYS – система моделирования, основанная на методе конечных элементов, предусматривающем разбиение расчетной области на элементарные части (конечные элементы), в пределах которых выполняется решение моделирующих уравнений. Выбранный элемент может иметь разную пространственную форму – гексаэдр, тетраэдр, призма и т. д. Вершины (узлы) элемента описываются числами свободы – количеством величин, вычисляемых в узле. Типовые значения чисел свободы для прочностных задач – 3 или 6 (перемещения по осям координат и вращения относительно них), для тепловых – одна (температура) и т. д. В итоге после построения модели получают число степеней свободы (общее количество решаемых уравнений), которое для реальных задач и исходя из требований к качеству результатов оценивается на уровне миллионов (и может быть на несколько порядков выше). На рынке Украины продукты компании ANSYS используют предприятия, работающие во многих, в том числе стратегических, отраслях:

• газотурбинные двигатели – ОАО «Мотор Сич», ГП НПКГ «Зоря»–«Машпроект»;
• морские платформы – ЦКБ «Коралл»;
• трансформаторы – ОАО «ВИТ»;
• вагоностроение – ОАО «Крюковский машиностроительный завод»;
• проектирование газопроводов – ОАО «ЮЖНИИГИПРОГАЗ»;
• ракетная техника – НПО «ЮЖМАШ»;
• подъемные машины – НПФ «МИДИЭЛ»;
• строительство – ООО «ТММ» и т. д.

Задача

Для транспортировки газа, добываемого на месторождениях Крайнего Севера, строятся магистральные газопроводы (МГ). Их прокладка часто выполняется на территориях со сложными геологическими и геокриологическими условиями. Потому поиск технических решений, обеспечивающих инженерную защиту как собственно газопроводов, так и входящих в их состав сооружений, исключительно важен. И без моделирования процессов теплового взаимодействия трубопровода с окружающими грунтами при проектировании не обойтись. Программный продукт ANSYS позволяет решать в том числе и эти задачи с учетом изменений температуры воздуха, теплопроводности грунтов и различных физических эффектов.

При проектировании магистрального газопровода в рамках проекта «Расширение Уренгойского ГТУ» необходимо было разработать технические решения по инженерной защите узла запуска средств очистки и диагностики (СОД), который располагался на территории, характеризующейся специфическим распространением вечномерзлых грунтов. В связи с тем что транспортировку предполагалось вести при положительных температурах газа, основной целью расчетов было определение ореолов протаивания и промерзания грунтов вокруг объектов газопровода (рисунок). На основании этих данных проверялась удерживающая способность свай и оптимизировалась их длина.

3D-модель ANSYS сложностью порядка 1,8 млн 10-узловых элементов описывала четыре слоя грунтов со своими теплофизическими свойствами, камеру запуска СОД, трубопровод, свайное поле и запорно-регулирующую арматуру. Тип анализа – статический, в нелинейной постановке. Использовался расчетный блок Ansys SPARSE MATRIX DIRECT SOLVER в SMP-режиме (Shared Memory Parallel).

Тесты рабочих станций

Целью проводимых тестов рабочих станций было изучение на поставленной модельной задаче зависимости производительности от архитектуры базовой платформы, частоты процессоров, общего количества ядер системы, объема оперативной памяти. Так как последний был выбран достаточным, тип накопителей дисковой подсистемы (SATA, SAS, SSD) почти не сказался на производительности (в пределах 1%), и все тесты проводились с RAID-0 массивами оптимальных по цене дисков SATA ІІ.

Сравнивались две близкие по конфигурации рабочие станции производства Entry, одна – на процессорах Intel Xeon, вторая – на AMD Opteron (табл. 1) с сопоставимой ценой. Результаты тестирования продемонстрировали стабильную работу программного комплекса ANSYS на обеих представленных платформах.

В процессе тестирования на Intel Xeon были сделаны установочные замеры с включенным и выключенным режимом Hyper-Threating. Как и ожидалось, увеличение числа логических ядер при неизменном количестве вычислительных привело к небольшому замедлению расчетов. Этот и последующие эксперименты производились с выключенным Hyper-Threating.

Влияние частоты процессоров и объема памяти

Тест зависимости от частоты процессоров, общего количества ядер системы и объема оперативной памяти проводился на платформе Intel (табл. 2). CAE-системы весьма чувствительны к частоте CPU. Кроме того, если система эффективно использует физические ядра процессора (например, исключение на программном уровне из расчетов 4 из 12 ядер приводит к ухудшению результатов приблизительно на 20–25%).

Также оценивалась и зависимость времени расчета от объема оперативной памяти при тех же процессорах, количестве ядер и частоте (табл. 3). Как и следовало ожидать, уменьшение объtма памяти на 25% привело к снижению производительности на 20%.

Как выбирать рабочие станции CAE

Специфику рабочих станций CAE определяет выбранное ПО. При этом может оказаться, что современные многоядерные процессоры или мощные видеокарты не приносят ожидаемого прироста производительности с имеющейся версией пакета. Кроме того, даже внутри установленного и работоспособного пакета могут возникать сбои, так как расчетные модули часто оптимизируются под различные процессорные архитектуры и наборы команд. В результате приходится изменять последовательность проведения расчетов или использовать другие модули. Поэтому производительность рабочей станции и всего вычислительного комплекса в целом оценивается исключительно в привязке к конкретному ПО и исполняемому набору операций.

Самые общие рекомендации по выбору аппаратных решений могут быть разве что такими:

• для инженерных расчетов с плохо распараллеливаемыми процессами следует применять системы с большим объемом оперативной памяти, симметричной многопроцессорной архитектурой (SMP), с быстрой дисковой подсистемой ввода-вывода с интерфейсами SAS или SATA и поддержкой RAID, высокой вычислительной мощности за счет наиболее производительных процессоров;
• для инженерных расчетов с хорошо распараллеливаемыми процессами – масштабируемые вычислительные кластеры с низколатентным межузловым соединением.

При работе с пакетами класса ANSYS основные вычислительные и временные ресурсы уходят на решение систем уравнений матричными методами. Для задач с действительно большим числом степеней свободы наилучший «рецепт» – загрузка всего обрабатываемого массива данных в оперативную память. В этом случае время решения будет определяться количеством участвующих в счете ядер и объемом оперативной памяти. Если же ее не хватает, задача решается методом декомпозиции с неизбежным задействованием дисковой подсистемы. В таком случае время ее решения может быть очень большим – сутки, недели, месяцы. Поэтому если оперативной памяти недостаточно, «рецептура» расширяется использованием скоростных SSD-накопителей, SAS и производительных RAID-контроллеров.

Выводы

Тестируемые рабочие станции продемонстрировали отличные (в пределах заданных конфигураций) показатели в рамках выполненного теста. Процесс расчетов был стабилен, что указывает на хорошую сбалансированность аппаратных и программных компонентов. Эксперимент с запуском тестов на рабочей станции с новейшими 12-ядерными процессорами AMD Opteron 6172 (24 ядра в станции), производительность которых по тестам LinPack превосходит показатели 6-ядерных собратьев, продемонстрировал неожиданный результат. Время счета – 52:41, пиковая мощность – 25 015 MFLOPS. Вместо прироста производительности мы получили 20%-ный спад. Это наглядный пример несогласованности аппаратных и программных компонентов. Причина наверняка кроется не в плохих расчетных качествах процессоров, а в пока еще отсутствующей оптимизации пакета для этой передовой архитектуры.

Авторы благодарят компанию Entry за предоставленное для тестов оборудование и ОАО «ЮЖНИИГИПРОГАЗ» за право использовать реальные проектные задачи в качестве тестового инструмента.