Новая эталонная архитектура для ИИ-задач в мультипетабайтном режиме

По мере того как диджитализируется глобальная экономическая среда, бизнес всё чаще обращается к искусственному интеллекту, эффект использования которого становится все очевиднее в самых разных индустриях и сферах деятельности.

Уже подсчитана и ценность, которую может извлекать глобальный бизнес от использования ИИ, - речь идет о триллионах долларов. Согласно прогнозу Gartner, к 2022 году она достигнет 3,9 трлн долл.

Однако прежде чем внедрить ИИ и извлечь пользу, компаниям предстоит решить множество сложных технических вопросов. Например, как выбрать нужный стек ПО, как разобраться с компонентами инфраструктуры, с нейронными сетями и т.д. Часто бывает так, что пока компания ищет ответы, драгоценное время уходит, и приходится откладывать нужные, но сложные во внедрении, инициативы. Для того заказчики могли значительно сэкономить свое время и усилия, Dell EMC и NVIDIA недавно объявили ряд партнерских инициатив в области ИИ.

Тем компаниям, которые предпочитают создавать собственные решения, предлагается ультраплотная модель PowerEdge C-серии Dell EMC с графическими процессорами TESLA V100 Tensor Core от NVIDIA, которая позволяет масштабировать ИИ-решения от четырех до сотен GPU на кластер. А для компаний, выбирающих предварительно проверенные стеки оборудования и ПО Deep Learning, предлагаются решения Dell EMC Ready Solutions for AI: Deep Learning with NVIDIA с хранилищем Dell EMC Isilon All-Flash.

Также была представлена новая эталонная архитектура для ИИ с серверами NVIDIA DGX-1, дополненными высокопроизводительным хранилищем Dell EMC Isilon All-Flash и сетевым хранилищем.

Стоит отметить, что система NVIDIA DGX-1 объединяет до восьми графических мультипроцессоров NVIDIA Tesla V100 Tensor Core, полностью связанных друг с другом в сети со смешанной ячеистой топологией куба (hybrid cube-mesh topology). Каждый сервер DGX-1 может доставлять 1 петафлопс для производительности нагрузок под ИИ и поддерживается программным стеком DGX (который включает оптимизированные версии наиболее популярных систем глубокого обучения). Масштабируемое же хранилище Dell EMC Isilon All-Flash с NAS обеспечивает масштабирование (до 33 ПБ), производительность (до 540 Гб/с) и параллелизм (до миллионов подключений) для устранения узкого места ввода-вывода и ускорения рабочих ИИ нагрузок при масштабировании.

Чтобы валидировать новую ссылочную архитектуру, были использованы несколько стандартных эталонных тестов для классификации изображений с наборов данных на 22 ТБ для имитации реальных тренировок и рабочих нагрузок (подробнее об этом в White Paper). Данное тестирование проводилось в системах от одного до восьми серверов DGX-1, подключенных к восьми узлам Isilon F800.

Результаты двух ключевых тестов показаны ниже. С помощью Ready Solution for Deep Learning с серверами C4140 проверялось, как Isilon сможет удерживать темп и линейно масштабироваться для выхода к слою максимальной производительности вычислений.

В результате тестирования Isilon и референсной архитектуры NVIDIA DGX-1 достигнуты впечатляющие результаты производительности по отраслевым стандартным эталонным оценкам ИИ от 8 до 72 графических процессоров без ущерба для пропускной способности и производительности. Продемонстрирована линейная масштабируемость от 8 до 72 графических процессоров при доставке до 19,9 ГБ/с и сохранении уровня утилизации мощностей GPU больше 97%. При этом система Isilon F800 может обеспечить до 96% пропускной способности локальной памяти, что приближает ее к максимуму теоретического предела производительности, которого способна достичь система NVIDIA DGX-1.

Обладая значительным потенциалом для низкой латентности, высокой пропускной способностью для ввода-вывода и массивно-параллельных систем, серверы Dell EMC Isilon и NVIDIA DGX-1 взаимно дополняют друг друга. Они позволяют справиться с интенсивными нагрузками по обучению, сокращая время, требующееся для обучения и тестирования аналитических моделей для мульти-петабайт наборов данных на ИИ-платформах.

Как видим, компании представили решение существенно упрощающее внедрение ИИ и глубокого обучения для разработки новых приложений и для решения широкого спектра сложных задач с использованием данных.