Глубокое обучение преодолело барьер в миллиард миллиардов операций

8 октябрь, 2018 - 13:03
Глубокое обучение преодолело барьер в миллиард миллиардов операций

Объединённый коллектив программистов и инженеров Berkeley Lab, ORNL и фирмы NVIDIA продемонстрировал приложение глубокого обучение, впервые преодолевшее барьер производительности экзаоп (миллиард миллиардов операций в секунду).

Использовав массив климатических данных Национальной лаборатории Berkeley Lab и суперкомпьютерную систему Summit другой лаборатории Министерства энергетики США, ORNL, они натренировали нейросеть глубокого обучения DeepLabv3+ выявлять закономерности возникновения экстремальных погодных условий на основе климатических симуляций высокого разрешения.

Summit это система IBM Power Systems AC922, которая насчитывает 9 тысяч процессоров IBM POWER9 и 27 тысяч NVIDIA Tesla V100 Tensor Core GPU, объединённых в 4606 вычислительных узлов и связанных высокоскоростными соединениями NVIDIA NVLink. Задействовав эти ресурсы, исследователи получили пиковое быстродействие 1,13 экзаоп при средней производительности 0,999 экзаоп. Таким образом они продемонстрировали самый быстрый алгоритм глубокого обучения на сегодняшний день и смогли номинировать его на соискание премии Гордона Белла.

Эта награда присуждается ежегодно уже в течение более трёх десятков лет ассоциацией ACM за выдающиеся достижения в сфере вычислений — научных, технических или Big Data. Обладатель премии 2018 г. будет объявлен на ноябрьской конференции SC18 в Далласе (штат Техас).

Добавив множество усовершенствований, участникам проекта удалось доработать высокопроизводительную среду TensorFlow, предназначенную для задач небольшого и среднего масштаба, распространив её почти на всю систему Summit (4560 узлов из 4608). Кроме того, сегментация, обычно работающая на трёх каналах изображений (красный, синий и зелёный), была расширена на все 16 доступных каналов: в климатическом массиве данных это включает температуру, скорость ветра, величины давления и влажности. Таким образом точность модели была значительно улучшена.

«Мы показали, что можем применять методы глубокого обучения для попиксельной сегментации климатических данных и, возможно, для данных из других научных областей, — сказал Прабхат (Prabhat), возглавляющий службу аналитики данных в вычислительном центре Berkeley Lab. — В более общем плане, наш проект заложил основу экзауровневого глубокого обучения для науки и для коммерческих приложений».