Meta запустила AI Research SuperCluster, который станет самым быстрым суперкомпьютером для задач ИИ

Meta Platforms официально представила AI Research SuperCluster (RSC) - вычислительный комплекс, который нацелен на решение множества задач, использующих большие модели машинного обучения с миллиардами параметров.

Как сообщается, RSC должен сыграть фундаментальную роль в развитии так называемой метавселенной, которая представляет собой виртуальный мир, где, по мнению Мета, люди будут все чаще собираться вместе, чтобы общаться, работать и проводить свободное время.

«Мы надеемся, что RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые могут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, говорящих на разных языках, чтобы они могли беспрепятственно сотрудничать в исследовательском проекте или проходить совместно какую-то игру с дополненной реальностью», написали в своем блоге исследователи Meta Кевин Ли (Kevin Lee) и Шубхо Сенгупта (Shubho Sengupta). - «В конечном итоге работа, проделанная с RSC, проложит путь к созданию технологий для следующей крупной вычислительной платформы — метавселенной, где приложения и продукты, управляемые ИИ, будут играть важную роль».

Исследователи Meta объяснили, что в последнее время компания добилась больших успехов в области «обучения с самоконтролем», когда алгоритмы учатся на огромном количестве немаркированных примеров. Это также привело к прогрессу в «трансформерах», которые позволяют ИИ более эффективно рассуждать, сосредотачиваясь на определенных областях их ввода.

Чтобы реализовать все преимущества самоконтролируемого обучения и моделей на основе «трансформеров» Meta потребуется обучать все более сложные и адаптируемые модели ИИ, а это означает, что для этого нужно будет обрабатывать гораздо больше данных. Например, для разработки более продвинутых моделей компьютерного зрения требуется обработка длинных видео-роликов с более высокой частотой дискретизации данных. Или, скажем, распознавание речи должно работать в самых сложных сценариях с большим объемом фонового шума, а модули обработки естественного языка должна распознавать разные языки, акценты и диалекты.

RSC состоит сегодня из 6080 новейших графических процессоров Nvidia A100 в 760 системах Nvidia DGX A100. GPU объединены в узлы DGX, которые связаны между собой высокоскоростной сетевой структурой Nvidia Quantum, обеспечивающей 200 гигабит в секунду на базе InfiniBand. Такая конфигурация позволяет достичь производительность TF32 в 1895 петафлопс.

Стоит отметить, что Meta (Facebook) уже во второй раз выбирает технологии NVIDIA в качестве основы для исследовательской инфраструктуры. В 2017 году компания построила первое поколение своей системы для исследований ИИ на базе 22 000 графических процессоров NVIDIA V100 с тензорными ядрами, которые ежедневно выполняют порядка 35 000 заданий по обучению ИИ.

Современная латформа RSC оснащена хранилищем 175 ПБ на основе массивов FlashArray от Pure Storage, 10 ПБ Pure Storage FlashBlade.а также 46 ПБ кэш-стораджа в виде систем Altus от Penguin Computing.

Как отмечается, первые тесты RSC показали, что по сравнению с предыдущей вычислительной системой, которую использовала Meta, процессы в задачах компьютерного зрения обрабатываются до 20 раз быстрее, а запуск Nvidia Collective Communication Library (NCCL) происходит более чем в девять раз быстрее и обучение крупномасштабных моделей NLP осуществляется в три раза быстрее. Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели по сравнению с девятью неделями ранее.

Тем не менее, Meta стремится сделать RSC значительно более мощным, и к середине этого года на втором этапе планирует подключить в общей сложности 16 000 графических процессоров. Это должно обеспечить производительность в задачах ИИ на уровне 5 экзафлопс в операциях со смешанной точностью. Также Meta планирует расширить систему хранения RSC до экзабайта при скорости в 16 терабайт в секунду.

Помимо скорости и мощности, RSC также создавался с учетом требований безопасности. Компания объяснила, что амбиции Meta в области искусственного интеллекта потребуют использования большого количества «реальных данных» из собственных систем. Поэтому, очевидно, потребуется их надежная защита.

RSC был разработан с нуля таким образом, что исследователи Meta могут безопасно обучать модели, используя пользовательские данные, которые расшифровываются лишь в момент непосредственно перед обучением.

Кроме того, средства защиты включают обеспечение изоляции RSC от общедоступного Интернета без прямых входящих или исходящих подключений. В то же время весь путь от систем хранения Meta до графических процессоров зашифрован, а данные расшифровываются только непосредственно перед их использованием в конечной точке графического процессора в памяти.

Наблюдатели считают, что гонка за доминирование в метавселенной идет полным ходом, и что ИИ будет ключевой ее частью.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365