Кластер на чипе позволит увеличить сложность ИИ-моделей в 100 раз

Стартап Cerebras Systems, уже получивший известность благодаря созданному им самому большому в мире компьютерному чипу, теперь разработал технологию, которая позволяет кластеру из этих чипов запускать модели искусственного интеллекта, более чем в сто раз превышающие по масштабу самые гигантские из доступных сегодня.

Cerebras заявляет, что новому устройству под силу управлять нейронной сетью со 120 триллионов связей, моделируя взаимодействия между биологическими нейронами и синапсами. Крупнейшие из существующих сегодня моделей ИИ насчитывают порядка триллиона связей, а их создание и обучение обходятся в многие миллионы долларов. По информации Cerebras, его новое оборудование будет выполнять вычисления примерно в 50 раз быстрее лучших сегодняшних решений.

Чип-кластер тоже не будет дешёвым, но в Cerberas по крайней мере утверждают, что их технологии будут значительно эффективнее систем на базе сотен GPU. Фактические рабочие характеристики кластера — его скорость, эффективность и стоимость неизвестны. Cerebras пока не публиковала результаты прохождения эталонных тестов.

Обычные чипы имеют свою собственную встроенную память, но для кластера Cerebras разработала блок внешней памяти под названием MemoryX. Фирма создала программное обеспечение, которое позволяет частично хранить нейронную сеть в этой внешней памяти, при этом на чип передаются только данные для вычислений. Также была сконструирована программно-аппаратная система под названием SwarmX, которая связывает все это воедино.

Приходится только гадать, на какую долю рынка может претендовать такой кластер, особенно с учётом того, что некоторые потенциальные клиенты уже разрабатывают собственные специализированные микросхемы для задач ИИ.

Cerebras ориентируется прежде всего на зарождающийся рынок массивных ИИ-алгоритмов для обработки естественного языка. Компания ведёт консультации с инженерами OpenAI, фирмы из Сан-Франциско, которая стала пионером в использовании массивных нейронных сетей для изучения языков, а также робототехники и игр.

Последний из алгоритмов OpenAI, получивший название GPT-3, имеет нейронную сеть с примерно 160 миллиардами параметров. В следующем, GPT-4, будет около 100 триллионов параметров, но он будет готов только через несколько лет.