`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Леонід Бараш

Відкріто код нейронної мережі з 117 млрд параметрів

+11
голос

Група дослідників випустила Bloom, передову модель обробки природної мови, яка містить 117 мільярдів параметрів. Дослідники зробили код нейронної мережі Bloom доступним за ліцензією з відкритим кодом.

Проєкт розпочався минулого року як співпраця між Hugging Face, стартапом зі штучного інтелекту (ШІ), який нещодавно залучив 100 млн дол. від інвесторів, і двома суперкомп’ютерними організаціями у Франції. Hugging Face та її партнери створили дослідницьку групу під назвою BigScience, щоб керувати розробкою Bloom. У роботі взяли участь понад 1000 дослідників із понад 70 країн.

Bloom підтримує 46 мов і 13 мов програмування, пишуть дослідники BigScience в блозі. ШІ може відповідати на запитання, підсумовувати текст, отримувати фрагменти інформації з документів і виконувати ряд інших завдань. Універсальність Bloom частково є результатом того, що він містить 117 мільярдів параметрів.

Параметри — це налаштування, які визначають, як ШІ виконує обчислювальне завдання. Чим більше таких налаштувань містить система ШІ, тим складніші завдання вона здатна виконувати. Маючи 117 мільярдів параметрів, Bloom є однією з найдосконаліших моделей обробки природної мови у світі.

Bloom має більше параметрів, ніж розширена нейронна мережа GPT-3, яку OpenAI LLC описав у 2020 році. Як і Bloom, GPT-3 оптимізовано для обробки природної мови. Він також здатний виконувати інші завдання, наприклад генерувати програмний код.

Дослідники BigScience навчали Bloom за допомогою суперкомп’ютера Jean Zay поблизу Парижа. Суперкомп’ютер, який включає оптимізовані для ШІ відеокарти від Nvidia, має максимальну швидкість понад 28 петафлопс.

«Це кульмінація року роботи за участю понад 1000 дослідників із 70+ країн і 250+ установ, що призвело до останнього 117-денного тренінгу (11 березня – 6 липня), — детально розповіли сьогодні дослідники BigScience. Розробка була підтримана «грантом на обчислення вартістю приблизно 3 мільйони євро від французьких дослідницьких агентств CNRS і GENCI», уточнили вони.

Окрім коду для Bloom, дослідницька група BigScience відкрила деякі технічні дані, які були створені під час процесу розробки. Розробники можуть запускати Bloom на власному апаратному забезпеченні або отримати доступ до розміщеної версії ШІ через інтерфейс прикладного програмування, наданий BigScience.

У майбутньому дослідницька група планує розробити нову версію Bloom із ще більш розширеними можливостями. BigScience має намір додати підтримку для більшої кількості мов і оптимізувати ШІ, щоб полегшити роботу на власній інфраструктурі компанії. BigScience також розроблятиме додаткові системи ШІ з більш складною архітектурою, ніж Bloom.

Відкріто код нейронної мережі з 117 млрд. параметрів

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+11
голос

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT