Cerebras випускає моделі з відкритим вихідним кодом, схожі на ChatGPT
28 март, 2023 - 16:55
Стартап Cerebras Systems, який займається розробкою чіпів для обчислень завдань штучного інтелекту, заявив, що випустив моделі з відкритим вихідним кодом, подібні до ChatGPT.
Компанія, що базується в Кремнієвій долині, випустила сім моделей, які були навчені на суперкомп'ютері штучного інтелекту під назвою Andromeda, включаючи менші мовні моделі з 111 мільйонами параметрів і більшу модель з 13 мільярдами параметрів.
«Існує великий рух за закриття того, що було відкритим у сфері AІ... це не дивно, оскільки в цю сферу вкладено величезні гроші, - сказав Ендрю Фельдман (Andrew Feldman), засновник і генеральний директор Cerebras. - Захоплення спільноти, прогрес, якого ми досягли, значною мірою стали можливими завдяки тому, що все було настільки відкрито».
Моделі з більшою кількістю параметрів здатні виконувати складніші генеративні функції.
Наприклад, чат-бот ChatGPT від OpenAI, запущений наприкінці минулого року, має 175 мільярдів параметрів і може створювати поезію та проводити дослідження, що допомогло привернути великий інтерес і фінансування до АІ в більш широкому сенсі.
У Cerebras заявили, що менші моделі можуть бути розгорнуті на телефонах або смарт-колонках, тоді як більші працюють на ПК або серверах, хоча складні завдання, такі як узагальнення великих уривків, вимагають більших моделей.
Однак Карл Фройнд (Karl Freund), консультант з мікросхем у Cambrian AI, у коментарі для Reuters, каже, що більше - не завжди краще. «Було опубліковано кілька цікавих статей, які показують, що (менша модель) може бути точною, якщо її більше тренувати, - сказав Фройнд. - Отже, існує компроміс між більшим розміром і кращою підготовкою».
Фельдман сказав, що його найбільша модель навчалася трохи більше тижня, що зазвичай займає кілька місяців, завдяки архітектурі системи Cerebras, яка включає в себе чип розміром з обідню тарілку, створений для навчання штучного інтелекту.
Більшість моделей АІ сьогодні навчаються на чіпах Nvidia, але все більше стартапів, таких як Cerebras, намагаються завоювати частку на цьому ринку.