| 0 |
|
Reuters повідомляє, що двоє видатних колишніх дослідників Google, один з яких був співавтором "трансформаторної" архітектури штучного інтелекту, що проклала шлях до буму генеративного AI, оголосили в четвер про заснування нової AI-компанії з базуванням в Токіо.
Sakana AI, заснована Девідом Ха (David Ha) та Ліоном Джонсом (Llion Jones), відмовилася розкрити деталі фінансування.
Джонс є одним з авторів дослідницької роботи Google 2017 року "Увага - це все, що вам потрібно", яка представила архітектуру глибокого навчання "трансформер", що стала основою для вірусного чат-бота ChatGPT і нинішньої гонки з розробки продуктів на основі генеративного AI. Раніше Ха був керівником досліджень у Stability AI та дослідником у Google Brain.
Після виходу знаменитої статті прогрес у створенні базових моделей генеративного AI зосередився на тому, щоб робити моделі на основі "трансформатора" все більшими і більшими. Замість цього Sakana AI зосередиться на створенні нових архітектур для фундаментальних моделей, розповів Джонс в інтерв'ю Reuters.
"Замість того, щоб будувати одну величезну модель, яка поглинає всі ці дані, наш підхід може полягати у використанні великої кількості менших моделей, кожна з яких має свою унікальну перевагу і менший набір даних, і в тому, щоб ці моделі спілкувалися і працювали одна з одною для вирішення проблеми", - сказав Ха, хоча він уточнив, що це лише ідея.
Sakana AI планує навчати АІ-моделі за допомогою техніки, відомої як еволюційні обчислення, коли створюється багато версій нейронної мережі, кожна з яких має дещо іншу конфігурацію. Потім вони порівнюють ці версії, щоб знайти ті, які пропонують найвищу точність і швидкість обробки. Далі дослідники видаляють повільніші версії нейромережі і повторюють весь процес з нуля кілька разів, щоб ще більше вдосконалити свою модель АІ.
Джонс розповів CNBC, що одна з цілей Sakana AI - уникнути створення "величезної, громіздкої моделі". Сучасні генеративні моделі ШІ часто потребують значної кількості обладнання для запуску та навчання, що робить їх дорогими. За даними Financial Times, стартап також сподівається, що його нейронні мережі будуть менш "крихкими" і більш пристосованими до мінливих вимог, ніж сучасне програмне забезпечення.
Окрім Ха та Джонса, до команди Sakana AI, як повідомляється, входить ще один дослідник, найнятий з академічних кіл на неповний робочий день. Стартап планує найняти ще невизначену кількість додаткових співробітників у майбутньому.
Усі автори статті "Увага - це все, що вам потрібно" покинули Google. Нові проекти авторів залучили мільйони доларів від венчурних інвесторів, зокрема Ноама Шазіра (Noam Shazeer), який керує стартапом, що розробляє чат-ботів зі штучним інтелектом Character.AI, та Ейдана Гомеса (Aidan Gomez), який заснував стартап з розробки великих мовних моделей Cohere.
Ха і Джонс не уточнили, чи залучила Sakana AI зовнішній капітал. Стартап виходить на переповнений ринок, де конкурують технологічні гіганти, такі як Microsoft і численні менші, добре фінансовані гравці.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
