| 0 |
|
OpenAI працює над новим підходом до своїх моделей штучного інтелекту в рамках проекту під кодовою назвою Strawberry, за словами людини, знайомої з цим питанням і внутрішньою документацією, з якою ознайомилась агенція Reuters.
Проект, деталі якого раніше не повідомлялися, з’явився в той час, коли стартап, підтримуваний Microsoft, намагається показати, що типи моделей, які він пропонує, здатні забезпечити передові можливості міркування.
Reuters не змогло встановити точну дату документа, в якому детально описується план того, як OpenAI має намір використовувати Strawberry для проведення досліджень. Джерело повідомило агенцію, що план знаходиться в процесі розробки. Також не вдалося з’ясувати, наскільки Strawberry близька до того, щоб стати загальнодоступною.
Документ описує проект, який використовує моделі Strawberry з метою дозволити штучному інтелекту компанії не просто генерувати відповіді на запити, але й планувати достатньо наперед для автономної та надійної навігації в інтернеті, щоб виконувати те, що OpenAI називає «глибокими дослідженнями», як зазначає джерело.
Згідно ps співбесідами з більш ніж десятком дослідників АІ, це те, що досі не вдавалося моделям АІ.
Відповідаючи на запитання про Strawberry та деталі, викладені в цій статті, представник компанії OpenAI сказав наступне: «Ми хочемо, щоб наші АІ-моделі бачили і розуміли світ так само, як і ми. Постійні дослідження нових можливостей ШІ є звичайною практикою в галузі, і ми віримо, що з часом ці системи будуть вдосконалюватися в міркуваннях».
Проект Strawberry раніше був відомий як Q*, який, як повідомляло агентство Reuters минулого року, вже розглядався всередині компанії як прорив.
Два джерела розповіли, що на початку цього року співробітники OpenAI показали їм демо-версію Q*, яка здатна відповідати на складні наукові та математичні питання, недоступні сьогоднішнім комерційним моделям.
У вівторок на внутрішній нараді OpenAI провело демонстрацію дослідницького проекту, який, як стверджується, має нові навички міркування, подібні до людських, згідно з Bloomberg. Представник OpenAI підтвердив факт зустрічі, але відмовився повідомити подробиці про її зміст. Reuters не змогло визначити, чи був продемонстрований проект саме Strawberry.
За словами співрозмовника агенції, OpenAI сподівається, що інновація значно покращить міркування її АІ-моделей, додавши, що Strawberry передбачає спеціалізований спосіб обробки АІ-моделі після її попереднього навчання на дуже великих наборах даних.
Хоча великі мовні моделі вже можуть узагальнювати щільні тексти і складати елегантну прозу набагато швидше, ніж будь-яка людина, технологія часто не справляється з проблемами здорового глузду, рішення яких здаються людям інтуїтивно зрозумілими, наприклад, з розпізнаванням логічних помилок або грою в хрестики-нулики. Коли модель стикається з такими проблемами, вона часто «галюцинує» неправдивою інформацією.
Дослідники АІ, опитані Reuters, загалом сходяться на думці, що міркування в контексті АІ передбачає формування моделі, яка дозволяє АІ планувати наперед, відображати, як функціонує фізичний світ, і надійно вирішувати складні багатокрокові задачі.
Покращення міркувань у моделях АІ розглядається як ключ до розблокування здатності моделей робити все - від великих наукових відкриттів до планування та створення нових програмних додатків.
Генеральний директор OpenAI Сем Альтман заявив на початку цього року, що в АІ «найважливіші області прогресу будуть пов’язані зі здатністю міркувати».
Інші компанії, такі як Google, Meta і Microsoft, також експериментують з різними методами для поліпшення міркувань у моделях АІ, як і більшість академічних лабораторій, які проводять дослідження АІ. Однак дослідники розходяться в думках щодо того, чи здатні великі мовні моделі (ВММ) включати ідеї та довгострокове планування в те, як вони здійснюють прогнозування. Наприклад, один з піонерів сучасного АІ Ян Лекун, який працює в компанії Meta, часто говорив, що ВММ не здатні до людського мислення.
Strawberry є ключовим компонентом плану OpenAI з подолання цих проблем, повідомило джерело, знайоме з цим питанням. У документі, який бачило агентство Reuters, описано, що Strawberry прагне зробити можливим, але не про то, як саме.
За словами чотирьох людей, які бачили презентації компанії, в останні місяці OpenAI приватно сигналізувала розробникам та іншим зовнішнім сторонам про те, що вона знаходиться на порозі випуску технології зі значно більш просунутими можливостями міркувань. Вони відмовилися назвати свої імена, оскільки не мають права говорити про приватні справи.
За словами одного з джерел, Strawberry включає в себе спеціалізований спосіб так званого «пост-навчання» генеративних моделей АІ OpenAI або адаптацію базових моделей для відточування їхньої продуктивності певними способами після того, як вони вже були «натреновані» на масивах узагальнених даних. Етап розробки моделі після навчання включає в себе такі методи, як «точне налаштування» - процес, який сьогодні використовується майже у всіх мовних моделях і має багато різновидів, наприклад, коли люди дають моделі зворотний зв’язок на основі її відповідей і надають їй приклади хороших і поганих відповідей.
Strawberry має схожість з методом, розробленим у Стенфорді в 2022 році під назвою «Self-Taught Reasoner» або «STaR», повідомило одне з джерел, обізнане в цьому питанні. STaR дозволяє моделям АІ «перезавантажувати» себе на більш високі рівні інтелекту шляхом ітеративного створення власних навчальних даних, і в теорії може бути використаний для отримання мовних моделей, які перевершують людський рівень інтелекту, розповів Reuters один з його творців, професор Стенфорда Ной Гудман.
«Я думаю, що це одночасно і захоплююче, і жахливо… якщо справи підуть у цьому напрямку, нам, як людям, доведеться замислитися над серйозними речами», - сказав Гудман. При цьому необхідно зазначити, що Гудман не пов’язаний з OpenAI і не знайомий зі Strawberry.
Серед можливостей, на які націлений Strawberry, - виконання довгострокових завдань (LHT), йдеться в документі, маючи на увазі складні завдання, які вимагають від моделі планування і виконання серії дій протягом тривалого періоду часу, пояснило перше джерело.
Для цього OpenAI створює, навчає і оцінює моделі на тому, що компанія називає «глибокими дослідженнями», згідно з внутрішньою документацією OpenAI. Reuters не змогло з’ясувати, що входить до цього набору даних і наскільки тривалим буде цей період.
OpenAI вірогідно намагається того, щоб її моделі використовували ці можливості для проведення досліджень шляхом автономного перегляду веб-сторінок за допомогою «CUA», або агента, що використовує комп’ютер, який може вживати заходів на основі своїх висновків, згідно з документом і одним із джерел. OpenAI також планує протестувати свої можливості на виконанні роботи інженерів з програмного забезпечення та машинного навчання.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
