Чого навчили ChatGPT за три місяці?

Останнім часом чат-бот ChatGPT зі штучним інтелектом, розроблений лабораторією OpenAI, постійно на слуху. Прототип ChatGPT, що базувався на моделі мови GPT-3.5, було випущено лише 30 листопада 2022 року. Та він швидко пригорнув до себе увагу завдяки детальності і ясності відповідей. А вже 14 березня було представлено нову модель GPT-4. У чому ж її відмінності?

1. Тепер GPT-4 може працювати не лише з текстом, але і з зображеннями

Найпомітнішою зміною в останній версії універсальної системи машинного навчання є те, що вона стала «мультимодальною», тобто може розуміти більше однієї «модальності» інформації. ChatGPT і GPT-3 були обмежені текстом: вони могли читати й писати, але на цьому все (хоча цього більш ніж достатньо для багатьох застосувань).

GPT-4, однак, можна дати зображення, і вона обробить їх, щоб знайти відповідну інформацію. Наприклад, можна просто попросити ШІ описати те, що зображено на картинці. Але, що важливіше, його розуміння виходить за ці рамки.

2. GPT-4 важче обдурити

Попри все, що сучасні чат-боти роблять правильно, їх легко ввести в оману. Невелике вмовляння може переконати їх, що вони просто пояснюють, що зробив би «поганий штучний інтелект».

GPT-4 був навчений на великій кількості шкідливих підказок, які користувачі надали OpenAI за останні рік-два. З огляду на це, нова модель, як стверджують розробники, набагато краща за своїх попередників за «фактичністю, керованістю і відмовою виходити за рамки».

GPT-3.5 (на якому працює ChatGPT) був «тестовим запуском» нової архітектури навчання, і в OpenAI застосували отримані останніми місяцями зауваження до нової версії та зробили її «безпрецедентно стабільною» з меншою кількістю сюрпризів.

3. GPT-4 має «довшу пам'ять»

Великі мовні моделі тренуються на мільйонах веб-сторінок, книг та інших текстових даних, але коли вони насправді розмовляють з користувачем, є межа того, скільки вони можуть тримати «в голові» (можна поспівчувати). У GPT-3.5 і старій версії ChatGPT ця межа становила 4096 «токенів», що дорівнює приблизно 8000 слів, або приблизно чотирьом-п'яти сторінкам книги. Таким чином, функція уваги втрачала контроль над речами за цими межами.

GPT-4 має максимальну кількість токенів 32768 – це приблизно 64 тисячі слів або 50 сторінок тексту. Це означає, що під час спілкування або створення тексту чат-бот зможе тримати в пам'яті увосьмеро більше даних. Тобто він пам'ятатиме, про що ви говорили в чаті 20 сторінок тому, або, пишучи оповідання чи есе, він зможе посилатися на події, які відбулися 35 сторінок тому.

4. GPT-4 більш багатомовний

У світі ШІ переважають англомовні користувачі, і все, від даних до тестування і наукових робіт, ведеться цією мовою. Але, звичайно, можливості великих мовних моделей застосовні в будь-якій письмовій мові, і вони повинні бути доступними на цих мовах.

GPT-4 робить крок до цього, демонструючи, що система здатна з високою точністю відповідати на тисячі запитань з декількома варіантами відповідей 26 мовами, від італійської до української та корейської. Найкраще він працює з романськими та германськими мовами, але добре узагальнює й інші.

5. GPT-4 має різні «характери»

«Керованість» – цікаве поняття в ШІ, що стосується його здатності змінювати свою поведінку на вимогу. Це може бути корисно, наприклад, у ролі співчутливого слухача, або небезпечно, коли люди переконують модель, що вона зла або в депресії.

GPT-4 інтегрує керованість більш нативно, ніж GPT-3.5, і користувачі зможуть змінити «класичну особистість ChatGPT з фіксованою багатослівністю, тоном і стилем» на щось, що більше відповідає їхнім потребам. «В межах дозволеного», – поспішає зауважити команда, вказуючи на це як на найпростіший спосіб змусити модель змінити характер.

Тепер розробники зможуть з самого початку закладати перспективу, розмовний стиль, тон або метод взаємодії.