| 0 |
|
Співробітники OpenAI за результатами дослідження галюцинацій моделей роблять цікавий висновок: причина галюцинацій не тільки в моделях, а в метриках і лідербордах, які заохочують припущення замість визнання невизначеності. Їхній приклад показовий: модель з високою часткою відмов у відповідях дає менше помилок, тоді як більш «смілива» трохи виграє в точності, але різко збільшує частку неправильних відповідей. GPT‑5, за словами OpenAI, вже рідше галюцинує при міркуванні, але не позбавлена цього повністю.
«Правильні» відповіді та граматика масштабуються, на відміну від рідкісних фактів – низькочастотні відомості статистично призводять до вигадок. Калібрування простіше, ніж точність: маленька модель, яка не знає маорі, чесніше скаже «не знаю», ніж велика, яка трохи знає і почне впевнено фантазувати. І загальний висновок OpenAI виглядає досить просто – якщо при навчанні з підкріпленням карати за впевнені помилки сильніше, ніж за невпевненість у відповіді, і частково заохочувати модель за чесну відповідь «Не знаю», кількість галюцинацій помітно зменшується.
AI фантазує, коли не знає або не впевнений
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
