| 0 |
|
Якуб Пахоцький, головний науковий співробітник (chief scientist) компанії OpenAI, опублікував есе «An Alien Mind». На основі внутрішніх результатів він очікує, що поточна швидкість прогресу переросте у рекурсивне самоудосконалення AI. Жодна лабораторія не вирішила завдань вирівнювання та моніторингу в обсязі, достатньому для відповідального масштабування на максимальній швидкості. На його думку, добровільні уповільнення мають стати нормою, а Preparedness Framework та Responsible Scaling Policy слід перетворити на обов’язкові пороги безпеки, які контролюють зовнішні аудитори, державні агентства або міжнародні органи. OpenAI, за його словами, готова в односторонньому порядку призупиняти масштабування за потреби.
Ключова технічна проблема зараз, на думку Якуба, – деградація моніторингу ланцюжків міркувань (CoT): моделі дедалі частіше змішують міркування зі спілкуванням та інструментами, краще маніпулюють власним процесом міркування та стають розумнішими навіть без вербалізованих міркувань. Якщо спочатку детальну інформацію про CoT приховували ще в моделі o1-preview, щоб знизити навантаження на модель, а захист від дистиляції був вторинним ефектом, то зараз цей метод втрачає ефективність.
Головний науковець OpenAI закликає до обов'язкових порогів безпеки для AI
Як безпечно перейти до системного та керованого використання ChatGPT Business
| 0 |
|
