Skynet все ближче

Google DeepMind публікує третю ітерацію Frontier Safety Framework – найдетальнішу версію системи оцінки ризиків від просунутих AI-моделей. Головне нововведення – Critical Capability Level для harmful manipulation, коли модель може систематично змінювати переконання і поведінку людей в критично важливих контекстах.

Компанія фактично визнає можливість втрати контролю над моделями. У документі прямо йдеться про сценарії, де «неправильно налаштовані моделі штучного інтелекту можуть перешкоджати операторам керувати, змінювати або припиняти свої операції». Раніше це обговорювалося як щось гіпотетичне – тепер же в документі розроблені конкретні протоколи для моделей, які здатні розвинутися до потенційно небезпечного рівня.

Фреймворк описує і протоколи тестування нових моделей – причому не тільки перед оприлюдненням моделей на публіку, але і масштабних внутрішніх розгортаннях. Тобто визнається можливість проблем з моделями і при їх тестовій експлуатації всередині компанії.

Загалом, до деплою Skynet готові.

Skynet все ближче