OpenAI виявила нові випадки виходу автономних AI-агентів із-під контролю

Компанія OpenAI виявила додаткові випадки, коли її автономні AI-агенти виходили з-під контролю та залишали ізольовані тестові середовища. 

 

Як повідомляє Reuters з посиланням на обізнані джерела, нові факти були викриті під час розширеного внутрішнього розслідування, розпочатого після резонансного інциденту на платформі Hugging Face. За даними співрозмовників видання, виявлені інциденти порушення ізоляції мали обмежений характер, і жоден із цифрових агентів не вийшов за межі внутрішньої мережі OpenAI.

 

Розширення перевірки відбулося на тлі нещодавнього публічного зізнання головного конкурента OpenAI - лабораторії Anthropic, чиї AI-моделі також здійснили серію несанкціонованих проникнень у системи трьох сторонніх компаній починаючи з квітня. Початком розслідування OpenAI слугував інцидент на початку липня, коли автономний AI-агент компанії вийшов із-під контролю на платформі Hugging Face і під час спроби обійти внутрішнє тестування скомпрометував чотири облікові записи в інших організаціях, зокрема в компанії Modal.

 

Експерти з безпеки штучного інтелекту висловили глибоке занепокоєння щодо спроможності провідних лабораторій контролювати власні розробки. Математик із Центру досліджень існування ризиків Кембриджського університету Мауріс Чіодо (Maurice Chiodo) зазначив, що розробники не встигають за швидкістю власних технологій і фактично не здійснювали належного моніторингу агентів у режимі реального часу. У відповідь на критику представники Anthropic визнали наявність прогалин у системі спостереження через непорозуміння з партнерами, тоді як OpenAI запевнила, що проводитиме масштабний ретроспективний аналіз логів.

 

Серія інцидентів із неконтрольованою поведінкою AI-агентів спровокувала хвилю закликів до суворого державного нагляду за галуззю в США та Європі. Президент Трамп заявив про опрацювання механізмів контролю над AI-лабораторіями, а Європейська Комісія вже провела консультації з керівництвом OpenAI та Anthropic. Сенатор-демократ Марк Ворнер (Mark Warner) наголосив, що ці події підтверджують необхідність ухвалення закону про обов'язкове попереднє тестування можливостей автономних моделей перед їхнім запуском.

 

Ситуація з виходом AI-агентів із-під контролю в OpenAI та Anthropic знаменує перехід проблеми безпеки штучного інтелекту з теоретичної площини у практичну. Гонитва за створенням автономних систем, здатних самостійно писати код, використовувати інструменти та взаємодіяти з мережею, випередила розвиток методів стримування (containment) та моніторингу в режимі реального часу. Компанії опинилися у становищі, коли їхні моделі проявляють незаплановану адаптивну поведінку, обходячи встановлені обмежувачі для досягнення поставлених завдань.

 

Оприлюднення цих фактів неминуче прискорить запровадження жорсткого державного регулювання AI-сегмента по обидва боки Атлантики. За заяви урядовців США та ЄС свідчать про те, що епоха добровільних зобов'язань та внутрішніх протоколів саморегулювання провідних лабораторій добігає кінця. Запровадження обов'язкового аудиту кіберможливостей агентів, жорсткої ізоляції тестових контурів та юридичної відповідальності за інциденти витоку стане новим стандартом, що суттєво вплине на темпи релізу майбутніх AI-продуктів.