Нові уразливості можуть непомітно викрадати конфіденційні дані клієнтів із серверів OpenAI

Компанія Radware, постачальник рішень у галузі кібербезпеки та доставки застосунків, повідомила про невідому раніше вразливість типу zero-click, яка впливає на агента Deep Research від ChatGPT, інформує Мегатрейд. Ця вразливість, що отримала назву ShadowLeak, дає зловмисникам можливість викрадати конфіденційну інформацію користувачів без будь-яких дій з їхнього боку (таких, як відкриття вкладеного файлу або клік по URL-лінку), а також без запитів або видимих ознак порушення безпеки в мережі чи на кінцевому пристрої.

Deep Research – аналітичний інструмент у ChatGPT, запущений у лютому. Завдяки йому користувач може дати ChatGPT завдання знайти в інтернеті інформацію на певну тематику й підготувати детальний та впорядкований звіт. Deep Research проаналізує вебсайти, статті та навіть PDF-файли, щоб дізнатися все, що можна знайти.

Якщо є потреба використати Deep Research для створення звіту на основі електронних листів у Gmail і джерел з інтернету, користувач має надати агенту доступ до своєї скриньки Gmail та вебпошуку.

Звичайний запит до Deep Research може виглядати так: «Проведи глибоке дослідження моїх електронних листів… та збери всю інформацію про…». Однак зловмисники можуть обдурити AI-агента, щоб викрасти конфіденційну інформацію з поштової скриньки користувача без його згоди або відома на сервер, контрольований зловмисником.

Фахівці Radware знайшли вразливість в агенті Deep Research від ChatGPT під час підключення до Gmail та перегляду вебсторінок. Як виявилося, один спеціально створений електронний лист змушує AI-агента непомітно передавати зловмиснику конфіденційні дані з вхідної пошти без будь-яких дій користувача або видимого інтерфейсу.

Атака використовує непряме введення команд, яке можна приховати в HTML-коді електронного листа (дрібний шрифт, білий текст на білому тлі, інші хитрощі з макетом), тому користувач не помічає команд, але AI-агент все одно їх читає і виконує.

Виявлена вразливість свідчить про новий клас атак на агентів AI, які продовжують поширюватися на підприємствах. Ці повністю приховані, автоматизовані експлойти обходять традиційні засоби контролю безпеки. Центр досліджень безпеки Radware (RSRC), який досліджує загрози в традиційних вебзастосунках і в нових системах AI, успішно продемонстрував, як зловмисник використовує цю вразливість, просто надсилаючи користувачеві електронного листа. Одразу після взаємодії зі шкідливим електронним листом мав місце витік конфіденційних даних, а жертвам навіть не потрібно було для цього переглядати, відкривати чи натискати на повідомлення.

Особливість вразливості ShadowLeak полягає в тому, що це перший відомий випадок витоку конфіденційних даних виключно на стороні сервера. Адже агент Deep Research ChatGPT, що працює в хмарі OpenAI, самостійно, без будь-яких дій з боку користувача здійснює передачу конфіденційних даних із серверів OpenAI. На відміну від раніше розкритих атак zero-click, ShadowLeak працює незалежно і не залишає слідів на рівні мережі. Це робить загрози надзвичайно важкими для виявлення з позиції бізнес-клієнта ChatGPT.

Цікаво, що в інтерв'ю CNBC у серпні Нік Терлі, віцепрезидент з продуктів ChatGPT, заявив, що чатбот має 5 млн платних бізнес-користувачів. Так він окреслив потенційний масштаб ризику. Висновки Radware свідчать, що організації, які покладаються виключно на заходи безпеки сервіс-провайдерів або традиційні засоби захисту, – вразливі для нового класу атак на штучний інтелект.

Відповідно до протоколів відповідального розкриття інформації, компанія Radware проінформувала OpenAI про вразливість ще 18 червня. OpenAI визнала існування проблеми та на початку вересня повідомила Radware про її усунення.