Головні загрози GenAI та чому майбутнє за нульовою довірою до AI

Великі мовні моделі (LLM) революціонізують способи взаємодії з технологіями. У результаті постачальники SaaS борються за конкурентну перевагу, інтегруючи функції AI та пропонуючи підприємствам такі інструменти, як аналітика продажів на основі AI або кодинг-пілоти.

Традиційно моделі безпеки з нульовим рівнем довіри ґрунтувалися на чіткому розмежуванні користувачів і додатків. Однак застосунки, інтегровані з LLM, порушують це розмежування, функціонуючи одночасно як ті й інші. Така реальність створює новий набір вразливостей у системі безпеки, таких як витік даних, впровадження підказок, ризикований доступ до онлайн-ресурсів і навіть доступ до корпоративних ресурсів від імені співробітників. Для розв'язання цих проблем під час розгортання LLM необхідний унікальний набір заходів щодо забезпечення нульової довіри. Саме їх сформулював Томер Бехор (Tomer Behor), який займається напрямком GenAI Security & DLP у Check Point Software Technologies.

Розглянемо приклади того, що може піти не так при впровадженні сервісів GenAI та чому організаціям слід почати розглядати підхід із нульовою довірою до доступу до AI (ZTAI, Zero Trust AI).

Ризик GenAI № 1 - Проста ін'єкція - коли ви наймаєте Гаррі Поттера

Зловмисники зловживають можливостями LLM, створюючи ввідні дані для прямого або непрямого маніпулювання поведінкою LLM з метою спонукати його до шкідливої або неетичної поведінки. Підказки можуть вводитися як безпосередньо зловмисником, так і побічно мимовільним користувачем, який використовує додаток на базі LLM відповідно до його призначення. Існує чотири типи ін'єкцій підказок:

- Пряма ін'єкція підказок (Direct Prompt Injection), під час якої зловмисники вводять певні підказки, щоб змінити поведінку або виведення LLM шкідливим чином. Зловмисник може безпосередньо попросити LLM виступити в ролі неетичної моделі, злити конфіденційну інформацію або змусити модель виконати шкідливий код.

- Непряма ін'єкція підказок більш тонка, вона пов'язана з маніпуляцією джерелами даних, які використовує LLM, що робить її набагато небезпечнішою і складнішою для виявлення в організаційному середовищі.

- Мультимодальні ін'єкції Prompt Injections дають змогу LLM отримувати на вхід такі формати, як зображення, відео та звуки, з прихованими інструкціями, що вбудовуються в медіавхід і змінюють поведінку бота застосунку, змушуючи його спілкуватися, як Гаррі Поттер.

- Атаки типу «відмова в обслуговуванні» (DoS) також можуть бути здійснені за допомогою ін'єкцій, що призводить до перевантаження ресурсів LLM, погіршення якості обслуговування і високих витрат.

Ризик GenAI №2 - витік конфіденційних даних - чи може ваш AI зберігати секрети?

Моделі можуть бути точно налаштовані або доповнені за допомогою доступу до даних для досягнення найкращих результатів у конкретній галузі. Наприклад, для бота служби підтримки було б чудово налаштувати модель за допомогою минулих звернень. Але чи може ваш AI зберігати секрети?

В одному з досліджень вчені використовували механізм тонкого налаштування ChatGPT для вилучення імен та адрес електронної пошти більш ніж 30 співробітників New York Times. Цей приклад показує, як конфіденційні дані, використовувані для попереднього навчання або тонкого налаштування AI, можуть бути викрадені, що створює регуляторні ризики. Як наслідок, моделям LLM не можна довіряти в плані захисту конфіденційних даних від витоку.

Ризик GenAI № 3 - вразливий студент - ризики, пов'язані з навчанням

Моделі генеративного AI проходять тривале навчання на різних наборах даних, які часто включають більшу частину інтернет-контенту. Процес навчання охоплює попередню підготовку на великих наборах даних для широкого розуміння мови і світу, а потім тонке налаштування для конкретних цілей з використанням спеціальних наборів даних.

У разі отруєння даних зловмисники можуть порушити безпеку цих моделей, маніпулюючи невеликою часткою (всього 0,01%) навчальних даних. Оскільки моделям і користувачам не можна довіряти наосліп, цілісність і безпеку навчальних даних також не можна вважати надійною.

Ризик GenAI № 4 - контроль доступу - ласкаво просимо на Дикий Дикий Захід

Дедалі більше організацій інтегрують LLM у багатокомпонентні додатки, або «агенти». Ці інтеграції розширюють можливості LLM, як-от доступ до Інтернету, пошук корпоративних ресурсів і виконання різних дій з ними. Примітно, що недавній запуск магазину плагінів OpenAI сприяє широкому доступу до доповнень для LLM.

Отримання даних з інтернету в режимі реального часу може бути дуже цінним для користувачів. Такі доповнення дозволяють LLM давати точніші відповіді на запити користувачів, ґрунтуючись на актуальній інформації. Однак розширення доступу LLM до інтернету є серйозною проблемою, особливо в контексті впровадження шкідливих програм.  У недавніх прикладах вставка шкідливих інструкцій в URL-адресу змусила чат Bing переконати користувачів відвідати шкідливий сайт або розкрити конфіденційну інформацію, яка була відправлена на зовнішній сервер.

LLM-інтегровані додатки можуть бути розроблені для взаємодії з корпоративними ресурсами, такими як бази даних або додатки. Однак такий тип доступу являє собою ризик навіть для не зловмисних користувачів, оскільки вони можуть випадково отримати доступ до конфіденційних даних і ресурсів, взаємодіючи з LLM-інтегрованим додатком.

У системі доступу з нульовою довірою до AI поведінка інтегрованого в LLM застосунку не викликає довіри, як і прийняття ним рішень, пов'язаних із доступом до корпоративних ресурсів, включно з тим, до яких ресурсів і коли здійснюється доступ, які дані експортуються тому чи іншому користувачеві і які операції виконуються в цих ресурсах.

З експоненціальною продуктивністю приходить експоненціальний ризик. Щоб ефективно захистити LLM, їх не слід розглядати виключно як користувачів або додатки, а скоріше як те й інше.

Підхід Zero Trust AI access (ZTAI) пропонує розглядати інтегровані в LLM додатки як сутності, які потребують суворого контролю доступу, захисту даних і політики запобігання загрозам - створення більш жорсткої лінії оборони, ніж та, що потрібна для захисту звичайного співробітника.

Kingston повертається у «вищу лігу» серверних NVMe SSD