`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Євген Куліков

IBM изучила защиту от хакерских атак на модели глубокого обучения

+22
голоса

Модели глубокого обучения можно взломать, как и все остальное в области вычислений. Команда IBM выявила угрозы и разработала методы защиты моделей ИИ, которые называются глубокими генеративными (DGM). Это набирающая обороты технология на базе ИИ, позволяющая синтезировать данные из сложных, высокоразмерных массивов, будь то изображения, текст, музыка или молекулярные структуры.

Способность создавать наборы смоделированных данных имеет огромный потенциал в промышленных или научных областях применения, где реальные данные встречаются редко, а их сбор обходится дорого.

Модели DGM могут повысить производительность ИИ и ускорить научные открытия за счет аугментации данных. Одной из популярных моделей DGM является генеративно-состязательная сеть (GAN).

В рассмотренном сценарии хакерской атаки жертва загружает глубокую генеративную модель из непроверенного источника и использует ее для аугментации данных ИИ. Заразив модель, злоумышленник может нарушить целостность и надежность процесса разработки систем с ИИ.

Исследователи ожидают, что многие организации в условиях дефицита времени и специалистов будут использовать обученные модели GAN от потенциально опасных третьих сторон, например, скачивать их из репозиториев открытого кода. А это позволит хакерам внедрять скомпрометированные модели GAN в корпоративные линейки решений на базе ИИ.

Специалистами были рассмотрены три способа создания подобных атак: обучение модели GAN с нуля, но с измененным алгоритмом обучения; с использованием существующей модели GAN и созданием вредоносного клона; и обучение увеличенного количества нейронных сетей преобразовывать благоприятный контент во вредоносный при обнаружении секретного триггера злоумышленника. Исследование нескольких способов позволило обнаружить различные точки входа, через которые злоумышленник может навредить организации.

Для защиты моделей DGM от новых типов атак предлагается несколько стратегий защиты, которые можно разделить на две категории: стратегии, которые позволяют жертве «обнаруживать» такие атаки, и стратегии, которые наделяют жертву способностью нивелировать негативные воздействия таких атак путем «обеззараживания» атакованных моделей.

Стратегии защиты первой категории предполагают тщательное изучение компонентов потенциально скомпрометированной модели перед ее активацией и во время генерирования контента. Кроме того, для обнаружения атак могут использоваться методы различной степени автоматизации и глубины анализа, направленные на проверку выходных данных такой модели.

Вторая категория стратегий подразумевает использование методов отучения модели DGM от нежелательного поведения. Например, к таким методам могут относиться дополнительное обучение потенциально атакованной модели и ее принуждение к генерированию благоприятного контента для ряда входных данных или уменьшение размера модели и, соответственно, ее способности производить данные, выходящие за требуемый диапазон.

Наработанную технологию – инструменты тестирования и защиты моделей DGM от новых угроз – планируется передать некоммерческой организации Linux Foundation в рамках библиотеки Adversarial Robustness Toolbox. Получить доступ к примеру кода и демонстрации защиты GAN можно через GitHub. Кроме того, планируется создать облачный сервис для разработчиков, который позволит проверять потенциально опасные модели до их внедрения в приложение или сервис.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+22
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT