`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Проста математична формула здатна передбачити момент «збою» AI-чатботів

0 
 

Сучасні локальні AI-моделі, що працюють безпосередньо на смартфонах без підключення до мережі, часто позбавлені хмарних систем безпеки. Це підвищує ризик отримання небезпечних відповідей - від шкідливих медичних порад до закликів до самоушкодження. Дослідники з Університету Джорджа Вашингтона (США) розробили математичну формулу, яка передбачає точний момент, коли AI переходить від безпечних відповідей до потенційно небезпечних.

Результати дослідження двох фізиків - Ніла Ф. Джонсона (Neil F. Johnson) та Френка Інцзє Хо (Frank Yingjie Huo) - було опубліковано в науковому журналі Patterns (видавництво Cell Press).

Вчені прирівняли роботу складної нейромережі з мільярдами параметрів до фізичних систем, де поведінку всього матеріалу можна описати через аналіз одного елемента.

Дослідники вивели математичну формулу, яка описує процес на рівні найменшого функціонального блоку нейромережі - одного елемента механізму уваги (attention head). Формула визначає, чи видасть AI небезпечну відповідь одразу, чи зробить це після серії прийнятних відповідей.

Найбільшому ризику піддаються користувачі автономного AI без хмарної фільтрації - лікарі, які не можуть відправляти дані пацієнтів у хмару, юристи або військові у польових умовах.

Дослідження показало, що контекст і послідовність діалогу мають таке ж значення, як і його зміст. Тестування тих самих запитань (про вакцини чи самоушкодження) у різному порядку призводило до діаметрально протилежних результатів: в одному випадку AI давав безпечні відповіді, в іншому - шкідливі на кожне запитання.

«Ми знайшли тріщину, яка змушує вихідні дані AI перемикатися з того, що вам потрібно, на те, чого ви не хочете - відповідь може бути фактично правильною, але потенційно небезпечною. Досі ніхто не міг сказати, коли саме станеться цей перехід», - зазначив автор дослідження Ніл Ф. Джонсон.

Науковці протестували формулу на семи відкритих AI-моделях від трьох різних розробників. Математична модель правильно передбачила факт і момент зсуву відповіді у 18 з 19 випадків.

Формула залишається універсальною незалежно від того, як саме визначається «небажаний» контент - дезінформація, порушення лікарської таємниці чи небезпечні інструкції. Дослідники сподіваються, що їхня розробка дозволить інтегрувати в майбутні смартфони прості алгоритми самодіагностики, які попереджатимуть користувача про те, що діалог з AI починає заходити у небезпечне русло.

Як безпечно перейти до системного та керованого використання ChatGPT Business

0 
 

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT