| 0 |
|
Дослідники з Сіднейського університету ідентифікували фундаментальну математичну причину, чому системи штучного інтелекту можуть демонструвати різну поведінку навіть за умов навчання в майже ідентичних середовищах. Це відкриття може суттєво змінити підходи до забезпечення надійності та прозорості AI-технологій.
Результати дослідження професора Пуліна Ґонга (Pulin Gong) та аспіранта Ендрю Лі (Andrew Ly) зі Школи фізики опубліковано у науковому журналі Nature Machine Intelligence.
Оскільки AI все глибше інтегрується в медицину, бізнес та повсякденне життя, його непередбачуваність залишається однією з головних проблем галузі. Раніше відмінності в поведінці моделей списували на зовнішній шум, черговість подачі даних або апаратні похибки. Проте нова робота доводить: джерелом нестабільності є сама математична природа навчання нейромереж.
«Наші результати вказують на дещо глибше. Навіть якщо повністю усунути зовнішні фактори випадковості, мікроскопічні відмінності в початкових умовах моделі все одно призводять до абсолютно різних результатів», - пояснює професор Ґонг.
Для пояснення явища науковці використали концепцію «дірявих басейнів атракції» (riddled basins) - складних фрактальних структур, де кожна початкова точка довільно близько межує з точкою, що веде до іншого кінцевого результату.
Автори дослідження навчили близько 500 000 нейромереж для завдань розпізнавання зображень та обробки тексту, підтвердивши наявність фрактальних структур для різних архітектур і методів навчання.
У великій мережі розпізнавання зображень підвищення точності початкових параметрів у 10 мільярдів разів не дало жодного вимірюваного покращення відтворюваності.
Зміна початкових налаштувань на мінімально можливе для комп'ютера значення - один біт - у майже 48% випадків перенаправляла процес навчання до абсолютно іншої внутрішньої конфігурації.
Дослідження також виявило несподіваний компроміс: налаштування, які дозволяють мережам навчатися найефективніше, роблять їхні результати найменш передбачуваними. Зменшення «швидкості навчання» (learning rate) підвищувало відтворюваність, однак суттєво знижувало ефективність засвоєння даних.
Науковці наголошують, що непередбачуваність не є звичайною помилкою, яку можна просто виправити інженерними методами, а є фундаментальною властивістю багатьох нейромереж. Розроблені авторами інструменти оцінки чутливості допоможуть у майбутньому проєктувати нові архітектури AI, менш схильні до математичної нестабільності.
Як безпечно перейти до системного та керованого використання ChatGPT Business
| 0 |
|
