Генеративный подход к обучению ИИ имитирует работу мозга во сне

Главным недостатком существующих систем искусственного интеллекта (ИИ) является то, что они не могут решать задачи, для которых не были обучены. Даже когда они проходят переподготовку, большинство этих систем склонны к «катастрофическому забыванию», когда новая специализация может разрушать ранее приобретённые знания.

Исследователи из некоммерческого научно исследовательского института SRI International, базирующегося в Менло Парк (штат Калифорния), предприняли попытку перенести на системы ИИ биологические механизмы кратко- и долгосрочной памяти, что, по их мнению должно сделать такие системы более адаптивными.

«Мы создаем новое поколение систем искусственного интеллекта, способные учиться на собственном опыте, — заявил в интервью Сек Чай (Sek Chai), один из ведущих исследователей проекта DARPA Lifelong Learning Machines (L2M). — Сегодняшние системы ИИ не могут этого делать, потому что они не адаптивны. Проект DARPA L2M, возглавляемый доктором Хавой Зигельманном (Hava Siegelmann), стремится к фундаментальному изменению возможностей ИИ».

В статье, опубликованной ими на сервере arXiv, сотрудники SRI описывают механизм генеративной памяти, который комбинирует повторное обучение и обучение с подкреплением (reinforced learning), позволяя системам ИИ извлекать уроки из всей истории предшествующих воспоминаний и адаптировать их к множеству учебных задач или предметов.

Генеративная память использует шифрование, чтобы отделить участок предыдущей, латентной памяти, в то же время сохранив его в роли среды для подкрепления последующего обучения.

«Системы генеративного ИИ применялись для создания произведений искусства, музыки и т. д., — пояснил Чай. — В наших исследованиях мы используем их для кодирования генеративного опыта, который впоследствии можно будет использовать при обучении с подкреплением. Такой подход основан на биологических процессах, протекающих во сне и в мечтах, когда мы вспоминаем или воображаем фрагменты опыта, закреплённые в нашей долгосрочной памяти».

В настоящее время исследователи проверяют свой подход на компьютерных стратегических играх, таких как StarCraft2, которые обычно используются для обучения и оценки систем ИИ. Способности интеллектуальных агентов к адаптации, их универсальность и безопасность тестируют введением в игру неожиданностей, например, внезапных изменений ландшафта или арсенала возможностей персонажа.

Стратегія охолодження ЦОД для епохи AI