Аналог «памяти мозга» сделал нейронные сети менее забывчивыми

Специалисты в области искусственного интеллекта (ИИ) из Массачусетского университета в Амхерсте и Медицинского колледжа Бейлора рассказали в журнале Nature Communications, об успешном преодолении «серьезного давнего препятствия на пути к расширению возможностей ИИ».

Они разработали новый «на удивление эффективный» способ защиты глубоких нейронных сетей от «катастрофического забывания»: приобретая новый опыт, нейросети забывают то, что они узнали раньше.

Нейронные сети глубокого обучения являются основной движущей силой последних достижений ИИ, но такое забывание сдерживает прогресс в этой области.

В отличие от искусственных нейронных сетей, люди могут непрерывно накапливать информацию на протяжении всей своей жизни, опираясь на полученные ранее уроки. Считается, что важным механизмом мозга, ответственным за защиту воспоминаний, является воспроизведение нейронной активности, представляющей эти воспоминания.

Основная находка команды заключается в понимании того, что мозг генерирует репрезентации воспоминаний на высоком, более абстрактном уровне без необходимости детально воспроизводить сами воспоминания. Вдохновленные этой идеей, ученые создали искусственный мозговой повтор, в котором не хранятся данные. Вместо этого, как и человеческий мозг, сеть генерирует высокоуровневые представления того, что она видела раньше.

Команда показала, что воспроизведения всего нескольких сгенерированных представлений достаточно, чтобы сохранить старые знания при изучении новых. Генеративное воспроизведение не только предотвращает катастрофическое забывание и обеспечивает новый, более рациональный путь для обучения систем, но и позволяет обобщать обучение от одной ситуации к другой.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365