«Лотерейная» гипотеза обещает 10-кратное ускорение тренировки нейросетей

Большинство используемых сегодня на практике технологий искусственного интеллекта базируются на нейросетях глубокого обучения, которые, несмотря на впечатляющий прогресс, достигнутый в области ИИ, все ещё остаются очень громоздкими и зачастую требуют многодневной тренировки, отвлекающей дорогостоящие вычислительные ресурсы GPU.

Сотрудники лаборатории CSAIL (Computer Science and Artificial Intelligence Lab) Массачусетского технологического института (MIT) надеются изменить положение к лучшему. В опубликованной на днях статье они показали, что внутри нейросетей имеются на порядок меньшие подмножества (субсети) нейронов. Тренировать их будет быстрее и дешевле, а точность прогнозов от этого не пострадает.

Родившаяся в CSAIL гипотеза «лотерейного билета» утверждает, что обучение большинства нейросетей равносильно покупке всех билетов для того, чтобы выиграть лотерею. Тренировку же субсетей авторы сравнивают с покупкой одних только выигрышных билетов.

Загвоздка заключается в том, что исследователи пока не научились находить такие субсети без построения полномасштабной нейросети и последующего отбрасывания ненужных бит.

Если они сообразят, как перепрыгнуть этот этап и сразу перейти к субсетям, то смогут сэкономить многие часы работы, сделав обучение нейросетей по силам даже индивидуальным программистам, а не только крупным организациям.

Реалистично оценивая стоящую пред ними задачу, учёные полагают, что на поиск путей эффективного выявления субсетей и определения среди них нужных для обучения, по всей вероятности уйдут многие годы.