| 0 |
|
Большинство используемых сегодня на практике технологий искусственного интеллекта базируются на нейросетях глубокого обучения, которые, несмотря на впечатляющий прогресс, достигнутый в области ИИ, все ещё остаются очень громоздкими и зачастую требуют многодневной тренировки, отвлекающей дорогостоящие вычислительные ресурсы GPU.
Сотрудники лаборатории CSAIL (Computer Science and Artificial Intelligence Lab) Массачусетского технологического института (MIT) надеются изменить положение к лучшему. В опубликованной на днях статье они показали, что внутри нейросетей имеются на порядок меньшие подмножества (субсети) нейронов. Тренировать их будет быстрее и дешевле, а точность прогнозов от этого не пострадает.
Родившаяся в CSAIL гипотеза «лотерейного билета» утверждает, что обучение большинства нейросетей равносильно покупке всех билетов для того, чтобы выиграть лотерею. Тренировку же субсетей авторы сравнивают с покупкой одних только выигрышных билетов.
Загвоздка заключается в том, что исследователи пока не научились находить такие субсети без построения полномасштабной нейросети и последующего отбрасывания ненужных бит.
Если они сообразят, как перепрыгнуть этот этап и сразу перейти к субсетям, то смогут сэкономить многие часы работы, сделав обучение нейросетей по силам даже индивидуальным программистам, а не только крупным организациям.
Реалистично оценивая стоящую пред ними задачу, учёные полагают, что на поиск путей эффективного выявления субсетей и определения среди них нужных для обучения, по всей вероятности уйдут многие годы.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| 0 |
|
