| 0 |
|
Компьютерные специалисты из университета Райса (штат Техас) применили популярную технику ускорения работы с данными для уменьшения объёма вычислений в машинном обучении без ущерба для точности получаемых результатов.
Их подход, сочетающий хэширование с разреженным обратным распространением (sparse backpropagation), применим к любой архитектуре глубокого обучения, причём с ростом сложности нейросети увеличивается и получаемая экономия компьютерного ресурса.
«Испытания показали, что мы могли сократить вычисления на целых 95% и всё ещё находились в пределах одного процента от точности, получаемой стандартными методами, — сообщил соавтор работы, аспирант Райса, Райан Спринг (Ryan Spring). — Математические выкладки свидетельствуют, что если при 1000 нейронах получена 95-процентная экономия, то с миллиардом нейронов она превысит 99%».
Эта работа призвана помочь разрешить одну из величайших проблем, с которыми сталкиваются Google, Facebook или Microsoft при создании, обучении и внедрении массивных сетей глубокого обучения для растущего числа приложений, таких как самоуправляемые машины, переводчики, цифровые ассистенты и интеллектуальные автоответчики для e-mail.
Большинство алгоритмов машинного обучения появились 30-50 лет назад, когда самого понятия Большие Данные не существовало и вопросам снижения вычислительной сложности не уделялось особого внимания. В наши дни Google тренирует нейросети, содержащие до 137 млрд нейронов, что заставляет задуматься об экономии даже эту компанию с гигантскими вычислительными ресурсами.
Руководитель исследования, доцент Аншумали Шривастава (Anshumali Shrivastava) представит его в августе на конференции KDD 2017 в Галифаксе (Канада).
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
