`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Тренировку нейросетей для экстремальной классификации удалось ускорить на порядок

0 
 

Компьютерные ученые из Университета Райса (штат Техас) и компании Amazon показали, что они могут существенно сократить количество времени и вычислительных ресурсов, необходимых для обучения компьютеров поиску среди сотен миллионов продуктов и прочим «экстремальным проблемам классификации», таким как перевод речи и ответы на общие вопросы.

На ежегодной конференции по системам обработки нейронной информации (NeurIPS 2019), открывшейся в Ванкувере (Канада), они представили свою работу, включая результаты испытаний, выполненных в 2018 году на базе Amazon Search в Пало-Альто (штат Калифорния).

Тестирование нового метода MACH (Merged-Average classifiers via hasSHing) на базе данных Amazon, включающей свыше 49 млн наименований продуктов и 70 млн запросов, показало, что он работает в 7-10 раз быстрее и требует в 2-4 раза меньше памяти, чем лучшие из известных крупномасштабных распределённых систем глубокого обучения. Тренировка последних для решения задач экстремальной классификации (с многими возможными результатами) часто занимает несколько дней на суперкомпьютерах из соединенных параллельно массивов графических ускорителей (GPU).

В эксперименте с Amazon исследователи из университета Райса случайным образом поделили 49 миллионов продуктов на 10 тысяч классов и повторили этот процесс 32 раза. Это уменьшило количество параметров модели со 100 миллиардов до 6,4 миллиардов. Тренировка такой модели заняла меньше времени и меньше памяти, чем обучение лучших коммерческих моделей со сравнимыми параметрами, включая модель Sparsely-Gated Mixture-of-Experts (MoE) компании Google.

Важнейшим качеством MACH, по мнению авторов метода, является то, что он не нуждается в коммуникациях между параллельными процессорами. С ростом количества параметров до триллиона и выше, коммуникации грозят превратиться в серьёзную проблему распределённого глубокого обучения.


Вы можете подписаться на наш Telegram-канал для получения наиболее интересной информации

0 
 

Напечатать Отправить другу

Читайте также

 

Slack подает жалобу на Microsoft и требует антимонопольного расследования от ЕС

 
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT