`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Что для вас является метрикой простоя серверной инфраструктуры?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Adaptive Deep Reuse ускоряет обучение нейросетей на 60 и более процентов

0 
 

Adaptive Deep Reuse ускоряет обучение нейросетей на 60 и более процентов

Одним из самых больших барьеров на пути разработки новых инструментов ИИ, являются огромные затраты времени и вычислительной мощности, которые требуются чтобы натренировать нейросети глубокого обучения распознавать нужные комбинации данных и реагировать на них.

В Университете Северной Каролины (NC State) найден способ, как ускорить этот процесс. Новая методика под названием Adaptive Deep Reuse, представлена на 35-й международной конференции IEEE Data Engineering, проходящей в эти дни в Макао (специальный административный район Китая).

В основу метода положена идея, что многие из тысяч и миллионов записей в тренировочном массиве данных содержат одинаковую информацию, например, соответствуют фрагментам разных фотографий, отображающим голубое небо.

Распознавая эти похожие образцы данных, сеть глубокого обучения может применить вычислительные фильтры к одному фрагменту и затем перенести полученный результат на все аналогичные данные в одном массиве, что приведёт к экономии значительного процессорного ресурса.

Для того, чтобы экспериментально оценить получаемую экономию, группа во главе с профессором NC State, Сипен Шенем (Xipeng Shen) протестировала свой метод на трёх популярных сетях глубокого обучения и массивах данных: CifarNet, использующей тренировочный сет Cifar10, и обученных на массиве ImageNet моделях AlexNet и VGG-19.

Adaptive Deep Reuse сократил время обучения на 69% для AlexNet, на 68% — для VGG-19 и на 63% — для CifarNet. Во всех трёх случаях ускорение происходило без потери точности.

Алгоритм начинал с относительно больших фрагментов данных и низкого порога для определения их одинаковости, но в последующих циклах обучения (эпохах) адаптивно изменял эти параметры, постепенно улучшая точность итоговой нейросети.

«Мы считаем, что Adaptive Deep Reuse является ценным инструментом, и надеемся на сотрудничество с отраслевыми и исследовательскими партнерами, чтобы продемонстрировать, как его можно использовать для развития ИИ», — заявил Шень.


Вы можете подписаться на наш Telegram-канал для получения наиболее интересной информации

0 
 

Напечатать Отправить другу

Читайте также

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT