Оптимизация вычислений в памяти снизила расход энергии на два порядка

Инянь Линь (Yingyan Lin), доцент электротехники и компьютерных технологий, вместе с коллегами по университету Райса (штат Техас), предложила два дополняющих друга друга метода оптимизации датацентричных вычислений, способных улучшить их энергоэффективность на два порядка.

Первым из предложений, продемонстрированных группой Линь 3 июня на Международном симпозиуме по компьютерной архитектуре (ISCA 2020), был TIMELY (Time-domain, In-Memory Execution, LocalitY). Этот алгоритм отходит от традиционной архитектуры фон Нейманна, перенося обработку данных в массивы памяти.

Испытания с применением более десятка моделей глубоких нейросетей и энергонезависимой резистивной памяти ReRAM, показали, что TIMELY обеспечивает 18-кратную экономию энергии и более, чем 30-кратное увеличение вычислительной плотности по сравнению с лучшим из известных ускорителей вычислений в памяти.

Вторым предложением техасской группы на ISCA 2020 была SmartExchange, комбинация инноваций в алгоритмах и в аппаратной части акселератора, которая позволяет добиться гигантской экономии энергии.

«Для доступа к основной памяти — DRAM может потребоваться примерно в 200 раз больше энергии, чем для выполнения вычислений, поэтому ключевой идеей SmartExchange было, задействовать в этом алгоритме структуры, которые позволяют нам заместить более дорогую память гораздо более дешёвыми вычислениями», — сказала Линь.

Исследователи использовали алгоритм SmartExchange и свой аппаратный ускоритель в экспериментах с семью эталонными моделями глубоких нейронных сетей и тремя эталонными наборами данных. Они обнаружили, что подобная комбинация снижает задержку в 19 раз по сравнению с современными акселераторами нейронных сетей.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365