Чип Google быстрее современных CPU и GPU в 15–30 раз

Компания Google опубликовала некоторые данные о производительности своего кастомного процессора Tensor Processing Unit (TPU), оптимизированного для работы с открытым движком машинного обучения, TensorFlow. TPU используется в центрах обработки данных Google с 2015 г.

Это, первое поколение TPU, как отмечает Google, ориентировано главным образом на использование уже обученной модели, а не на сам этап тренировки нейросети. На таких рабочих нагрузках TPU превосходит в быстродействии современные процессоры и GPU в 15–30 раз.

Кроме того, TPU намного более эффективен: он обеспечивает улучшение показателя энергетической стоимости вычислений (количество операций на ватт израсходованной энергии) от 30 до 80 раз.

Без TPU вычислительная стоимость моделей глубокого обучения Google была бы чрезмерной. «Если предположить сценарий, по которому люди используют голосовой поиск Google всего три минуты в сутки, то при работе нейросетей нашей системы распознавания речи на обычных процессорах нам пришлось бы увеличить количество ЦОД вдвое», — заявил Норм Юппи (Norm Jouppi), аппаратный инженер Google.

Доклад о технических показателях TPU был подготовлен коллективом из более 70 сотрудников Google и сделан в преддверии весеннего симпозиума NAE (National Academy of Engineering) в Музее компьютерной истории Маунтин-Вью (штат Калифорния).