NVIDIA TensorRT 3 в 40 раз ускоряет инференс для задач ИИ

Компания NVIDIA представила программный пакет для инференса TensorRT 3, который, по ее оценкам, серьезно повышает производительность и сокращает стоимость инференса на всех уровнях — от облаков до конечных устройств, включая самоуправляемые автомобили и роботов.

Комбинация TensorRT 3 с графическими процессорами NVIDIA обеспечивает ультрабыстрый и эффективный инференс на всех фреймворках для сервисов на базе ИИ, таких как распознавание речи и образов, обработка языков, визуальный поиск и персонализированные рекомендации. Заявлено, что связка TensorRT и NVIDIA Tesla GPU до 40 раз быстрее, чем решение на CPU, составляя при этом всего 1/10 стоимости решений на базе CPU.

Сообщается, что Alibaba, Baidu, Tencent, JD.com и Hikvision берут на вооружение NVIDIA TensorRT для ускорения инференса своих нейросетей.