Компания NVIDIA представила программный пакет для инференса TensorRT 3, который, по ее оценкам, серьезно повышает производительность и сокращает стоимость инференса на всех уровнях — от облаков до конечных устройств, включая самоуправляемые автомобили и роботов.
Комбинация TensorRT 3 с графическими процессорами NVIDIA обеспечивает ультрабыстрый и эффективный инференс на всех фреймворках для сервисов на базе ИИ, таких как распознавание речи и образов, обработка языков, визуальный поиск и персонализированные рекомендации. Заявлено, что связка TensorRT и NVIDIA Tesla GPU до 40 раз быстрее, чем решение на CPU, составляя при этом всего 1/10 стоимости решений на базе CPU.
Сообщается, что Alibaba, Baidu, Tencent, JD.com и Hikvision берут на вооружение NVIDIA TensorRT для ускорения инференса своих нейросетей.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
0 |