`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Представлен компилятор Nvidia TensorRT 7

0 
 

Представлен компилятор Nvidia TensorRT 7

Компания Nvidia представила программное обеспечение для инференса, с помощью которого разработчики могут создавать диалоговые приложения искусственного интеллекта, обеспечивающие полностью интерактивное взаимодействие. Пакет разработки ПО для инференса Nvidia TensorRT 7 позволяет в реальном времени работать с такими приложениями, как голосовые агенты, чат-боты и рекомендательные сервисы. Согласно исследованиям Juniper Research, в мире используется 3.25 млрд цифровых голосовых помощников. К 2023 году эта цифра вырастет до 8 млрд, что превысит всё население Земли.

TensorRT 7 включает новый компилятор глубокого обучения, который автоматически оптимизирует и ускоряет всё усложняющиеся рекурентные нейросети и сети с архитектурой типа трансформер, необходимые для диалоговых ИИ-приложений. Заявлено, что он ускоряет компоненты диалогового ИИ более чем в 10 раз по сравнению с CPU, снижая латентность до 300 мс. А это именно тот порог, который необходим для взаимодействий реального времени.

«Мы открыли новую главу в ИИ, где машины стали понимать язык человека в реальном времени, — говорит учредитель и генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) на конференции GTC China. — TensorRT 7 позволяет воплотить все это в жизнь, предоставляя разработчикам инструменты для создания быстрых и умных диалоговых ИИ-сервисов, обеспечивающих более естественное взаимодействие человека и ИИ».

Крупнейшие инновационные компании мира уже берут на вооружение инструменты NVIDIA для ускорения диалогового ИИ, и среди них — Sogou, которая предоставляет поисковые сервисы для WeChat, самого популярного мобильного приложения.

«Sogou предоставляет качественные ИИ-сервисы, такие как голосовые возможности, изображения, перевод, диалог и вопросы и ответы миллионам пользователей каждый день», — сказал Янг Хонгтао (Yang Hongtao), технический директор Sogou. «Платформа инференса NVIDIA TensorRT позволяет нам обеспечить работу онлайн-сервисов в реальном времени. Такие возможности ИИ значительно улучшили пользовательские возможности наших сервисов».

TensorRT 7 ускоряет рост числа ИИ-моделей, используемых для предсказаний в сценариях работы с временными, последовательными данными, где применяются рекурентные циклические структуры (RNN). Помимо использования в диалоговых ИИ-сетях RNN помогают в составлении расписаний прибытий для автомобилей и спутников, предсказания событий в электронных врачебных записях, прогнозирования финансовых активов и обнаружения мошенничества.

Рост комбинаций RNN-конфигураций и функций привел к необходимости в быстром развертывании коммерческого кода, отвечающего критериям работы в реальном времени. Создание кода вручную приводило к многомесячным задержкам, поэтому диалоговый ИИ получил развитие у немногих компаний, обладающих необходимыми компетенциями.

С новыми компилятором глубокого обучения TensorRT разработчики по всему миру получили возможность автоматически оптимизировать такие сети, как уникальные сети автоматического распознавания речи и WaveRNN и Tacotron 2 для перевода текста в речь, обеспечивая максимально высокую производительность при минимальной латентности.

Новый компилятор также оптимизирует сети типа трансформер, такие как BERT для обработки естественного языка.

TensorRT 7 может быстро оптимизировать, валидировать и разворачивать обученные нейросети для инференса в гипермасштабируемых датацентрах, встроенных или автомобильных платформах на базе GPU.

Платформа инференса от Nvidia, включающая TensorRT, а также несколько библиотек Nvidia CUDA-X AI и GPU Nvidia, обеспечивает инференс высокой пропускной способности с низкими задержками не только для диалоговых приложений, но и для классификации изображений, обнаружения мошенничества, сегментации, распознавания объектов и рекомендательных систем. Ее возможности широко используются ведущими корпоративными и потребительскими компаниями, включая Alibaba, American Express, Baidu, PayPal, Pinterest, Snap, Tencent и Twitter.

TensorRT 7 будет доступен в ближайшие дни, бесплатно для участников программы Nvidia Developer, на странице TensorRT. Новейшие версии плагинов, анализаторов и семплов с открытым кодом также доступны в репозитарии TensorRT GitHub.


Вы можете подписаться на наш Telegram-канал для получения наиболее интересной информации

0 
 

Напечатать Отправить другу

Читайте также

 

Slack подает жалобу на Microsoft и требует антимонопольного расследования от ЕС

 
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT