| 0 |
|
За повідомленням NVIDIA, система на чіпі малої потужності NVIDIA Orin, що базується на архітектурі NVIDIA Ampere, встановила нові рекорди в інференсі в бенчмарках MLPerf. Зазначається, що у категорії завдань ШІ для edge-систем передрелізна версія NVIDIA Orin лідирує у п'яти із шести тестів продуктивності. Рішення виявилося до 5 разів швидшим, ніж Jetson AGX Xavier попереднього покоління, забезпечуючи при цьому в середньому дворазове підвищення енергоефективності.
Нагадаємо, NVIDIA Orin доступна у складі комплекту розробника NVIDIA Jetson AGX Orin для робототехніки та автономних систем. Причому платформу NVIDIA Jetson сьогодні застосовують понад 6000 замовників компанії, включаючи Amazon Web Services, John Deere, Komatsu, Medtronic та Microsoft Azure для інференсу та інших завдань.
За заявою NVIDIA, сервери та пристрої з графічними процесорами NVIDIA, включаючи Jetson AGX Orin, стали єдиними edge-прискорювачами, на яких виконувались усі шість тестів MLPerf.
Завдяки SDK JetPack, Orin використовує повну платформу штучного інтелекту NVIDIA, яка вже зарекомендувала себе у центрах обробки даних та у хмарі. Це стало можливим за підтримки мільйона розробників, які використовують платформу NVIDIA Jetson.
Все програмне забезпечення, яке було використане для тестів, доступне у репозиторії MLPerf.
Два ключові компоненти для тестів інференсу – NVIDIA TensorRT для оптимізації моделей ШІ та NVIDIA Triton Inference Server для їх ефективного розгортання – доступні безплатно в каталозі програмного забезпечення NGC, що оптимізований для графічних процесорів.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| 0 |
|
