AMD оновлює AI Engine у новій серії Versal

AMD оновила AI Engine у Versal AI Edge Series Gen 2 другого покоління і додала можливості постобробки, що дозволяють розмістити весь шлях передачі даних на одному кристалі.

Мануель Ум, директор з маркетингу Versal в AMD, повідомив, що акцент на інтеграції попередньої обробки даних був частиною спадщини Xilinx, що перейшла в AMD після придбання цієї компанії у 2022 році.

"Коли ви дивитеся на неадаптивні SoC інших виробників, зазвичай ви бачите, що вони мають можливість виводу поряд з декількома високопродуктивними ядрами Arm, і вони часто мають FPGA на зовнішньому кінці для виконання попередньої обробки, і це дуже поширене", - сказав Мануель Ум. «Інший підхід, який клієнти використовують із нашими Versal AI Edge першого покоління, полягає у використанні програмованої логіки для попередньої обробки та виведення на механізмах штучного інтелекту, але при цьому використовується окремий CPU чи MPU, і з цим пов'язано багато накладних витрат».

Versal AI Edge Gen 1 мав можливості попередньої обробки, що забезпечуються програмованим логічним блоком, і виведенням штучного інтелекту, прискореним вбудованим AI Engine від AMD. У рішенні другого покоління додані вбудовані процесори Arm для постобробки.

За словами Мануеля Ума, розміщення попередньої обробки, виведення AI та постобробки на одному чіпі дозволяє уникнути використання кількох чіпів, які будуть більшими, складнішими і споживають більше енергії. Декілька чіпів також означають збільшення числа вразливостей безпеки та точок збою.

Для другого покоління AMD додала 8 процесорів додатків Arm Cortex A78E та 10 процесорів реального часу Arm Cortex-R52. Вони будуть використовуватися для завдань постобробки, таких як прийняття складних рішень на основі інформації, отриманої за допомогою штучного інтелекту та функцій управління. Обидва розроблені для додатків ASIL-D та SIL-3, включаючи автомобілебудування, промисловість, робототехніку, машинний зір, аерокосмічну та оборонну промисловість.

Клієнт AMD, компанія Subaru, вже заявила, що використовуватиме друге покоління Versal AI Edge Gen 2 у своїх майбутніх системах EyeSight, які забезпечують гальмування перед зіткненням, попередження про вихід зі смуги руху, адаптивний круїз-контроль та допомогу в утриманні смуги руху. Для забезпечення функціональної безпеки Subaru необхідно синхронно використовувати як процесори додатків, так і процесори реального часу. Алгоритм стереобачення працює на основі даних камери в програмованій логічній частині пристрою, що дозволяє Subaru відрізнитись від більш дорогих систем на основі LiDAR. Subaru також назвала штучний інтелект AMD з малою затримкою та розширеною підтримкою типів даних як одну з причин вибору Versal AI Edge Gen 2.

AMD AI Engine – це набір векторних процесорів, призначених для ефективного виведення AI. Порівняно з першим поколінням AMD подвоїла об'єм обчислень і збільшила обсяг пам'яті в кожної комірці. У лінійці представлені деталі з AI-двигунами потужністю від 30 до 185 TOPS (INT8).

AMD також представила підтримку нових форматів чисел із загальним показником ступеня MX6 та MX9, які підвищують пропускну здатність без зниження точності порівняно з цілими форматами. Компанія заявила, що збільшення TOPS/Вт до 3 разів можна досягти при використанні більших обчислювальних комірок у поєднанні з квантуванням до MX6 замість INT8.

Формати FP8 і FP16 також були представлені для додатків, яким необхідний динамічний діапазон та роздільна здатність з комою, що плаває.

"Наші клієнти роблять дивовижні, круті, божевільні речі, і ми повинні їх підтримувати", - сказав Мануель Ум. «Декому з них потрібна додаткова роздільна здатність, і задля цього вони готові пожертвувати продуктивністю. Для інших вся річ у пропускній спроможності, і вони можуть пожертвувати деяким рівнем динамічного діапазону або точності. Ми даємо можливість вибирати, де вони хочуть бути».

AMD також посилила процесори управління для AI Engine, які раніше були реалізовані в програмованій логіці, у самому двигуні.

«Раніше вам доводилося використовувати комбінацію певного рівня програмованої логіки для підтримки всієї машини виведення… мета полягає в тому, щоб вам ніколи не доводилося звертатися до програмованої логіки», – зазначив Мануель Ум. «Програмована логіка використовується спеціально для інших речей, які вам потрібно зробити, щоб доповнити попередню та, можливо, постобробку, обробку сигналів, обробку даних тощо».

Ці процесори, що управляють, обробляють переміщення даних через обчислювальні масиви, що, за словами Ума, «нетривіально».

"Ми виявили, що коли ви думаєте про масив із сотень процесорів і можете здійснювати широкомовну передачу, одноадресну розсилку або розпаралелювання потоків, це нетривіально", - підкреслив він. "Вбудовування цього в масив значно спрощує створення IP-адреси NPU поверх AI Engine".

Versal AI Edge Gen 2 використовуватиме середовище розробки AMD Vitis, створене для гетерогенних обчислень, для програмування всіх вбудованих обчислювальних блоків.

«Секрет тут у тому, що всі наші інструменти орієнтовані на один пристрій, що дозволяє виконувати налагодження на рівні системи, навіть якщо у вас паралельно працюють окремі розробники», — сказав Мануель Ум. «Розробники програмного забезпечення працюють паралельно з фахівцями з апаратного забезпечення, паралельно з вченими в галузі штучного інтелекту, і ми можемо об'єднати все це в єдиному середовищі розробки, за допомогою одного інструменту та виконувати налагодження на рівні системи, чого ви не можете зробити, коли мати чотири або п'ять різних пристроїв із чотирма або п'ятьма різними інструментами».

Vitis AI включає квантувач, обрізку, компілятор моделей, середовище виконання, драйвери та вбудоване ПЗ. Його також можна використовувати зі сторонніми квантувальниками та інструментами розрідженості.

"Ми не збираємося вчити вчених, які займаються штучним інтелектом, тому, як писати RTL", - сказав Мануель Ум, зазначивши, що Vitis AI знаходиться над потоком RTL AMD Vivado у стеку програмного забезпечення. Вони хочуть використовувати PyTorch, TensorFlow, Triton, інструменти, до яких вони звикли, і вони хочуть використовувати моделі з відкритим вихідним кодом. Ключовим моментом для нас є те, що автоматичне квантування відбудеться у Vitis AI, і ми зможемо оптимізувати моделі з відкритим кодом для нашого процесора».

Vitis також може компілювати робочі навантаження AI для програмованої логіки, хоча загалом це не так ефективно, як AI Engine. Однак у деяких випадках його можна використовувати, наприклад, для непідтримуваних типів даних, припустив Мануель Ум.

Зразки Versal AI Edge Gen 2 будуть доступні у першій половині 2025 року.

Стратегія охолодження ЦОД для епохи AI