AMD, Arm, Intel, Meta, Microsoft, NVIDIA і Qualcomm стандартизують формати даних для AI
Реалізація повного потенціалу глибокого навчання наступного покоління вимагає високоефективної інфраструктури AI. Для того, щоб обчислювальна платформа була масштабованою та економічно ефективною, важливо оптимізувати кожен рівень стека AI, від алгоритмів до апаратного забезпечення. Досягнення в області вузько точних форматів даних AI та пов’язаних з ними оптимізованих алгоритмів відіграли ключову роль на цьому шляху, дозволивши галузі перейти від традиційної 32-бітної точності з комою, що плаває, до нинішньої точності лише 8 біт (тобто OCP FP8).
Вужчі формати дозволяють апаратному забезпеченню виконувати більш ефективні обчислення AI за один такт, що прискорює навчання моделі та час висновків. Моделі АІ займають менше місця, а це означає, що вони потребують менше вибірки даних з пам’яті та можуть працювати з кращою продуктивністю та ефективністю. Крім того, необхідність у передачі меншої кількості бітів зменшує потреби у швидкості передачі даних, що може підвищити продуктивність додатків або скоротити витрати на мережу.
На початку цього року AMD, Arm, Intel, Meta, Microsoft, NVIDIA і Qualcomm Technologies сформували Microscaling Formats (MX) Alliance з метою створення і стандартизації 6- і 4-бітних типів даних наступного покоління для навчання і виведення АІ. Ключова технологія, яка дозволяє працювати з форматами менше ніж 8 біт, так зване мікромасштабування, ґрунтується на багаторічних дослідженнях і розробках у галузі проєктування простору. MX підвищує надійність і простоту використання наявних 8-бітних форматів, таких як FP8 і INT8, тим самим знижуючи бар’єр для ширшого впровадження навчання і виведення однорозрядних бітів.
Початкова специфікація MX представляє чотири конкретні формати даних з комою, що плаває, (MXFP8, MXFP6, MXFP4 та MXINT8), які сумісні з сучасними стеками АІ, підтримують гнучкість реалізації як на апаратному, так і на програмному рівні. Вони також дозволяють здійснювати «дрібнозернисте» мікромасштабування на апаратному рівні. Широкі дослідження демонструють, що формати MX можна легко розгортати для багатьох різноманітних реальних випадків, таких як великі мовні моделі, комп’ютерний зір і рекомендаційні системи. Ця технологія також дозволяє проводити попереднє навчання LLM з точністю до 6 і 4 біт без будь-яких змін у звичайних навчальних рецептах.
В умовах еволюції штучного інтелекту відкриті стандарти мають вирішальне значення для сприяння інноваціям, співпраці та широкому впровадженню. Ці стандарти пропонують єднальну основу, яка забезпечує узгодженість інструментарію, розробку моделей та інтероперабельність в екосистемі АІ. Це ще більше розширює можливості розробників і організацій використовувати весь потенціал AI, одночасно зменшуючи фрагментацію і технологічні обмеження, які в іншому випадку могли б стримувати прогрес.
У цьому дусі Альянс MX випустив специфікацію Microscaling Formats (MX) v1.0 у відкритому, безліцензійному форматі через Open Compute Project Foundation (OCP), щоб уможливити та заохотити широке впровадження в індустрії та забезпечити основу для потенційних майбутніх вузькоформатних інновацій. Крім того, було опубліковано технічний документ та емуляційні бібліотеки, в яких детально описано підхід до науки про дані та вибрані результати MX в дії. Така інклюзивність не тільки прискорює темпи розвитку AI, але й сприяє відкритості, підзвітності та відповідальній розробці додатків AI.
«Як індустрія, ми маємо унікальну можливість співпрацювати та реалізувати переваги технології штучного інтелекту, яка уможливить нові сценарії використання від хмарних до периферійних та кінцевих точок. Це вимагає прихильності до стандартизації навчання і висновків АІ, щоб розробники могли зосередитися на інноваціях там, де це дійсно важливо, і випуск специфікації OCP MX є важливою віхою на цьому шляху». - Ян Братт (Ian Bratt), науковий співробітник і старший директор з технологій, Arm.
«Специфікація OCP MX є результатом досить широкої міжгалузевої співпраці і являє собою важливий крок вперед в уніфікації та стандартизації нових суб-8-бітних форматів даних для додатків штучного інтелекту. Мобільність та інтероперабельність моделей штучного інтелекту, які забезпечуються завдяки цьому, повинні дуже порадувати розробників штучного інтелекту. Додатки АІ повинні отримати вищі рівні продуктивності та енергоефективності, а також зменшити потребу в пам’яті». - Прадіп Дубі (Pradeep Dubey), старший науковий співробітник і директор лабораторії паралельних обчислень, Intel.
«Специфікація OCP MX - це значний крок на шляху до прискорення навчання АІ та робочих навантажень, пов’язаних з виведенням висновків за допомогою форматів даних менше ніж 8 біт. Ці формати прискорюють роботу додатків, зменшуючи навантаження на пам’ять і пропускну здатність, а також дозволяють впроваджувати інновації в реалізації математичних операцій. Специфікація відкритого формату забезпечує інтероперабельність платформ, що приносить користь усій індустрії». - Пауліус Міцікевічус (Paulius Micikevicius), старший провідний інженер, NVIDIA
www.opencompute.org