| 0 |
|
Протягом останніх трьох років у сфері інфраструктури штучного інтелекту панував підхід «більше означає краще»: гігантські моделі, величезні кластери та мільйонні контракти для вузького кола постачальників. На щорічному саміті Open Compute Project (OCP) Global Summit компанія Intel заявила про зміну парадигми: наступна фаза AI вимагатиме точно підібраних обчислювальних ресурсів, і корпорація готова це забезпечити.
Під час свого виступу Нікола Дюбе (Nicolas Dubé), корпоративний віцепрезидент Intel, сформулював нову концепцію виразом: «Кожен промпт - на своє місце». Компанія розкрила нові деталі про графічні прискорювачі Intel GPU серії D (раніше відомі під кодовою назвою Crescent Island) та нові архітектури стійок Xeon на базі специфікації OCP Open Rack v3.
Більшість організацій досі відправляють будь-які запити до флагманських моделей найвищого рівня, незалежно від складності завдання. Intel пропонує шар оркестрації, який аналізує кожен промпт за критеріями необхідного рівня інтелекту, затримки, розміру контексту, безпеки даних та вартості. Так складні наукові дослідження виправдовують використання топових закритих моделей. Конфіденційні документи повинні залишатися всередині корпоративного контуру. А рутинні завдання (написання коду, сумаризація) можуть ефективно виконуватися локальними відкритими моделями з мінімальними витратами.
Згідно з даними Vercel AI Gateway, частка трафіку відкритих моделей (open-weight) зросла з 31% на початку липня до 78% наприкінці вересня, що підтверджує масовий перехід корпоративного сектору на оптимізовані рішення.
Нікола Дюбе також розповів про Intel GPU D-Series (Crescent Island). Це спеціалізований прискорювач для інференсу відкритих моделей у традиційних центрах даних на базі архітектури Xe3P. Для нього заявлена продуктивність 1,3 петафлопса (FP8). Обсяг пам'яті - до 480 ГБ LPDDR5X (пропускна здатність 1,5 ТБ/с). Фірмова карта Intel оснащується 160 ГБ.
Енергоспоживання - 350 Вт зі стандартним повітряним охолодженням у формфакторі PCIe.
Один прискорювач підтримує моделі до 300 млрд параметрів, а 8-чипова система - понад 1 трлн параметрів.
Агентний ШІ перетворює інференс на багатокроковий процес (пошук даних, виклики інструментів, запити до БД), що створює величезне навантаження саме на центральні процесори. Тому стійкові системи на базі Intel Xeon 6+ масштабуються до понад 46000 ядер на стійку при потужності 133,45 кВт.
Intel пропонує оцінювати стійки не за кількістю ядер, а за кількістю одночасних агентів, яку система здатна підтримувати із заданою затримкою.
Під керівництвом генерального директора Ліп-Бу Тана (Lip-Bu Tan) стратегія Intel демонструє відчутні результати. Так виторг за другий квартал оцінюється у 16,1 млрд дол. (+25% у річному обчисленні). У сегменті Data Center & AI зафіксовано зростання на 59% - до 6,3 млрд дол.
Компанія перевищує власні прогнози вже 7 кварталів поспіль, а акції зросли більш ніж утричі за останній рік.
Замість того щоб змагатися з NVIDIA на ринку тренування гігантських моделей, Intel зосереджується на корпоративному інференсі та агентних системах, де її процесорні потужності та гнучкі PCIe-рішення мають фундаментальну перевагу.
У своєму виступі Нікола Дюбе дав поради для IT-лідерів з того як адаптувати інфраструктуру. Перш за все слід провести аудит промптів з аналізом логів використання AI та відокремити рутинні завдання, які можна перевести на дешевші відкриті моделі.
Також слід зробіть оркестрацію стратегічним шаром. Динамічна маршрутизація запитів залежно від вартості, затримки та чутливості даних забезпечить контроль витрат і безпеку.
Оцінюйте обладнання за показниками потокових агентів на ват і вартості за мільйон токенів, а не лише за піковими FLOPS.
Перед інвестуванням у коштовне рідинне охолодження розгортайте PCIe-прискорювачі з повітряним охолодженням у стандартних стійках.
Агентні сценарії активно долучають загальносистемні обчислення, тому плануйте процесорні потужності разом із GPU.
Як безпечно перейти до системного та керованого використання ChatGPT Business
| 0 |
|
