| 0 |
|
За повідомленням NVIDIA, суперкомп'ютерний кластер Colossus компанії xAI, що складається з 100 000 графічних процесорів NVIDIA Hopper, досягнув такого величезного масштабу завдяки використанню мережевої платформи NVIDIA Spectrum-X Ethernet, яку створено для забезпечення продуктивності багатокористувацьких гіпермасштабних фабрик AI з використанням стандартного Ethernet, для організації мережі віддаленого прямого доступу до пам'яті (RDMA).
Colossus, найбільший у світі суперкомп'ютер AI, використовується для навчання сімейства Grok великих мовних моделей xAI, а чат-боти пропонуються як функція для передплатників X Premium. xAI перебуває в процесі подвоєння розміру Colossus до 200 000 графічних процесорів NVIDIA Hopper.
Допоміжний комплекс і сучасний суперкомп'ютер були побудовані xAI і NVIDIA за 122 дні, замість звичайних термінів для систем такого розміру, які можуть займати від декількох місяців до декількох років. Причому з моменту встановлення першої стійки до початку навчання минуло 19 днів.
Зазначається, під час навчання надзвичайно великої моделі Grok система Colossus досягла безпрецедентної продуктивності мережі. На всіх трьох рівнях мережевої структури система не зазнавала жодних затримок у роботі додатків або втрат пакетів через зіткнення потоків. Пропускна здатність даних склала 95%, що забезпечується контролем перевантажень Spectrum-X.
Такого рівня продуктивності неможливо досягти в масштабах стандартного Ethernet, який створює тисячі колізій потоків, забезпечуючи пропускну здатність лише 60%.
«AI стає критично важливим і вимагає підвищеної продуктивності, безпеки, масштабованості та економічності», - сказав Гілад Шайнер (Gilad Shainer), старший віцепрезидент із мережевих технологій у NVIDIA. «Мережева платформа NVIDIA Spectrum-X Ethernet створена для того, щоб забезпечити інноваторам, таким як xAI, швидше опрацювання, аналіз і виконання робочих навантажень AI, і, своєю чергою, прискорити розробку, розгортання та час виходу на ринок рішень AI».
«Colossus - найпотужніша навчальна система у світі», - зазначив Ілон Маск (Elon Musk) на сайті X. «Відмінна робота команди xAI, NVIDIA і наших численних партнерів/постачальників».
«xAI створила найбільший і найпотужніший суперкомп'ютер у світі», - додав представник xAI. «Графічні процесори Hopper від NVIDIA і Spectrum-X дають нам змогу розширити межі навчання моделей AI в масовому масштабі, створюючи суперприскорену й оптимізовану фабрику AI на базі стандарту Ethernet».
Серцем платформи Spectrum-X є Ethernet-комутатор Spectrum SN5600, який підтримує швидкість портів до 800 Гб/с і заснований на комутаторі Spectrum-4 ASIC. xAI вибрала комутатор Spectrum-X SN5600 в парі з NVIDIA BlueField-3 SuperNIC для безпрецедентної продуктивності.
Заявлено, Ethernet-мережі Spectrum-X для AI володіють передовими функціями, що забезпечують високоефективну і масштабовану пропускну здатність з низькою затримкою і коротким хвостом затримки, що раніше було характерно тільки для InfiniBand. Ці функції охоплюють адаптивну маршрутизацію з технологією NVIDIA Direct Data Placement, контроль перевантажень, а також поліпшену видимість та ізоляцію продуктивності - всі ключові вимоги для багатокористувацьких генеративних хмар AI та великих корпоративних середовищ.
Про DCIM у забезпеченні успішної роботи ІТ-директора
| 0 |
|
