| 0 |
|
Штучний інтелект є рушійною силою проривів у всіх галузях промисловості, здійснюючи революцію в усьому: від діагностики в охороні здоров'я та фінансового моделювання до автономних транспортних засобів і великомасштабної автоматизації. Однак у міру вдосконалення систем AI вимоги до зберігання даних зростають у геометричній прогресії, створюючи проблеми масштабованості, ефективності та вартості.
Набори даних машинного навчання сьогодні вимагають зберігання петабайтів, а деякі підприємства керують наборами даних екзабайтного масштабу, щоб не відставати від AI-моделей, що розвиваються. Ці величезні масиви даних необхідно зберігати, витягувати й ефективно обробляти для підтримки навчання і виведення моделей. Інфраструктура зберігання даних, що лежить в основі AI, більше не є просто турботою ІТ-фахівців - вона стала основним фактором, що сприяє інноваціям у сфері AI.
Попри досягнення в галузі обчислень AI, традиційні архітектури зберігання даних стали складними та дорогими в масштабах, необхідних для живлення спраглих до даних графічних процесорів, що створює обмеження, які уповільнюють впровадження AI. Цьому є три причини:
По-перше, хоча архітектури на базі SSD забезпечують високу продуктивність, їхня висока вартість придбання робить їх непрактичними для масового зберігання даних, необхідного для навчальних навантажень AI. Зберігання великих масивів даних виключно на твердотільних накопичувачах для більшості підприємств є недоцільним з фінансового аспекту.
По-друге, хоча системи жорстких дисків SAS/SATA, як і раніше, забезпечують надійне й економічне зберігання даних для багатьох корпоративних застосунків, робочі навантаження AI висувають унікальні вимоги до інфраструктури зберігання. Інтерфейси SAS/SATA засновані на пропрієтарному кремнії, адаптерах хост-шини (HBA) і архітектурах контролерів, які спочатку не були розраховані на високу пропускну здатність і низьку затримку, які необхідні для робочих навантажень AI. У міру поширення AI ці фактори можуть призводити до ускладнення і додаткових затримок, ускладнюючи швидкий доступ моделей AI до величезних масивів даних.
Нарешті, робочі навантаження AI, що залежать від хмарних сховищ, часто стикаються з високими витратами на передачу даних через глобальну мережу, стрибками затримок і непередбачуваним часом отримання даних. Ці недоліки обмежують швидкість відгуку AI-моделей і збільшують операційні витрати, поки обчислювальне обладнання очікує на віддалені дані.
Отже, у міру розширення масштабів AI необхідний новий підхід - такий, що доповнить наявні архітектури зберігання даних і забезпечить баланс між місткістю, вартістю і швидкістю, щоб підтримувати навчання і висновки AI без компромісів.
Зазначається, Seagate є першопрохідцем у створенні революційного рішення, впроваджуючи технологію NVMe в жорсткі диски великої місткості. Розробляючи протокол NVMe як майбутній стандарт для під'єднання жорстких дисків, компанія пропонує альтернативу, призначену для оптимізації конвеєрів даних AI, зменшуючи вузькі місця в системах зберігання, зберігаючи водночас переваги жорстких дисків за доступністю та щільністю.
На відміну від жорстких дисків на базі SAS/SATA, NVMe HDD усувають необхідність у HBA, протокольних мостах і додатковій інфраструктурі SAS, що робить зберігання даних AI більш раціональним. Ці диски дають змогу плавно масштабувати робочі навантаження AI завдяки інтеграції жорстких дисків високої щільності з високошвидкісним кешуванням на SSD в єдиній архітектурі NVMe.
Такий перехід забезпечить значні переваги. По-перше, завдяки відсутності апаратних адаптерів для взаємодії з процесором жорсткі диски NVMe спрощують розгортання систем зберігання даних AI, даючи змогу організаціям створювати масштабні середовища зберігання даних AI без спеціалізованих контролерів. По-друге, завдяки єдиному драйверу NVMe і стеку ОС ці накопичувачі забезпечують ефективну спільну роботу жорстких дисків і SSD, усуваючи необхідність в окремих програмних рівнях.
Одна з найважливіших переваг - прямий доступ до даних від GPU до сховища через DPU, минаючи вузькі місця CPU. Традиційні архітектури зберігання даних направляють дані через конвеєри, керовані центральним процесором, що створює проблеми із затримками. Жорсткі диски NVMe усувають цю неефективність, даючи змогу AI-моделям отримувати й обробляти величезні масиви даних зі значно меншими затримками.
Крім того, технологія NVMe over Fabrics (NVMe-oF) дає змогу інтегрувати жорсткі диски NVMe в розподілені архітектури зберігання даних AI, забезпечуючи безперешкодне масштабування у високопродуктивних мережах центрів обробки даних. Ця функція особливо корисна для підприємств, які потребують гнучких, композитних рішень зберігання даних для робочих процесів AI.
Використовуючи жорсткі диски NVMe поряд з SSD, організації зможуть оптимізувати витрати при збереженні продуктивності, резервуючи SSD для активних наборів даних і використовуючи жорсткі диски для довгострокового зберігання даних для навчання AI.
Щоб продемонструвати потенційний вплив жорстких дисків NVMe в реальному світі, компанія Seagate представила концепцію, що об'єднує жорсткі диски NVMe, SSD NVMe, DPU NVIDIA BlueField і програмне забезпечення AIStore, що демонструє високоефективну екосистему зберігання даних AI.
Ця демонстрація виявила ключові переваги жорстких дисків NVMe в робочих процесах AI та довела, що вони можуть мати значний вплив на великомасштабні середовища зберігання даних AI:
Інженери продемонстрували, що прямий зв'язок між GPU і сховищем за допомогою жорстких дисків NVMe і DPU допоміг знизити затримки, пов'язані зі зберіганням даних у робочих процесах AI.
Було усунуто накладні витрати на традиційні SAS/SATA, що спростило архітектуру системи та підвищило ефективність зберігання.
AIStore динамічно оптимізував кешування і багаторівневе зберігання, підвищуючи продуктивність навчання моделей і спрощуючи агрегацію сховищ і масштабування до рівня екзабайтів.
Інтеграція NVMe-oF забезпечила плавне масштабування, довівши сумісність багатостійкових кластерів зберігання AI.
За допомогою цього концепту компанія Seagate демонструє, як жорсткі диски NVMe зможуть підтримувати найвимогливіші робочі навантаження AI, не вимагаючи при цьому архітектури all-flash.
Компанія Seagate використовує свій десятирічний досвід розгортання AI-моделей на своїх «розумних фабриках» для перевірки жорстких дисків NVMe у реальних робочих навантаженнях AI.
На підприємствах Seagate з виробництва квантових антен виявлення дефектів за допомогою AI ґрунтується на високошвидкісному отриманні зображень і їхньому швидкому вилученні для навчання і постійного вдосконалення моделей. Використовуючи досвід власних виробничих середовищ з підтримкою AI, компанія вивчає, як жорсткі диски NVMe можуть сприяти цьому процесу, забезпечуючи масштабоване й економічне сховище, що підтримує як обробку в реальному часі, так і довгострокове зберігання:
Масивна місткість для зберігання зображень високої чіткості без стиснення даних із втратами.
Ефективне довгострокове зберігання наборів даних для навчання AI.
Безперебійний доступ для перенавчання і безперервного вдосконалення AI-моделей.
Досліджуючи інтеграцію жорстких дисків NVMe в архітектуру зберігання даних, Seagate показує, як нова технологія дає змогу скоротити витрати на зберігання даних AI, забезпечуючи водночас оперативність виявлення дефектів AI в режимі реального часу. Підвищення ефективності охоплює прискорення аналізу на основі AI, підвищення точності та зниження витрат на інфраструктуру.
Крім виробництва, жорсткі диски NVMe знаходять застосування в автономних транспортних засобах, медичній візуалізації, фінансовій аналітиці та гіпермасштабних хмарних AI-платформах.
Інфраструктура AI споживає величезну кількість енергії, тому питання стійкості стає все більш актуальним. Робота Seagate з жорсткими дисками NVMe - це економічна та енергоефективна альтернатива архітектурам з великою кількістю твердотільних накопичувачів.
Порівняно з твердотільними дисками жорсткі диски NVMe забезпечують:
10× ефективніше використання втіленого вуглецю на терабайт, що значно знижує вплив на довкілля.
У 4 рази ефективніше енергоспоживання на терабайт, що знижує витрати на електроенергію в центрах обробки даних AI.
Значно нижча вартість у розрахунку на терабайт, що дає змогу знизити сукупну вартість володіння AI-сховищем у масштабі.
У міру розширення інфраструктури AI стійкі системи зберігання даних стануть найважливішим фактором зниження витрат і впливу на навколишнє середовище. Дорожня карта розвитку Seagate передбачає безперервне вдосконалення ефективності жорстких дисків NVMe, щоб допомогти організаціям масштабувати системи зберігання даних AI та при цьому досягти довгострокових цілей сталого розвитку.
Повідомляється, Seagate розробляє інновації, які дадуть змогу створити наступне покоління інфраструктури зберігання даних з підтримкою штучного інтелекту відповідно до галузевих тенденцій і потреб гіпермасштабних і хмарних середовищ.
Дорожня карта містить:
Масштабування платформи Mozaic (наразі постачаються диски місткістю 36 ТБ) для розробки жорстких дисків NVMe ще більшої місткості.
Розширення підтримки NVMe-oF, що дає змогу робочим навантаженням AI плавно масштабуватися в гібридних середовищах.
Створення еталонних архітектур, щоб розробники AI могли легко розгорнути оптимізовані рішення для зберігання даних.
Компанія Seagate спільно з клієнтами та партнерами вивчає можливості використання жорстких дисків NVMe у рішеннях для зберігання даних AI наступного покоління, забезпечуючи підприємствам доступне й ефективне задоволення потреб клієнтів.
AI перетворює галузі, проте багато організацій стикаються зі складністю управління даними та зростанням витрат на зберігання. Масштабована й ефективна система зберігання даних необхідна для того, щоб інновації в галузі AI розвивалися.
Робота Seagate над жорсткими дисками NVMe демонструє, як під'єднання NVMe може знизити складність розгортання систем зберігання даних, зберігаючи водночас переваги жорстких дисків за вартістю і щільністю.
Забезпечуючи інтеграцію AIStore, масштабованість NVMe-oF і оптимізовані для GPU шляхи зберігання у своєму концепті, Seagate очолює наступну хвилю інновацій в інфраструктурі AI.
У міру того як AI змінює галузі, Seagate переглядає способи масштабування інфраструктури зберігання даних для AI, щоб задовольнити попит на зберігання інформації, що зростає.
Комп’ютерний розум: генеративний штучний інтелект у рішеннях AWS
| 0 |
|
