NVMe RAID. Полювання за продуктивнiстю

Здавна саме поняття RAID було пов’язано з екосистемою SAS, що історично використовувалась в серверах та сховищах даних. За часiв механiчних дискiв SAS RAID-контролери вiдповiдали за продуктивнicть дискових операцій, безперервнiсть доступу до даних, попередження збоїв  та вiдновлення пicля вiдмов. Поява SSD почала розхитувати позиції апаратних RAID-контролерiв. З поширенням NVMe SSD вони остаточно перетворилися з прискорювачів трафіку на його гальма. Причиною цього є вузьке мicце пiдключення контролерів до шини PCIe, межа обчислювальної здатності їх базових I/O-процесорiв, затримки стеку SAS.

Протокол NVMe вигадали для пiдключення накопичувачiв безпосередньо до шини PCIe, уникаючи проміжних пристроїв між SSD і центральним процесором. Що більший паралелізм (шинний та пристроїв обробки), то ефективніше зберігання даних на NVMe SSD.

Минуле пручається змінам. Основнi виробники RAID та серверів А-бренд стали на шлях просування універсальних трирежимних (Tri-mode, SAS/SATA/NVMe) рішень: контролерiв, об'єднувальних плат, NVMe SSD U.3-cтандарту. Добрі наміри полегшити користувачеві одночасну роботу з рiзними дисками обертаються додатковими витратами, за відсутності вигод.

Хоча трирежимна об’єднувальна плата технічно може підтримувати три стандарти, додавання набагато продуктивнiших NVMe до сумiшi дисків SAS та SATA не має сенсу. 16-смугове (x16 PCIe) пiдключення контролера надає просторий шлях аж для чотирьох x4 NVMe SSD – не дуже багато для дорогого посередника. Накопичувачі U.3 не мають переваг над типовими U.2 - бо фактично відрізняються від них додаванням мультиплексора для керування існуючими лініями PCIe на SSD.

Що прийнятно консерваторам, звичним до комфорту RAID-контролера як єдиного центру управління даними, те погано принциповим практикам, котрі прагнуть продуктивності. Тому на серверному ринку користуються попитом альтернативні рішення NVMe RAID, якi краще реалізують можливості твердотiльних накопичувачiв на флеш-пам'яті. Не вичерпано ресурси програмних RAID (що покладаются на CPU),  є розробки на базi GPU i FPGA.

CPU

«Безкоштовний» програмний NVMe RAID можна побудувати засобами ОС i файлових систем (Linux mdadm, Windows Storage Spaces, ZFS, btrfs).

Intel Virtual RAID on CPU (VROC) використовує Intel VMD (Volume Management Device), вбудований у процесор Intel Xeon Scalable контролер інтерфейсу NVMe. Intel VMD забезпечує роботу з RAID-масивами,  гарячу заміну накопичувачів, коректну індикацію їхнього статусу. VROC активується ключем, котрий продається у каналі Intel. На початку цього року Intel раптово вирiшила припинити пiдтримку VROC (постачання ключiв), але згодом дала задню (мабуть, пiд тиском основних виробникiв серверiв – все ж це недорогий спосіб «продати» захист NVMe-томiв у серверi).

Проблемою подiбних програмних RAID є надмiрне споживання ресурсів хоста (СPU, RAM) та низька продуктивність. Їхня кодова база народжувалася за часiв HDD та не забезпечує високий рівень паралелізму, величезну кількість операцій вводу-виводу та пропускну здатність – власне, для цього i створювався NVMe.

Ізраїльський стартап Xinnor пропонує інноваційний xiRAID, розроблений з нуля для використання з NVMe SSD. Підтримується широкий діапазон рівнів RAID 0/1/10/5/6/7.3/50/60/70. Завдяки глибокому розпаралелюванню обробки вводу/виводу та неблокованому шляху даних масиви xiRAID мають дуже невеликі штрафи RAID і розкривають потенціал флеш-накопичувачів. Це легкий програмний модуль із низьким використанням процесора та оперативної пам’яті. Поточна версія xiRAID сумісна з основними дистрибутивами Linux.

xiRAID показує дуже високу продуктивнiсть: 150 ГБ/с в потоковому читаннi, 30M/11M IOPS в читаннi/запису довiльного доступу, при низьких затримках < 0,5 мс. Показники не знижуються в змішаних навантаженнях вводу-виводу, немає помітних провалів продуктивностi пiд час вiдновлення деградованого масиву RAID.

Для порiвняння, найсвіжіший апаратний MegaRAID 9600-series Tri-mode RAID вiд Broadcom спроможен на 28 ГБ/c потокового читання, 6.4M/1.1M IOPS довiльного читання/запису.  VROC витягує 2M IOPS та 200K IOPS вiдповiдно.

Використання xiRAID замість апаратного Tri-mode RAID-контролера виправдано не лише перевагами швидкодії. Програмний RAID не прив’язаний до обладнання, не залежить від його оновлень і модифікацій, його неможливо фізично пошкодити, він простий в міграціі між системами зберігання.  

GPU

Останнім часом привертає увагу американо-тайванський проект GRAID. Вони розробили серверну карту SupremeRAID, яка розвантажує центральний процесор і працює на базі Nvidia GPU. Ядра CUDA графічного процесора обчислюють парності паралельно та прискорюють обробку RAID для доступу до NVMe SSD. Накопичувачi пiдключаються безпосередньо до CPU по PCIe. SupremeRAID керує даними, не пропускаючи через себе дисковий трафік.

Є два продукти: SR-1000 на основі Nvidia T1000 (Turing), однослотової карти, що легко монтується у сервер 1U, та SR-1010 у форматі низькопрофільної карти подвійної товщини Nvidia RTX A2000 (Ampere). Розробленi для операційних систем Linux і Windows, вони підтримують рівні RAID 0/1/10/5/6/JBOD. Ліцензія на базове програмне забезпечення обслуговує до 32 накопичувачів NVMe.

Джерело: StorageReview

Новіша SR-1010 на шині PCIe 4 показує пропускну здатність 110 ГБ/с, швидкість операцій з довiльним доступом сягає 19M та 1,5M IOPS при читанні та запису відповідно. GRAID стверджує, що SR-1010 може відновити несправний SSD на 15 ТБ приблизно за дві години – на заздрість власникам HDD-масивів, які чекають на відновлення подібної ємності кілька днів. Це зрозумiло: MegaRAID побудований на RAID-on-Chip (RoC) Avago SAS 3916 з 2-ядерним процесором ARM A15 всередині. Протистояння картам SupremeRAID на GPU з тисячами ядер CUDA приречене.

В планах GRAID рiшення на GPU нового поколiння з PCIe 5 зi ще вищими показниками у потокових операціях.

Порiвняння продуктивностi

Зведена таблиця швидкостей Tri-mode RAID, програмного xiRAID та GRAID на GPU:

Кому який RAID

Основні очікування від RAID залишаються незмiнними: продуктивність, відмовостійкість, вiдновлюванiсть при заміні накопичувачів, доступність (можливість продовжувати роботу після збоїв компонентів зі збереженням цілісності даних).

Далi все залежить від cценарiю використання. Для скромних завдань необов'язково гнатися за NVMe, вистачить SATA SSD на бортовому контролерi RAID або пiд керуванням диспетчера томів ОС. Об'ємні масиви з масштабуванням, як і раніше, обслуговуватимуть традиційними апаратними контролерами RAID. Законне бажання використати продуктивнiсть NVMe SSD на повну змушує шукати сучаснi альтернативи з високим рiвнем паралелізму. Для NVMe під Linux програмний xiRAID буде найкращим і найбільш гнучким рішенням. Під Windows привабливі варiанти GRAID.

Майбутнiй прогрес в масштабованому продуктивному зберiганнi даних пов’язаний з дезагрегацією, NVMe-oF сховищами,  розширенням функціоналу RAID (як от RAID5f), його об'єднанням зі спільними службами в складi технологічного блоку загальної обробки даних (DPU).

Новi можливостi дозволяють перетворити лiнiйне минуле RAID на «сад розбiжних стежок» за рiзними пріоритетами.

Полюємо за продуктивністю.

З використанням матерiалiв Xinnor та GRAID.

Стратегія охолодження ЦОД для епохи AI