Зародження та розквіт ринку JBOD

Дорогі й негнучкі системи SAN та NAS поступово витісняються розподіленими програмно-визначеними сховищами, які будуються на стандартних компонентах. У цій трансформації ключову роль відіграють JBOD - спеціалізовані дискові корпуси, які поступово еволюціонували в складні пристрої відповідального зберігання даних, здатні вміщувати петабайти інформації за прийнятною ціною.

Десять років тому експерт видання ZDnet Джейсон Перлоу (Jason Perlow) зробив «панківський» прогноз Анархія в зберіганні даних: майбутнє без SAN.

Йшлося про трансформацію центрів обробки даних в часи лавиноподібного розростання даних, особливо в регульованих галузях, які потребують довгострокового зберігання цифрових активів в доступному стані.

У традиційній інфраструктурі  об'ємні дані зберігаються на дорогому обладнанні  SAN та NAS. Їхня  дорожнеча, невідповідність вимогам продуктивності та масштабованості дали поштовх альтернативі – розподіленому програмно-визначеному зберіганню даних (SDS). Amazon Web Services, Microsoft Azure та Google Compute Engines з самого початку будували хмарні сховища без масивів EMC та NetApps. Вони б збанкрутували, якби це сталося. Замість SAN та NAS розгорнуто архітектуру сховищ на стандартних компонентах: в комутованій інфраструктурі Ethernet керують та обмінюються даними типові сервери з підключеними до них «купами дисків». Так само зробили інші – в світі багато генераторів великих даних.

Еволюція JBOD

Спочатку терміном JBOD (Just a Bunch of Disks) називали просто сукупність дисків, режим роботи дискових контролерів, що їх обслуговують. Потім JBOD сприймали як розширення при серверах (DAS). З часом назва закріпилась за класом систем зберігання даних, хоча JBOD не є самостійним «розумним» сховищем з власним контролером чи файловою системою, це лише «домівка» (enclosure) для дисків, яка підключається по SAS до сервера і надає тому доступ до кожного диска окремо.

Розквіт SDS спричинив ускладнення самих сховищ. При великих об'ємах зберігання серверами з внутрішніми дисками не обійтися,  дані виносять в JBOD, підключені по SAS до контролерів керуючих серверів. Ті здатні обслуговувати сотні дисків через систему експандерів. Але не варто зводити поняття JBOD до різновиду серверних корпусів зі спільними полицями дисків і SAS-експандерами. Сучасні JBOD – це спеціалізовані пристрої відповідального зберігання даних: з двома модулями введення-виведення IOM, кількома портами SAS на кожному з них, дубльованими живленням, вентиляцією, експандерами, шляхами до дисків. Вони підтримують зонування (розбиття топології на групи, для безпеки та розподілу трафіку), каскадування (підключення кількох сховищ ланцюжком), мають автономне сервісне управління.

Для спільного користування JBOD кількома серверами потрібна комбінація SAS HBA, кластерної файлової системи та кластерного ПЗ (якщо JBOD під’єднати одночасно до кількох серверів без спеціального софту, псування даних гарантовано). 

Певним поштовхом переосмислення ролі JBOD в корпоративній інфраструктурі свого часу стала реалізація у типовій ОС Microsoft Windows Server 2012 архітектури масштабованого файлового сервера Microsoft Scale-Out File Server (SOFS) для підтримки кластерів Hyper-V, SQL Server та загального обслуговування файлів серед інших робочих навантажень. Спільні дискові корпуси SAS JBOD підключаються до вузлів сервера зберігання даних за допомогою комутованого SAS. Стандартна мережа 10GbE з'єднує вузли сервера зберігання даних та вузли серверів Hyper-V. Спільна мережа зберігання даних SAS і локальні мережі між серверами сприяють високої доступності даних з резервними шляхами.

 Джерело StarWind

Що просуває Microsoft, те зазвичай стає масовим. Схожі архітектури сховищ на основі JBOD пропонували також інші постачальники,  такі як Nexenta або QuantaStor від OSNEXUS.

SAN та NAS були і залишаються перевіреними та надійними, але їхня гегемонія забезпечення найвищої продуктивності та найстійкішого сховища похитнулася.

Поширені застосування JBOD

• Центри обробки даних, хмарні сховища

«Сировинні» сховища для великих масивів даних (big data, відеоархіви, резервні копії), найчастіше – у поєднанні з SDS (Ceph, Lustre, ZFS, GlusterFS, Microsoft Storage Spaces Direct, VMware vSAN). Охоплення рішень - від холодного архіву до високопродуктивних файлових кластерів. JBOD із HDD — найдешевший варіант зберігати терабайти/петабайти даних у режимі «cold storage».

• Медіа та розваги

Медійна індустрія має справу з великими файлами (відео, аудіо тощо). JBOD забезпечують масштабований та економічно ефективний спосіб керування сховищем для робочих процесів пост-виробництва.

• Периферійні резервуари

Не всі дані рівноцінні, варті консолідації у великих дата-центрах. Відсіювання «цифрового сміття» у проміжних накопичувачах біля генераторів даних розвантажує мережевий трафік та економіть витрати на зберігання «пустої породи».

• Великі дані та штучний інтелект

Дослідження ШІ та Big Data мають справу з петабайтами інформації (зображення, відео, лог-файли, телеметрія, сенсорні дані, результати симуляцій). За допомогою JBOD створюють великі ємності для первинних наборів даних, потім ці дані обробляють у розподілених файлових системах (HDFS, Ceph, Lustre, BeeGFS).

Основна маса світових даних зберігається на ємних механічних жорстких дисках SAS/SATA 7200 об/хв. Під хмарні сервіси, відеовиробництво, відеоспостереження, резервне копіювання, архівування тощо витрачаються величезні обсяги HDD. Оскільки будівельними блоками масштабованих систем є не окремі диски, а їх набори під управлінням ОС або RAID-контролерів, створення зразкових «комунальних осель» для даних саме з боку виробників накопичувачів було природним кроком.

Приклад Western Digital

У жовтні цього року виповнюється десять років з виходу Western Digital на ринок JBOD з платформою Data60. За минулі роки вона еволюціонувала разом з ємністю дисків і запитами часу.

Вже перше покоління JBOD-систем, тоді під назвою HGST Data60, набуло характерних рис: форм-фактор 4U, до 60 жорстких дисків з верхнім завантаженням та гарячою заміною, два змінних модулі введення-виведення, потужні резервовані блоки живлення, повне дублювання критичних компонентів. Були впроваджені інженерні рішення для нейтралізації наведеної вібрації. На дисках 8 ТБ дисків із гелієвим наповненням в одному компактному корпусі вдавалося розмістити до 480 ТБ даних — вражаюча щільність зберігання для свого часу.

Руйнівному впливу наведеної вібрації обертання десятків шпинделів-сусідів протистояла система віброізоляції дисків IsoVibe. Дискові кишені також зменшували вібрацію, завдяки вбудованим пружинам пластикової рами.

У другому поколінні HGST Data60 (2017 рік) покращилось управління живленням і вентиляцією, побільшало портів SAS на модулях введення-виведення. Ємність досягла 720 терабайт (60 дисків по 12 ТБ).

Третє покоління Western Digital Ultrastar Data60 (2020 рік) отримало новий дизайн, повністю перероблений внутрішній простір. Для кращого охолодження дисків застосовано технологію ArcticFlow оптимізації повітряного потоку, корпус JBOD поділено на зони з окремими витяжками. З’явився «старший брат» -  Western Digital Ultrastar Data102, також 4U, але більшої глибини, місткістю 102 диски.

Збільшення ємності та покращення керованості JBOD є помітними якостями. У своїх презентаціях Western Digital постійно звертає увагу на те, що залишається в тіні – технології протистояння двом основним ворогам механічних дисків: вібрації і температурі.

Ерозія магнітної поверхні і рознос пилу з розмноженням дефектних блоків є прямими наслідками цих двох зовнішніх впливів. Ротаційна вібрація виникає при розкручуванні шпинделя HDD або зовнішньому впливі, навіть акустичному. Щільне розміщення накопичувачів в компактному корпусі посилює їх взаємний вплив один на одного. Коли магнітна головка зміщується з треку під дією зовнішніх факторів, мікроконтролер диска позиціонує її заново, через що час читання/запису даних значно зростає, втрачається продуктивність.

Вважається, що ймовірність відмов механічних дисків зростає вдвічі на кожні 15 градусів зростання температури. Архітектура сховищ виявляється важливим фактором впливу на тривалість життя дисків. Це доводить порівняння теплових карт спеціалізованих JBOD та сховищ на основі типових серверних корпусів:

Наразі готується до виходу четверте покоління платформи Western Digital Ultrastar Data60 3000 series, яке отримало до 6 портів SAS 24G на кожен з двох IOM, вміщує до 1.8 ПБ даних, має новий рівень телеметрії, SMART-аналіз, віддалений моніторинг через API/Redfish.

Могутня купка

В світі не так багато виробників, які спрямовано приділяють увагу розвитку JBOD як окремого класу серверного обладнання. Крім Western Digital можна назвати Seagate, AIC, Quanta, InWin, Viking Enterprise Solutions.

Технологічні вдосконалення JBOD йдуть шляхом збільшення ємності, забезпечення продуктивності, керованості , інтеграції з сучасними платформами NVMe-over-Fabrics, через гібридні моделі JBOD/JBOF.

Стратегія охолодження ЦОД для епохи AI