Анатомия JBOD

20 апрель, 2016 - 12:00Андрій Тищенко

Для экономичной инфраструктуры хранения достаточно недорогого типового оборудования, массивов JBOD и уместной программно-определяемой модели.

Компании c растущими объемами хранения хотят удобства обращения с данными и снижения общей стоимости владения инфраструктурой хранения. Неважно, кто генерирует данные: медийные приложения, системы видеонаблюдения или законодательные нормы регуляторов, обязующие сберегать цифровые архивы на протяжении длительного времени, информация должна быть доступна, а ее сопровождение посильно.

У облачных провайдеров масштабируемых услуг (Amazon Web Services, Windows Azure, Dropbox) не найти промышленных систем хранения данных SAN и NAS «от лидеров индустрии». Нет их у поставщиков видео по запросу (Netflix). Примеру еретиков следует множество отраслей и компаний самого разного уровня. Программно-определяемое хранение (SDS) — вот что позволяет относительно недорого масштабировать инфраструктуру стандартными строительными блоками: типовыми серверами и массивами JBOD.

Благодаря демократичности сетей и протоколов (Ethernet 10/40 Гбит, RDMA, SMB 3.0), хранение больших объемов данных становится эффективным и необременительным. Приложения на самых обычных физических или виртуализированных серверах обращаются к типовым же файловым серверам («головам») в сети Ethernet. К тем подключены JBOD — массивы с дисками. Логическое объединение дисков и сопутствующие сервисы обеспечивает ПО управления хранением, в нужном качестве и без привязки к проприетарным (закрытым) системам. Вот пример SDS-инфраструктуры под управлением Windows Server 2012R2.

Анатомия JBOD

В роли фундамента, широкой подошвы программно-определяемого хранения, сегодня выступают JBOD. Раньше этим термином называли режим обращения контроллера дискового массива к дискам, каждый из которых видится операционной системой как отдельное устройство (just a bunch of disks). Пока в системах хранения преобладали аппаратные RAID-контроллеры, независимые диски мало кого интересовали. Теперь доминируют ОС, самостоятельно управляющие томами данных. Все, что им нужно — это «сырые» диски в обустроенных контейнерах плотной компоновки. Пришло время JBOD как устройств (enclosures). Подключенные по интерфейсу SAS к хост-серверам, JBOD хранят данные, но не управляют ими. Их антиподы, автономные дисковые массивы RAID, продолжают линию SAN/NAS систем, привязывающих пользователей к специфическому оборудованию.

Выгоды JBOD

Надо ли разделять файловый сервер на управляющую «голову» и JBOD, если можно сделать «все-в-одном»? Существуют же универсальные серверные корпуса с большим числом дисковых отсеков.

«Во-первых, это красиво».

Анатомия JBOD

Преимущества выделенным JBOD дает потенциал SAS, который был простым транспортом, а стал развитым сетевым протоколом. SAS — среда коммутации, построенная на самоконфигирируемых расширителях портов (SAS-экспандерах), с дублированным доступом к накопителям, зонированием дисковых групп и обеспечением целостности данных по модели защиты информации T10. Сеть SAS связывает инициаторы (хост-серверы) с хранилищами JBOD (на SAS-экспандерах) напрямую, или через SAS-коммутаторы (те же экспандеры, только во внешнем исполнении). Расщеплением на средства управления и зоны хранения можно построить эластичную многоуровневую инфраструктуру на SAS, с разделением данных по требованиям к объему хранения и скорости обработки.

  • Конструктив. Спроектированные как дисковые контейнеры, JBOD дают высокую плотность хранения, занимают мало места, хорошо гасят вибрации и отводят тепло.

  • Удобство обслуживания. При автономном размещении дисков отказы случаются реже и обслуживаются проще. Когда средства управления и хранения разделены, можно проводить независимые сервисные работы по ним, сохраняя операционную непрерывность.

  • Масштабируемость. Емкость дискового пространства при хосте наращивается каскадированием JBOD (scale-up). Горизонтальное масштабирование (scale-out) реализуется в выбранной программной модели хранения.

  • Доступность. Системы жизнеобеспечения современных JBOD дублированы. Ошибки дисков обрабатывает ПО хостов. Как именно реализована доступность данных: фейловер-кластером, репликацией на соседние устройства или переподключением к другим хостам — забота архитектора SDS.

  • Управляемость. Все диски всех JBOD, подключенных к хостам по интерфейсу SAS, доступны всем хостам и управляются ими. Зонированием на уровне SAS-коммутаторов (а если его поддерживает JBOD — то на нем самом) назначаются права доступа к наборам дисков.

Вскрытие покажет

Заглянем внутрь типичного представителя JBOD — массива HGST 4U60. Зачем HGST, именитому производителю HDD, смежный бизнес дисковых хранилищ открытой архитектуры? Ответ очевиден: единицей объемного хранения становятся не отдельные диски, а их объединения, которыми распоряжаются ОС по своему усмотрению. Кому как не HGST, технологическому лидеру в механических дисках большой емкости и SAS SSD, заниматься организацией хранения?

Анатомия JBOD

HGST JBOD сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Резервированы все критичные компоненты: модули ввода-вывода с экспандерами SAS, блоки питания и вентиляции. Дисковые карманы рассчитаны на установку накопителей LFF (емкие HDD) и SFF (производительные SSD). На блок-схеме узлов JBOD видно, что в нем, по сути, реализованы две независимые подсистемы обслуживания дисков. Двойное подключение накопителей SAS/NL SAS гарантирует доступность данных при отказе любого из модулей ввода-вывода.

Анатомия JBOD

В HGST 4U60 наведенная вибрация от нескольких десятков моторов гасится специальным демпфирующим каркасом и дисковыми карманами-вставками. Разумеется, в самих дисках есть датчики ускорений с компенсирующей обратной связью.

Анатомия JBOD

Охлаждаются диски вертикальной загрузки подтягиванием холодного воздуха снизу-вверх, с отводом тепла наружу вытяжными вентиляторами блоков питания. Для равномерного обдува важно заполнение всего дискового ряда, без пустот. Тут таких рядов 5, по 12 HDD в каждом. Не случайно HGST продает свои JBOD вместе с дисками, мотивируя покупателя крайне привлекательной ценой, «массив с дисками по цене дисков». Можно заказывать облегченные старт-киты — JBOD с предустановленными 24 дисками из 60, но и в этом случае производитель призывает докупать HDD дюжинами (рядами). JBOD поставляются с дисками 4-6-8-10TB. Две старшие емкости — с гелиевым наполнением, их энергопотребление почти на четверть меньше «атмосферников».

Устройству с несколькими десятками дисков нужны средства диагностики. В HGST 4U60 мониторинг рабочих параметров возможен из командной строки (CLI). Подключившись к консольному порту (RJ45 — RS-232) на задней панели, через CLI вычитывают информацию о состоянии дисков, скорости вентиляторов, статусе портов экспандеров, температуре датчиков. Для подробного анализа ситуации можно просмотреть операционный лог событий. Есть и другой доступ к CLI — c хост-сервера по SAS-интерфейсу, c расширенными возможностями, включая обновление прошивок самого JBOD.

Как и положено современным JBOD, поддерживаются сервисные подмножества протокола SAS: зонирование T10 и SCSI Enclosure Service (SES). В HGST 4U60 реализована наиболее полная редакция SES-3. По этому протоколу инициаторы (серверы) могут вычитывать из хранилищ информацию о питании, вентиляции, охлаждении, индикации. Все передается по шине данных SAS, дополнительных кабелей не требуется. Поддержка SES обеспечивает контроль и согласование параметров сложных систем хранения. Например, без нее невозможно реализовать повышенный уровень доступности данных в Windows Storage Spaces, так называемый Enclosure Awareness — когда в системе с тремя JBOD отказ одного из хранилищ целиком не приводит к потере доступности, данные поднимаются с оставшихся.

Да кому нужны эти ваши JBOD?!

Рынок JBOD пока не так велик. Помимо HGST, на него работают считаные поставщики, часть из которых не продает продукты в открытый канал (Celestica, DataOn, Newisys, Quanta). Должно пройти время, пока пользователи отвыкнут мыслить категориями промышленных СХД от лидеров индустрии хранения (EMC, IBM, NetApp, HP, Dell). Известность изделий и развитая сервисная поддержка — давно не довод в объемном хранении. Авторам, давно пропагандирующим программно-определяемое хранение (Коммутируемый SAS, Подкоп Microsoft под рынок систем хранения данных, «Мягкое» и «твердое» в хранении данных) доставляет удовольствие панк-прогноз1 эксперта издания ZDnet Джейсона Перлоу (Jason Perlow), вынесенный в заголовок статьи Анархия в хранении данных: будущее без SAN.

Анатомия JBOD

1 Anarchy in the U.K. («Анархия в Соединенном Королевстве»), 1976 — первый сингл британской панк-группы Sex Pistols.

Never Mind the Bollocks, Here’s the Sex Pistols («Забейте на все, вот вам Sex Pistols»), 1977 — их единственный студийный альбом. Считается классикой рок-музыки.