Оттенки управляемого хранения

У программно-определяемого хранения два поля движущих сил - hard & soft (аппаратная начинка и сервисы). Две области оптимизации. Многообразие сценариев.

Обновлять инфраструктуру просто, когда тратишь чужие деньги - можно обходиться готовыми рецептами, по мере роста нагрузок менять парк на все самое передовое, инвестировать с запасом. В реальной жизни приходится искать экономически оправданные решения. Последнее слово «разговора с фининспектором о поэзии» обычно за фининспектором.

Программно-определяемое хранение (SDS) освобождает пользователя от навязанных ограничений. Чем эластичнее инфраструктура – тем проще отвечать на  вызовы и повороты бизнес-логики.  SDS берут результативностью связки компонентной базы и исполняемых служб. Напротив, ставка на специализированное оборудование глушит стимулы  анализировать трафик данных, а разбор приложений подменяет конкурсами устройств.

Вместе или раздельно?
Есть два подхода к организации хранения данных: гиперконвергенция (совмещение вычислений и хранения) и дезагрегация (их разделение).

Гиперконвергентная инфраструктура (HCI) – горизонтально масштабируемая совокупность серверов с локальными дисками, объединение в одном пакете вычислительных, сетевых ресурсов, системы хранения и администрирования. 

Наполнение серверов отличается от вендора к вендору, от проекта к проекту, но, в целом, это решение «под ключ»: с равномерно распределенными ресурсами, простым управлением, минимумом самодеятельности и сторонних настройщиков. Комфорт HCI обходится дорого – вклад ПО виртуализации может составлять до половины стоимости проекта. Свобода действий ограничена привязкой к вендору и однородностью масштабирования емкости  хранения/вычислительной мощности. При перекосах трещит бюджет: наращивая хранение, приходится добавлять вычислители, и наоборот.

В отличие от HCI, в разделяемой инфраструктуре за хранение отвечает отдельный слой устройств – что развязывает руки по независимому наращиванию слоев.  Расщепление позволяет дозировать ресурсы совместного использования под нужды приложений, подстраиваться под бизнес-логику и сокращать затраты.

Разделенная виртуализированная инфраструктура трехслойна: вычислители – сеть - хранилища. Минимальное ядро 3-2-1 включает в себя (3) хоста, (2) широкополосных коммутатора при системе хранения, (1) хранилище SAN.

«Монолитные» и «модульные»
Помещая данные во внешнюю систему хранения, мы не абстрагируемся от вычислительного слоя. Выбирают СХД под требования доступности данных, нагрузки приложений, объемы хранения, его тепловую карту (какие данные, какой востребованности, с каким уровнем задержек, на каких носителях держать). 

Вообще говоря, планирование хранения – задача куда более широкая, чем выбор СХД: нужны оценки рисков простоя и целевых показателей RTO/RPO, просчет сценариев резервирования данных и их восстановления после аварии.

Простейший вариант защищенного хранения обеспечивают двухконтроллерные «монолиты» - дисковые массивы проприетарной архитектуры, с конструктивными ограничениями: по внешним интерфейсам, расширению, процессорной мощности. Их спаренные контроллеры работают с общим набором дисков в единой логике управления. Массивы позиционируются по начинке и служебным возможностям. Если массив от рождения – FC, то iSCSI он может стать только после замены контроллеров.

Дисковая корзина - неотъемлемая часть монолитных систем хранения. Расширяются они с помощью совместимых JBOD.  

Контроллеры большинства СХД обращаются к дисковой корзине по интерфейсу SAS. Если так – почему бы не разделить массив-монолит на управляющую часть (синхро-пару контроллеров) и подключаемый по SAS дисковый контейнер (со всеми дублированными системами жизнеобеспечения). Это первый шаг к модульному хранению. Не вмешиваясь в логику управления и тип подключения, получаем свободу выбора дисковых полок – JBOF (на SSD), JBOD (на HDD), не обремененную ограничениями вендора.  

JBOF/JBOD
Cпециализированные дисковые контейнеры JBOF/ JBOD  составляют отдельный класс серверного оборудования. Они скроены так, чтобы обеспечить наиболее комфортные условия накопителям (обдув, гашение вибраций для механических дисков), максимальную пропускную способность путей данных и их дублирование (как и всех вспомогательных систем).

Примером может служить Western Digital 2U24 Flash Storage – базовый элемент SDS, требовательных к производительности. Потенциал такого JBOF  (емкость до 184TB, до 4.7M IOPS, 23GB/s, <1ms latency) позволяет парировать высокие нагрузки корпоративных приложений. Western Digital Ultrastar Data60 на 60 HDD и Ultrastar Data102 на 102 HDD – типичные представители класса JBOD, емкие (до 1.2 PB), с высокой плотностью размещения данных. Их можно частично заполнять HDD, частично SSD.

Аппаратные степени свободы SDS
Свобода самоопределения наступает, когда в роли контроллеров выступают серверы под управлением специализированной ОС хранения. Тогда вычислительная мощность, сетевой интерфейс узлов хранения, емкость и наборы дисков  подбираются под нагрузки ввода-вывода, а ОС отвечает за поддержку различных протоколов сетевого подключения, логическое управление томами данных и все сопутствующие службы. Пример Open-E JovianDSS показывает диапазон возможностей модульных SDS.

Кроме дублирования управляющих нод (полноценная альтернатива аппаратным СХД Active-Active), Open-E JovianDSS может резервировать данные на отдельном логическом томе, соседнем или удаленном сервере, обеспечивает синхронную запись в дублирующий JBOD. Можно поднять метро-кластер (растянутый кластер) на серверах разных площадок.

FC / iSCSi / SMB / NFS – хоть все одновременно
Клиенты сети хранения данных обращаются к системам хранения по блочным (FC, iSCSI) или файловым (SMB/CIFS, NFS) протоколам – в зависимости от возможностей СХД, целей и требований к производительности. Определяющим фактором для выбора СХД является тип трафика данных, настройка и управление сетью.

Не так важно, какой будет физическая реализация, FC или Ethernet, как поддержка необходимой функциональности:

• Идентификации хостов и СХД;
• Маршрутизации трафика;
• Разделения на подсети с изоляцией в них трафика;
• Использования нескольких путей к СХД;
• Управления подключением устройств к сети;
• Приоретизации трафика.

Некорректно сравнивать пропускную способность сетей (например, 16Gb FC vs 40Gb Ethernet) в отрыве от нагрузок (требований приложений) – для которых полоса пропускания может быть не так важна, как задержки, вносимые протоколами.

Можно держать в сети два класса защищенных систем хранения (NAS и SAN), но это  накладно и не всегда удобно. 

Многие операционные системы SDS (как Open-E JovianDSS или Raidix) поддерживают разнообразные протоколы и позволяют обойтись минимумом хранилищ.  При сходном функционале, протоколы различаются удобством использования и сложностью внедрения.

Полная картина протоколов хранения данных выглядит так

(Изображение можно увеличить кликом)

Их можно разделить на две группы:

1. для подключения серверов приложений к СХД (FC, iSCSI, NFS, SMB)
2. для интерконнекта внутри СХД (Infiniband, NVMeOF) – если поддерживаются ОС.

Постоянное развитие SAN-протоколов дает преимущество SDS перед аппаратными СХД: переход на широкие подключения (40/100GbE)  или утилизация преимуществ файловых протоколов (как SMB-Direct и NFS поверх RDMA) возможны после не слишком дорогой модернизации существующих систем. С аппаратными СХД так не получится.

Сервисы и затраты
За всеми службами хранения стоят затрачиваемые на них вычислительные ресурсы. SDS позволяют их дозировать, Или привлекать по мере необходимости. Рассмотрим на примере Open-E JovianDSS.

Сервисные возможности этой ОС делятся на три группы:

• Data Storage (кластеризация, многослойное хранение RAM/SSD/HDD, сжатие данных, дедупликация, динамическое выделение пространства);
• Backup & Disaster Recovery (защита данных на площадке и удаленном хосте, снэпшоты, асинхронная репликация)
• Business Continuity (различные кластерные топологии, исключение единых точек отказа)

В кластерах дублируются  управляющие серверы-контроллеры, дедупликация нагружает CPU/RAM, для резервирования данных и восстановления после аварий/вирусных атак нужны сторонние устройства итд. Есть риски – есть страховка от них – есть цена страховки. В отличие от аппаратных СХД, пользователь сам выбирает нужный ему набор сервисов и приемлемые сценарии. Платишь за то, что используешь (привлекая дополнительное оборудование и активируя программные опции).

Резервирование и восстановление  данных
Защищенное хранение подразумевает  резервирование данных. В Open-E JovianDSS встроены средства бэкапа, создания мгновенных снимков (снэпшотов) и их асинхронной репликации – что позволяет не тратиться на стороннее ПО.

Копируются базы данных и запущенные виртуальные машины с их приложениями и данными. Окно бэкапа сведено до минут (реплицируются только изменения). Мгновенные снимки позволяют быстро откатываться к моменту потери данных (например, вследствие вирусной атаки). Переход к «предшествующему состоянию» немедленно восстанавливает работоспособность системы.

Долгая жизнь данных и устройств
Появление новых технологий и смена установок бизнеса быстро обесценивает любые вложения в оборудование.  Еще и потому привлекательна программная  определяемость, что позволяет продлить срок эксплуатации систем, без радикальной перестройки и простоев. Информационный фундамент становится только прочнее и служит дольше, когда у пользователя есть свобода действий и доступные  инструменты.

Про DCIM у забезпеченні успішної роботи ІТ-директора