СХД НР 3PAR, или Как не платить дважды

Зависимость бизнеса от данных приводит к экспоненциальному росту их объемов. В свою очередь, это выдвигает на первый план проблему эффективного использования СХД. Традиционные решения плохо адаптируются к новым требованиям к ИТ, появившихся в последнюю декаду. Как результат, компании вынуждены добавлять новые уровни аппаратного и программного обеспечения, повышая сложность ИТ-инфраструктуры и стоимость владения.

СХД HP 3PAR Utility Storage разработана с целью решить или, по меньшей мере, снять остроту возникающих проблем. Это полностью виртуализированная платформа хранения данных, обеспечивающая простоту использования, эффективность и гибкость – качества, которые требуются в современных облачных ЦОД.

Аппаратную основу решения составляет семейство HP 3PAR Storage System. В отличие от большинства модульных и интегрированных массивов хранения в семействе используется кластерный подход, при этом узлы контроллеров (Controller Node), или контроллеры базируются на специализированных ИС (ASIC) (третье поколение в массивах серии F-Class и четвертое – в V-Class). Использование ASIC повышает производительность и надёжность всей системы. Система легко масштабируется, сохраняя, в то же время, отказоустойчивость. Процесс добавления любых компонентов происходит без остановки работы массива.

«Интеллектуальные» возможности системы обеспечивает InForm OS, которая составляет ядро HP 3PAR Software. Она, в частности, предоставляет такие особенности, как «широкое расщепление» данных, что позволяет достичь производительности массового параллелизма, а также гибкости конфигураций для разных уровней сервиса; федерализация массивов хранения, обеспечивающую простую миграцию данных и нагрузок между массивами без воздействия на приложения, пользователей или сервисов и ряд других. Прежде чем переходить к деталям архитектуры, приведем ряд общих особенностей.

3PAR Storage System оборудована высокоскоростной полносвязной пассивной объединительной панелью, которая соединяет множество узлов контроллеров (высокопроизводительных машин перемещения данных) для создания кластера с когерентным кэшем. Такое соединение обеспечивает тесную связь управляющих узлов и упрощает модель ПО.

Внутри этой архитектуры узлы контроллеров объединяются в пары, и посредством каналов Fibre Channel к ним подключаться дисковые полки, которые принадлежат этой паре контроллеров. При выходе из строя одного из контроллеров пары, СХД (при определенных условиях) начинает перестроение расположения данных таким образом, чтобы была возможность доступа к данным при выходе из строя второго контроллера пары. Такая кластеризация контроллеров позволяет хосту «видеть» систему как единую высокодоступную и высокопроизводительную СХД.

С помощью управляющего ПО контроллеров пользователи могут создавать виртуальные тома (Virtual Volume, VV), которые затем экспортируются и становиться видимыми хостам как номера логических устройств (LUN). Далее внутри системы VV могут отображаться на один или более логических дисков (LD), которые реализуют RAID на группе физических дисков системы. Поскольку кластер контроллеров представляется хостам как единая система, серверы могут получить доступ к VV по любому своему порту FC, даже если физический диск с данными подключен к другому контроллеру. Это достигается за счет полносвязной топологии объединительной панели.

3PAR Architecture реализована сегодня в шести моделях разных уровней. Правда, модели S и T уже не доступны в продаже. Новая высокоуровневая 3PAR Р10000 (V800 и V400) имеет удвоенную емкость и пропускную способность в 2,6 раз большую по сравнению с T-Class. Системы среднего уровня F-Class (F400 и F200) по своим характеристикам, надежности и функциональности идентичны моделям V, но менее масштабируемые. Отметим, что первая цифра в моделях соответствует числу контроллеров в кластере.

Архитектура легко масштабируется от 4,8 до 1600 ТВ, что позволяет использовать систему от малых, удаленных до крупных централизованных СХД. Высокая производительность и масштабируемость платформы хорошо подходит для больших или быстро растущих проектов, консолидации критически важных данных, высокопроизводительных приложений, управления жизненным циклом данных и особенно для облачных вычислений.

Система обеспечивает как аппаратную, так и программную отказоустойчивость за счет функционирования на каждом контроллере отдельного экземпляра InForm OS. При таком дизайне отказы установленного и встроенного ПО сведены к минимуму.

Аппаратно реализованная с помощью ASIC технология тонкого выделения ресурсов позволяет изымать выделенное, но не используемое дисковое пространство без потери производительности. При этом функция zero detection – обнаружение блоков данных, заполненных нулями, – позволяет управлять пространством не менее эффективно, чем дедупликация и архивация. ASIC также поддерживает смешанную нагрузку: приложения, осуществляющие транзакции, и приложения, требующие высокой пропускной способности, могут использовать одни и те же ресурсы хранения без конфликтов, уменьшая тем самым наполовину требуемый объем массива. Это особенно эффективно при работе с большим количеством виртуальных серверов.

Полносвязная объединительная панель

В последние десять лет объединительные панели в серверах получили значительное развитие. Напомним, что большинство, если не все архитектуры серверов и дисковых массивов используют для высокоскоростного межпроцессорного обмена, каналов ввода-вывода и доступа к памяти простую объединительную панель с шинной топологией. С распространением серверов с симметричной многопроцессорной обработкой (SMP) индустрия начала делать значительные инвестиции в разработку коммутаторов. Переход от шинной топологии к коммутаторам преследовал цель решить проблему запаздываний при увеличении количества устройств, подключаемых к объединительной панели. Третье поколение полносвязной объединительной панели впервые появилось в конце 90-х в серверах корпоративного класса. Однако 3PAR Utility Storage System представляет первую платформу хранения, где применена объединительная панель третьего поколения (рис. 1).

Рис. 1. Полносвязная объединительная панель

Разработка была использована в 3PAR с целью снизить латентность и удовлетворить требованиям масштабируемости. Конструктивно объединительная панель представляет собой пассивную печатную плату, содержащую разъемы для контроллеров. Каждый разъем соединяется с каждым другим таким же разъемом высокоскоростным каналом (2 Гб/с в каждом направлении), образуя полносвязную топологию соединений всех узлов управления в кластере. В случае отказа объединительной панели обмен управляющей информацией осуществляется по отдельной полносвязной сети на базе последовательного интерфейса RS-232.

Особенности тесно связанной кластерной архитектуры 3PAR

Большинство традиционных архитектур массивов хранения подразделяются на две категории: монолитные и модульные.

При монолитной архитектуре стартовать с начальной, более доступной конфигурации довольно проблематично, потому что каждый активный процессорный элемент не только должен быть продублирован для избыточности, но элементы должны сегментироваться и выделяться для каждой их различных функций, таких как управление хостом, кэшированием и массивами RAID. При такой конструкции, с ее акцентом на оптимизированные внутренние соединения, пользователи извлекают выгоду от модели active-active из центрального общего кэша (например, LUN’ы могут когерентно экспортироваться из многих портов). Однако это влечет более высокую стоимость относительно модульной архитектуры.

В свою очередь, в традиционной модульной архитектуре пользователи могу стартовать с базовой, более доступной конфигурации. Количество процессорных элементов здесь уменьшается до двух, поскольку каждый элемент является многофункциональным: он управляет хостом, кэшем и дисками. Платой за эту экономическую эффективность является стоимость или сложность масштабирования. Так как в большинстве конструкций поддерживаются только два узла, то расширение может быть осуществлено только за счет замены узлов на более мощные или покупки дополнительных модулей. Другим недостатком является то, что двухузловая модульная архитектура, хотя и обеспечивает отказоустойчивость, в типичном случае не предоставляет истинную реализацию active-active, при которой индивидуальные LUN могут одновременно и когерентно обрабатываться обоими контроллерами. Модульный дизайн в типичном случае использует технологии внутренней связи не оптимизированные для кластеризации (например, Fibre Channel или Ethernet) и поэтому не очень хорошо подходят для обеспечения нужной полосы пропускания и значения задержки, которые требуются для истинной обработки active-active.

Архитектура 3PAR соединяет преимущества монолитных и модульных архитектур. Она обеспечивает экономически эффективную масштабируемость посредством реализации когерентного кэша, многоузловости и кластеризации. Эта архитектура начинается с многофункциональности узлов, и, подобно модульному массиву, требует только двух узлов управления для избыточности. Однако в отличие от традиционной модульной архитектуры, между управляющими узлами обеспечивается оптимизированная внутренняя связь для поддержки обработки всеми активными узлами (Mesh-Active controllers). При этом тома не только активны для всех контроллеров, но они автономно выделяются и распределяют нагрузку всех системных ресурсов. При необходимости увеличить количество контроллеров объединительная панель обеспечивает установку дополнительных узлов (вплоть до восьми в случае HP P10000 3PAR V800).

Узел контроллера

Важным элементом архитектуры 3PAR является собственный контроллер. Модульный подход обеспечивает гибкие способы увеличения производительности, емкости и доступности при изменении требований. Система может выдержать отказ целого контроллера без последствий для доступности данных, и каждый узел допускает «горячую замену».

В отличие от традиционных архитектур, в которых обработка команд ввода-вывода и перемещение данных выполняет один и тот же процессор, конструкция контроллера 3PAR отделяет обработку команд управления от перемещения данных. Это решает проблему «бутылочного горлышка» существующих платформ, возникающего из-за конкуренции за ресурсы одного процессорного элемента. К примеру, внутри каждой СХД HP P10000 операции управления обрабатывают до 16 высокопроизводительных процессоров Intel Quad-Core с выделенным кэшем объемом до 256 Гб, а все перемещения данных – специализированная микросхема ASIC четвертого поколения (по две на каждый контроллер) с выделенным кэшем вплоть до 512 Гб.

Для эффективной межкомпонентной связи каждый контроллер оборудуется девятью высокоскоростными разъемами ввода-вывода. Такая конструкция позволяет одновременную нативную поддержку множества протоколов обмена. Вдобавок, встроенные порты Gigabit Ethernet могут быть сконфигурированы для удаленного зеркалирования по IP-сетям. Все внутренние связи используют Fibre Channel.

Узлы управления в моделях V800 и V400 характеризуются встроенной функцией «утончения» (Thin Built In) – аппаратной реструктуризацией тома от «толстого-к-тонкому» выделению ресурсов. Эта встроенная возможность работает с HP 3PAR Software, и позволяет пользователям взять «толсто» распределенные тома на унаследованных устройствах и недеструктивно преобразовать их в «тонко» распределенные тома.

Для сохранения кэшированных при записи данных при отказе питания каждый контроллер содержит локальный физический диск с отдельной копией InForm OS. Каждый узел питается от двух БП и резервируется цепочкой из двух аккумуляторов. Аккумуляторы имеет достаточную емкость, чтобы сохранить все необходимые данные на диске.

Шасси дисководов и диски

Это еще один строительный блок СХД HP 3PAR. Модель V800 может содержать до 48 дисковых шасси и расширяться от 16 до 1920 дисков. Каждое шасси занимает 4U в 19-дюймовой стойке и может вмещать до 40 дисков.

Шасси может содержать один или несколько типов физических дисков SSD, дисков FC или SATA. Для повышения надежности шасси оборудуются N+1 БП, избыточными адаптерами FC-AL, коммутаторами с продвижением пактов без буферизации для коммутации соединений точка-точка. Отказ какого-нибудь диска не влияет на работу остальных.

Каждый физический диск (PD) делится на порции (chunklets) размером 256 Мб в серии F-Class и 1 Гб в серии V-Class. Логические диски отображаются на чанклеты, а не на целый PD. Это позволяет использовать диски разного объема внутри одного RAID, сегментировать LD по большому числу PD (striping).

Встроенное ПО дискового шасси выполняет несколько функций, включая информирование System Manager об условиях среды (температура, статус БП и т. п.) и физическом расположении PD, а также диагностику и корректное отключение неисправных PD.

В контексте архитектуры 3PAR существуют два типа виртуальных томов: базовые тома, включая тома с тонким выделением ресурсов, и тома моментальных снимков (snapshot). Базовый том прямо отображает все видимые пользователем данные. Том моментальных снимков создается с помощью HP 3PAR Virtual Copy Software. Когда моментальный снимок создается первый раз, все его данные косвенно отображаются на родительские данные. Следует отметить, что при увеличении количества снимков, производительность массива не падает. Всего поддерживается до 8 тыс. снимков на массив.

Программное обеспечение HP 3PAR

В заключение вкратце остановимся на программном обеспечении. Оно включает как ПО непосредственно СХД HP 3PAR, так и ПО, работающее на сервере пользователя. Имеется три различных категорий ПО 3PAR.

Прежде всего, это операционная система InForm OS, ядро, которое работает на системе и обеспечивает уникальные особенности виртуализации, управления виртуальными томами и RAID. Далее, дополнительное ПО, поставляемое опционально, которое также работает на системе и предоставляет расширенные возможности. И, наконец, хост-базированные программные продукты, которые позволяют удовлетворить требования специфической среды приложений.

InForm OS

Основу ПО HP 3PAR Utility Storage образует операционная система InForm, которая использует продвинутые возможности технологий виртуализации для увеличения эффективности администрирования, утилизации системы и производительности. ОС предоставляет множество функций и возможностей, включающих, в частности, инструменты управления, быстрое выделение ресурсов, образование автономных групп из хостов и виртуальных томов, RAID с множественным контролем четности, поддержку LDAP.

Остановимся несколько подробнее на наиболее интересной, на наш взгляд, особенности InForm OS – тонкогранулированной виртуализации.

Для обеспечения высокой производительности и максимальной утилизации физических ресурсов в InForm OS используется методология трехуровневого отображения в памяти, подобная архитектурам виртуальной памяти в большинстве современных надежных ОС корпоративного класса (рис. 2).

Первый уровень отображения виртуализирует PD любого объема на пул тонко гранулированных порций (чанклетов) одинакового размера по 1 Гб каждый (256 Мб для моделей Т- и F-Class). Тонкогранулированная природа этих чанклетов устраняет недоиспользованный ресурс СХД, а также улучшает производительность всех приложений, безотносительно к их требованиям к объемам дискового пространства. Хотя легкие приложения могут нуждаться в небольшом количестве чанклетов, эти чанклеты могут распределяться по десяткам или даже сотням дисков.

Второй уровень отображения связывает чанклеты с LD. Эта связь позволяет логическим устройствам создаваться по шаблонам, основанным на характеристиках RAID и локализации чанклетов в системе. LD могут специализироваться, чтобы удовлетворять разным требованиям к стоимости, емкости, производительности и доступности в соответствии с уровнем QoS. Дополнительно, взятые вместе первый и второй уровни служат для массового распараллеливания нагрузки по физическим дискам.

Рис. 2. Тонкогранулированная виртуализация СХД

Третий уровень отображения связывает VV со всеми или частью базовых LD или нескольких LD. Виртуальные тома являются представлением виртуальной емкости, которая, в конечном счете, экспортируется хостам и приложениям в качестве виртуальных LUN по портам FC или iSCSI.

При таком подходе небольшая часть VV, связанная с определенным LD, может быть быстро и без разрушений перенесена на другой LD для увеличения производительности или по другим причинам. Другие архитектуры требуют миграции целого виртуального тома.

При администрировании СХД требуется минимальное планирование. Администратор просто указывает имя виртуального тома, уровень RAID и объем, а InForm OS автоматически выделяет LD в момент, когда приложение требует ресурс.

Из возможностей ПО стоит также обратить внимание на продвинутые возможности консоли управления (Management Console). Это Java-базированное приложение работает на той же клиентской платформе, что и Command Line Interface (CLI). Администратор может использовать консоль управления для мониторинга всех физических и логических компонентов системы (LD, VV, HDD, CPG, портов), просматривать информацию о производительности системы ввода-вывода, пропускную способность, время обслуживания разных компонентов, а также выполнять мониторинг нескольких HP 3PAR Storage System с помощью одного экземпляра приложения Management Console.

Дополнительное ПО

Этот пакет приобретается отдельно от InForm OS и предоставляет расширенные возможности, включающие технологии тонкого распределения ресурсов, безопасное выделение разделов для виртуальных частных массивов, виртуальное и удаленное копирование и ряд других. Рассмотрим здесь функцию тонкого выделения ресурсов.

Она позволяет максимально использовать имеющееся дисковое пространство, обеспечивая безопасную развязку «выделенного» объема от «используемого». Администратор может выделить и экспортировать приложению любой объем логической емкости без необходимости резервировать этот объем на имеющихся PD. То, что приложение «видит» как физическую емкость, отлично от того, что действительно приобретено и используется. В типичных случаях приложение «видит» намного больший объем, чем физическая емкость ресурсов хранения.

Распределенная емкость представляется хостам механизмом тонкого распределения виртуальных томов (Thin Provisioning VV – TPVV). В отличие от обычных VV, которые заранее отображаются на базовые LD и, в конечном счете, на чанклеты, TPVV отображаются на так называемую Common Provisioning Group (CPG), являющаяся, по сути, правилом, согласно которому используется физический ресурс и которое характеризует его формирование на основе дисковых накопителей. Так, CPG RAID 1 FC говорит о том, что для TPVV будут использоваться FC-диски с блоками, объединенными в RAID 1.

Группа определяет общий резервуар хранения, из которого выделяется емкость только для актуальной записи данных. При выполнении записи (на TPVV) CPG создает отображение на базовые LD, и пространство для записи инкрементируется тонко гранулированными порциями по 16 КБ (рис. 3).

Рис. 3. Распределение емкости при тонком выделении ресурсов

Для полноты картины упомянем еще такие возможности дополнительного ПО, как федерализация устройств хранения, виртуальное и удаленно копирование и адаптивную и динамическую оптимизацию, позволяющую без разрушения распределять и перераспределять тома, выделенные приложениям, по ярусам для удовлетворения требований QoS.

ПО, работающее на хостах

Хост-базированное ПО, предоставляемое с HP 3PAR Storage Systems, предназначено для удовлетворения специфических требований сред приложений.

В пакет, в частности, входит GeoCluster Software for Microsoft Windows, обеспечивающее автоматическую передачу функции управления между основным и резервным сайтами географического кластера в Windows-базированном окружении; Recovery Manager Software для VMware vSphere, позволяющее администраторам создавать сотни мгновенных снимком виртуальных машин и инициировать быстрое восстановление в режиме онлайн прямо с консоли VMware vCenter; VMware plug-ins и многое другое.

СХД HP 3PAR не имеет единой точки отказа. Как минимум, имеются два контроллера и две копии InForm OS даже в наименьшей конфигурации. Система предоставляет минимум два независимых FC-порта на один контроллер.

Как отмечает компания НР, благодаря высокой эффективности и гибкости HP 3PAR Utility Storage завоевала признание в сегменте критически важных для бизнеса приложений у корпораций, входящих в список Fortune 1000. В заключение приведем мнения экспертов.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365