`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Хранение объемных данных, производительное и надежное

+33
голоса

Рост объемов операционных данных облачных, научных, медиа-приложений питает интерес к программно-определяемым системам хранения (SDS) – в противовес аппаратным.

Традиционные наборы метрик/критериев Gartner для систем хранения включают в себя оценки всего, относящегося к данным:  управляемости, надежности и доступности, производительности, механизмов создания копий, масштабируемости, экосистемы бренда, безопасности, эффективности. Весовые коэффициенты по каждому набору характеристик дают вендору и его продуктам место в мировой табели о рангах.

При выборочном взвешивании целевых параметров расцветают программно-определяемые альтернативы аппаратным СХД. Козыри SDS: соответствие определенным классам приложений, функциональность, эластичность, привлекательная цена. Особенно успешно «программные» теснят «аппаратных» там, где есть активный оборот больших объемов данных: в облачном хранении, видеопроизводстве, раздаче контента, видеонаблюдении с аналитикой. Внушительные объемы хранения, высокие запросы к производительности и естественное желание сэкономить порождают бережливые решения, работающие на типовых серверах. 

Мотивы в пользу SDS, когда данных много

Программно-определяемое хранение основано на привлечении вычислительных ресурсов к обслуживанию ввода-вывода. В серверах-контроллерах систем хранения используются стандартные процессоры, оперативная память, диски, сетевое оборудование. Компоненты решения подбираются под профиль хранения, как и протоколы сетевого обмена. Программное обеспечение SDS быстро совершенствуется и обновляется, без привязки к аппаратной начинке, функциональность расширяется, сервисное сопровождение дешевле, а простой из-за выхода из строя компонентов - меньше. В специфических системах хранения закрытой архитектуры такой свободы нет. На емких хранилищах различия подходов особенно заметны.

Управление данными давно стало частью операционных и файловых систем, освобождаясь от привязки к определенному оборудованию, например, аппаратным RAID. Что логично, большими объемами данных сегодня распоряжаются компании, придающие значение продуктивности и эластичности бизнеса, а не «традициям хранения».

Разнообразие SDS

Пользователь выбирает SDS, исходя из своей технической квалификации. Популярен самострой на открытом ПО. Коммерческое ПО, распространяемое в виде дистрибутивов,  обычно содержит рекомендации по совместимости с аппаратными компонентами. Такие системы нередко уходят корнями в открытое ПО, когда вендор зарабатывает на отлаженных средствах управления и поддержке, а интегратор – на оптимизации решения и внедрении. Класс систем Virtual storage appliance позволяет объединить в пулы хранения локальные  устройства хранения, отвечающие рекомендациям вендора ПО. Наконец, можно купить у вендора Appliance - готовое устройство (что по сути мало чем отличается от покупки аппаратной системы хранения).

ZFS как основа масштабируемых систем хранения

В объемном хранении получили признание производные от ZFS – файловой системы со встроенными функциями управления хранением. Созданная когда-то в Sun Microsystems для ОС Solaris, она сегодня является проектом с открытым исходным кодом. ZFS берет масштабируемостью, простым управлением томами хранения данных, полным контролем над физическими и логическими носителями, состоятельностью данных. Надежность хранения повышают мгновенные снимки, репликация, эффективные стратегии программных RAID. Производительность обеспечивает связка оперативной памяти, быстрых носителей на флэш-памяти и емких HDD.

ZFS-продукты есть на любой вкус. Разработчики открытого ПО собрались под зонтиком OpenZFS. Есть коммерческие дистрибутивы, внедряемые на вертикальных рынках отраслевыми интеграторами. Есть готовые решения топового уровня - как Oracle ZFS Storage Appliance.

Open-E JovianDSS

Проще всего описать функциональные возможности «SDS под большие данные» на конкретном примере. Вот что может Open-E JovianDSS - специализированное ПО хранения на ZFS / Linux:

  • Обслуживать сотни дисковых шпинделей и петабайты данных
  • Поддерживать протоколы подключения SMB/CIFS, включая полную совместимость с Windows-окружением: Access Control Lists (ACL), аутентификации ADS (Active Directory Service)
  • Строить на типовых серверах High Availability Load-balanced Cluster for SMB, NFS and iSCSI
  • Выполнять асинхронную репликацию на смежные сетевые устройства и неограниченное количество мгновенных снимков (snapshots)
  • Гарантировать целостность данных и устойчивость к отказам дисков в различных стратегиях RAID
  • Сжимать и дедуплицировать данные
  • Обслуживать смешанные дисковые пулы SSD/HDD и all-flash пулы в связке с RAM - обеспечивая высочайший уровень производительности
  • Автоматически формировать сервисные отчеты, встраиваемые в управление SNMP
  • Динамически выделять емкость хранения (thin provisioning)

Типичная отказоустойчивая система хранения под управлением Open-E JovianDSS – это фейловер-кластер из двух серверов и JBOD с дисками. Серверы кластера включаются в сетевую инфраструктуру Ethernet (1-10-40-100Gb).  К дискам JBOD серверы кластера обращаются по 12Gb SAS. Можно подключать дисковые полки расширения: горизонтально, пока хватит портов SAS HBA в серверах (Scale-out) и вертикально, каскадированием (Scale-up). Пошаговые действия по запуску кластера подробно описаны разработчиком.

Хранение объемных данных, производительное и надежное

HGST 4U60G2 – пример уместных JBOD: емких (240-720TB), отказоустойчивых (дублированы модули ввода-вывода IOM, блоки питания и вентиляции, экспандеры, пути к дискам, а сами диски – NL SAS, c двухпортовым подключением), гибких по подключению и расширяемости (на каждом IOM по четыре порта 12Gb SAS). Вместо части HDD можно поставить SSD.

Хранение объемных данных, производительное и надежное

Производительность

Показатели СХД привязаны к целевым приложениям и шаблону запросов ввода-вывода: типу обращений, размеру блока данных, длине очереди запросов. Качество сервиса характеризуют не абстрактные IOPS и полоса пропускания в MB/s, а уровни задержек (при требуемом уровне IOPS) и потоковая скорость обменов с клиентами сети в выбранных приложениях.
 
ZFS любит RAM и SSD. Она вносит свой вклад в производительность, используя несколько уровней кэширования: чтения из ARC (Adaptive Replacement Cache) в оперативной памяти сервера, чтения из L2 ARC на SSD,  синхронной записи в Log (Separate ZFS Intent Log, SLOG) на SSD. Принципы построения ZFS-систем подробно описаны, пользователь управляет производительностью в широких пределах:

Хранение объемных данных, производительное и надежное

Надо сказать, потенциал производительности HGST 4U60G2 (Main Pool в терминологии ZFS) велик сам по себе, на одних только HDD, без флэш-памяти и кэширования:

Хранение объемных данных, производительное и надежное

Потенциал превращается в высокие показатели на практике в том случае, когда клиентские приложения и сетевая инфраструктура не лимитируют дисковое хранилище. Не все зависит от самой СХД.
 
Отказоустойчивость

«Аппаратчики» иногда называют JBOD «ненадежным решением для хранения». JBOD – вообще не система хранения. Это дисковый контейнер, в котором дискам комфортно по температуре и вибрациям. Точно такой же есть в любой монолитной аппаратной СХД. Серверы программно-определяемой СХД обращаются к дискам по SAS – в точности как контроллеры аппаратной СХД. За тем отличием, что свобода действий в SDS намного шире.

Серверы кластера в составе СХД дублируют друг друга – как  это делают контроллеры аппаратной СХД. Мультипортовые SAS HBA в серверах страхуют от потери каналов SAS и/или расширяют полосу доступа к дискам (multipath). По отказоустойчивой схеме к серверам кластера с 4 портами SAS можно подключить до 4 JBOD – таких как HGST 4U60G2:

Хранение объемных данных, производительное и надежное

Защита данных средствами ZFS подробно описана еще в пору ее первой молодости, семь-восемь лет назад. С тех пор емкость дисков еще подросла, время реконструкции массивов на них – тоже, и уже не кажется экзотикой устойчивость raidz3 к одновременной потере трех дисков массива. 

Описанный подход к хранению сотен терабайт с высокой доступностью данных экономит средства и дает в руки грамотному администратору наборы инструментов: для достижения производительности, для масштабирования, для минимизации RTO/RPO (времени простоя и потерь транзакций). От безграмотности не спасет никакая аппаратная СХД.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+33
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT