Новые уровни RAID: цифры, буквы и то, что за ними

2 июль, 2007 - 14:20Андрій Тищенко

Легко и приятно рассуждать о значении информации в системе ценностей постиндустриального общества. И только когда дело доходит до практической реализации «круговорота данных» вполне конкретной ИС предприятия, наступает трагическое понимание: потеря данных для бизнеса – что Аннушкино масло для Берлиоза. Казалось бы, какой спрос с бабы, а ведь, поди ж ты, голова отрезана.

Регулярное копирование критически важной информации может обезопасить активы, но для живого бизнеса этого недостаточно, залог его успеха – в непрерывности. Из такой двуединой идеи (безопасной защиты данных на работающих дисковых накопителях при сохранении доступа к ним) выросли RAID-массивы, а разнообразие пользовательских сценариев породило множество уровней RAID, список модификаций которых продолжает пополняться. Перед тем как перейти к описанию «новых поступлений», вспомним о причинах подобного разнообразия.

Вне зависимости от назначения RAID пользователь находится в трехмерном пространстве принятия решения, где по осям отложены требования к производительности, защищенности (доступности) данных и цена решения. Даже при адекватной оценке сообразности целям возможны варианты, что уж говорить о логике выбора подходящей реализации RAID при заблуждениях насчет весомости перечисленных факторов. И приведенная в статье таблица в самых общих чертах описывает его мотивы и критерии.

Реализации RAID

В литературе предлагается более десятка уровней RAID, на практике хорошо, если встречается половина из них, а пользуются чаще всего тремя: RAID 1 (с зеркалированием данных), отчасти RAID 10 (с распределением зеркалированных данных) и, разумеется, RAID 5 (с распределением данных и контрольных сумм, КС). Популярность RAID 5 можно считать торжеством компромисса над осторожностью – ни один из других типов не дает такой высокой степени утилизации доступного дискового пространства.

Прямая экономия на дисках при покупке оборудования всегда перевешивала страхи перед возможной потерей данных. Но то ли развитие смежных технологий и продуктов (таких как HDD высокой емкости и конструктивные элементы дисковых массивов), то ли естественное удорожание накапливаемой информации сыграло свою роль, только в последние годы получили хождение новые, «продвинутые» уровни RAID. Общая идея их появления на свет – сохранение возможно более высокой доступности данных и производительности деградированного массива, т. е. находящегося в процессе восстановления после отказа одного из дисков (так называемый rebuild).

В отличие от уровней RAID «первого призыва», описывающих алгоритмы обработки одиночных ошибок, здесь основное внимание уделяется снижению рисков потери данных от повторных сбоев и сокращению времени восстановления. Речь пойдет о RAID 1E, RAID 5E, RAID 5EE, RAID 6. Буква E (Enhanced) здесь трактуется как расширение соответствующих уровней RAID для повышения «боеспособности» дискового массива и продления срока его службы.

Сравнительные характеристики типов RAID

Типы RAID	Программный	Аппаратный	Внешний
Описание	Обычно используется в приложениях с большим размером блока данных – таких как закачка хранилищ данных или просмотр видео в реальном времени. А также в серверах с достаточными ресурсами центрального процессора для обслуживания интенсивных операций ввода/вывода в некоторых уровнях RAID. Включен в ОС (Windows, Netware, Linux). Все функции RAID реализованы центральным процессором, что существенно ограничивает его способность к выполнению остальных вычислений	Чаще всего применяется в приложениях с малым размером блока – как в транзакционных базах данных, так и Web-серверах. Центральный процессор разгружен от выполнения ресурсоемких операций. Кэширование с обратной записью (при наличии аккумуляторной защиты содержимого кэш-памяти) значительно повышает производительность, без риска потери данных	Подключается к серверу через стандартный контроллер. Функции RAID выполняет микропроцессор внешнего, независимого от хоста RAID-контроллера
Преимущества	Низкая цена; достаточно стандартного (например, встроенного) контроллера	Защита данных и производительность; высокое быстродействие и устойчивость к ошибкам по сравнению с программным RAID	ОС-независимость; позволяет строить высокоемкие системы хранения, сопряженные с серверами

RAID 1E

Рис. 1. RAID 1E работает так: три физических диска объединяются в массив, после чего создается логический том. Данные распределяются по дискам, образуя блоки. Порция данных (strip), помеченная ** – это копия предшествующей ей порции *. При этом каждый блок зеркальной копии записывается со сдвигом на один диск

Наиболее простое в реализации из отказоустойчивых решений – это RAID 1 (mirroring), зеркальное отображение двух дисков. Высокая доступность данных гарантирована наличием двух полных копий. Такая избыточность структуры массива сказывается на его стоимости – ведь полезная емкость вдвое меньше используемой. Поскольку RAID 1 строится на двух HDD – этого явно мало современным, прожорливым до дискового пространства приложениям. В силу таких требований область применения RAID 1 обычно ограничивается служебными томами (OS, SWAP, LOG), для размещения пользовательских данных ими пользуются разве что в малобюджетных решениях.

RAID 1E – это комбинация распределения информации по дискам (striping) от RAID 0 и зеркалирования – от RAID 1. Одновременно с записью области данных на один накопитель создается их копия на следующем диске массива. Отличие от RAID 1 в том, что количество HDD может быть нечетным (минимум 3). Как и в случае с RAID 1, полезная емкость составляет 50% суммарной емкости дисков массива. Правда, если количество дисков четное, предпочтительней использовать RAID 10, который при той же утилизации емкости состоит из двух (или больше) «зеркал». При физическом отказе одного из дисков RAID 1E контроллер переключает запросы чтения и записи на оставшиеся диски массива.

Преимущества:

• высокая защищенность данных;
• неплохая производительность.

Недостатки:

• как и в RAID 1, используется лишь 50% емкости дисков массива.

RAID 5E

Рис. 2. RAID 5E работает так. Из четырех физических дисков собирается массив, в нем создается логический диск (1). Распределенный резервный диск (2) – это свободное пространство. Данные распределяются по накопителям, создавая блоки на логическом диске. Контрольные суммы (*) также распределяются по дискам массива и записываются со сдвигом от диска к диску, как и в RAID 5. Резервный HDD остается пустым

«Классический» RAID 5 много лет считается стандартом отказоустойчивости дисковых подсистем. В нем применяется распределение данных (striping) по HDD массива, для каждой из порций (stripe), определенной в нем, вычисляются и записываются контрольные суммы (четность, parity). Соответственно, скорость записи снижается из-за постоянного пересчета КС с поступлением новых данных. Для увеличения производительности записи КС распределяются по всем накопителям массива, чередуясь с данными. Под хранение КС расходуется емкость одного носителя, поэтому RAID 5 утилизирует на один диск меньше их общего количества в массиве. RAID 5 требует минимум трех (и максимум 16) НЖМД, его КПД использования дискового пространства находится в диапазоне 67–94% в зависимости от числа дисков. Очевидно, что это больше, чем у RAID 1, утилизирующего 50% доступной емкости.

Малые накладные расходы для реализации избыточности RAID 5 оборачиваются достаточно сложной реализацией и длительным процессом восстановления данных. Подсчет контрольных сумм и адресов возлагается на аппаратный RAID-контроллер с высокими требованиями к его процессору, логике и кэш-памяти. Производительность массива RAID 5 в его деградированном состоянии крайне низка, а время восстановления измеряется часами. В итоге проблема неполноценности массива усугубляется рисками повторного отказа одного из дисков до того момента, когда RAID будет восстановлен. Это приводит к разрушению тома данных.

Распространен подход c включением в RAID 5 выделенного диска горячего резерва (hot-spare) – для снижения времени простоя до физической замены сбойного диска. После отказа одного из накопителей исходного массива контроллер включает резервный диск в массив и начинает процесс перестройки RAID. Важно уточнить, что до этого первого отказа резервный накопитель работает на холостом ходу, годами может не участвовать в функционировании массива и не проверяться на ошибки поверхности. Равно как и тот, который позже принесут по гарантийной замене вместо сбойного, вставят в дисковую корзину и назначат резервным. Большим сюрпризом может стать его неработоспособность, причем выяснится это в самый неподходящий момент.

RAID 5E – это RAID 5 с включенным в массив резервным диском (hot-spare) постоянного использования, емкость которого добавляется поровну к каждому элементу массива. Для RAID 5E требуется минимум четыре HDD. Как и у RAID 5, данные и контрольные суммы распределяются по дискам массива. Утилизация полезной емкости у RAID 5E несколько ниже, зато производительность выше, чем у RAID 5 c hot-spare.

Емкость логического тома RAID 5E меньше общей емкости на объем двух носителей (емкость одного уходит под контрольные суммы, второго – под hot-spare). Зато чтение и запись на четыре физических устройства RAID 5E быстрее операций с тремя физическими накопителями RAID 5 с классическим hot-spare (в то время как четвертый, hot-spare, участия в работе не принимает). Резервный диск в RAID 5E – полноправный постоянный член массива. Его невозможно назначить резервным двум разным массивам («слугой двух господ» – как это допускается в RAID 5).

При отказе одного из физических дисков данные со сбойного накопителя восстанавливаются. Массив подвергается сжатию, и распределенный резервный диск становится частью массива. Логический диск остается уровня RAID 5E. После замены сбойного диска на новый данные логического диска разворачиваются в исходное состояние схемы распределения по HDD. При использовании логического диска RAID 5E в отказоустойчивых кластерных схемах он не будет выполнять свои функции во время компрессии-декомпрессии данных.

Преимущества:

• высокая защищенность данных;
• утилизация полезной емкости выше, чем у RAID 1 или RAID 1E;
• производительность выше, чем у RAID 5.

Недостатки:

• производительность ниже, чем у RAID 1E;
• не может делить резервный диск с другими массивами.

RAID 5EE

Рис. 3. Для создания RAID 5EE четыре физических диска объединяются в массив и создается логический накопитель. Данные распределяются по дискам, создавая блоки логического HDD. Контрольные суммы (*) также распределяются по накопителям, со сдвигом, как и в RAID 5E. Резервные области (S – от spare) чередуются с блоками четности и также сдвигаются от диска к диску

RAID 5EE подобно RAID 5E встраивает резервный диск в традиционный RAID 5, но при этом более эффективно распределяет ресурсы запасного накопителя. Время восстановления массива у него меньше. Данный уровень, как и RAID 5E, распределяет данные и контрольные суммы по всем дискам массива. Эффективная емкость массива и здесь меньше общей на объем двух физических дисков (один из них отводится под контрольные суммы, еще один – резервный).

В отличие от RAID 5E, где резервируется непрерывное свободное пространство, области запасного диска RAID 5EE чередуются с блоками четности, как показано ниже. Это позволяет быстрее реконструировать данные после сбоя физического диска массива. Как и в RAID 5E, невозможно делить резервный диск с другими массивами. Для RAID 5EE требуется как минимум четыре диска.

При сбое физического диска в составе массива данные сбойного диска реконструируются. Массив подвергается уплотнению, и распределенный резервный диск становится его частью. Логический диск остается уровня RAID 5EE. После замены сбойного HDD данные логического диска распространяются на области исходной схемы.

Преимущества:

• высокая защищенность;
• утилизация полезной емкости выше, чем у RAID 1 или RAID 1E;
• восстановление данных быстрее, чем у RAID 5E с hot-spare.

Недостатки:

• производительность ниже, чем у RAID 1E;
• не может делить резервный диск с другими массивами.

RAID 6

Рис. 4. Рассмотрим построение массива RAID 6 из шести физических дисков. Создается логический диск из четырех физических накопителей, еще два отведены под горячее резервирование. Данные распределяются по HDD, создавая блоки на логическом накопителе. Два набора контрольных сумм (*) и (**) разносятся по накопителям и записываются со сдвигом, как и в RAID 5. При отказе физического диска логический деградирует, но остается устойчивым к ошибкам

RAID 6 также похож на RAID 5 по своей природе, но при этом использует два независимых набора контрольных сумм вместо одного, что повышает отказоустойчивость массива. Две схемы подсчета четности записывают результаты на разные диски, чередуя их с блоками данных. Данные массива RAID 6 могут быть восстановлены после двух одновременных отказов любых накопителей, что выделяет RAID 6 среди остальных уровней RAID.

То, что массив RAID 6 в состоянии пережить два отказа дисков за короткий промежуток времени, заметно расширило область применения накопителей SATA в бизнес-приложениях – таких как работа с потоковыми данными при монтаже видео или архивировании. Высокоемкие и недорогие, хотя и менее надежные, диски SATA получили с реализацией RAID 6 шанс войти в ранее недоступный им класс задач, критичных к надежности хранения. Действительно, во время восстановления деградированного массива RAID 5 он остается максимально уязвим к повторным сбоям. Какие бы надежные диски FiberChannel, SCSI или SAS ни использовались, у массива RAID 5 есть право только на одну ошибку. Для RAID 6 подобных временных окон уязвимости не существует, а значит, требования к надежности накопителей могут быть снижены.

При отказе второго физического накопителя данные со сбойных дисков восстанавливаются на дисках горячего резерва, после чего информация логического диска возвращается к исходной схеме распределения.

Преимущества:

• высокая защищенность;
• переносит два одновременных отказа любых дисков;
• решение для критичных к потере данных приложений.

Недостатки:

• низкая в сравнении с RAID 5 производительность на запись из-за наличия двух дисков с вычисляемыми контрольными суммами.

С появлением описанных уровней защиты и восстановления данных дисковых массивов область применения классического RAID 5 будет сужаться. В задачах, критичных к доступности данных и скорости работы с ними, вероятность отказа накопителя и перехода массива в состояние восстановления не кажется такой уж малой. А если помнить, что появление ошибок в процессе восстановления деградированного массива чревато потерей тома, то цена вопроса (стоимость одного-двух дисков) и вовсе не кажется завышенной. RAID 5 хорош под неответственные тома, например для обслуживания файлового сервера. В составе серверов баз (дорогих) данных возможные последствия перечеркивают экономию.

Сравнительные характеристики уровней RAID

Характеристики	RAID 1	RAID 1E	RAID 5	RAID 5EE	RAID 6
Минимальное число дисков	2	3	3	4	4
Защита данных	Отказ 1 диска				Отказ 2 дисков
Показатели чтения	Высокие
Показатели записи	Средние		Низкие
Показатели чтения (degraded*)	Средние	Высокие	Низкие
Показатели записи (degraded*)	Высокие		Низкие
Использование емкости	50%		67–94%	50–88%
Типичные приложения	ОС, транзакционные базы данных		Хранилища данных, Web-сервисы, архивирование		Архивы, резервное копирование, системы высокой готовности, серверы с большими запросами к емкости хранения
* Degraded – массив, находящийся в процессе восстановления данных.

Итак, в зависимости от назначения массива и бюджета новое поколение выбирает:

RAID 1E – если есть возможность пожертвовать половиной рабочей емкости дисков;

RAID 5E – преимущество которого по сравнению с RAID 5 с hot-spare в том, что равномерно нагружаются все диски массива;

RAID 5EE – если надо радикально уменьшить время восстановления данных;

RAID 6 – если не жаль потерять емкость двух дисков в обмен на минимизацию риска простоя.

Надо сказать, описанные уровни RAID появились относительно недавно и реализованы в очень немногих изделиях. Вероятно, производители контроллеров и дисковых массивов вскоре смогут свернуть конкурентные сражения в формате лабораторных споров о том, чьи синтетические тесты скорости реалистичнее. Более продуктивным представляется четкое позиционирование изделий по качественным признакам и их применимости в избранных классах приложений.

При подготовке использованы материалы
www.ibm.com, www.adaptec.com