Вечер на RAIDe

...Время неумолимо близится к шести. Лениво скрывается солнце за угловатыми коробками городских строений, отражаясь в окнах веселым пожаром заката. Усталые сотрудники, нервно постукивая пальцами по столам, исподлобья косятся на электронный «будильник». ...17-58, 17-59 и, наконец, 18-00. Облегченно вздыхая и толкая друг друга, люди устремляются к лифту.

И лишь сетевой администратор, как обычно, неторопливо допивает очередную чашечку кофе, поглядывая на зеленые огоньки индикаторов на сетевых платах и концентраторах. Подмигивая, они возвещают ему о том, что данные стройными рядами следуют на RAID-массив сервера. Здесь, как всегда, кипит работа: крутятся бесчисленные вентиляторы, старательно охлаждая электронное «чрево» многогигабайтного монстра, информационные потоки неоднократно дублируются, вычисляются их контрольные суммы, и все это в строгом порядке записывается на столь же многочисленные диски. Администратор спокоен, он знает, что если даже родина заботливой рукой отключит ночью электричество или повысит напряжение в сети, информация не потеряется. «Данные не горят!» — любит повторять он, перефразируя известные слова Булгакова.

Краткий экскурс в историю

Это было в середине 80-х годов. В компьютерном мире рухнула «империя» мэйнфреймов и возникло «феодально-раздробленное государство» персональных компьютеров (ПК). В роли пажа каждого ПК выступала DOS с ее извечными проблемами. Для существовавших тогда накопителей самой серьезной из них был предел логической емкости тома DOS. Когда в DOS 4.0 его увеличили с 32 МВ до 2 ТВ, разработчики дисков вздохнули с облегчением. Но оставались другие сложности, связанные с ограничениями, которые накладывали BIOS и физические параметры подключаемого к ПК диска. Стоимость накопителей большой емкости была слишком высокой, да и надежность их особенно не впечатляла пользователей.

И вот в 1987 г. три американских разработчика — Паттерсон, Гибсон и Катц из Калифорнийского университета в Беркли опубликовали статью «А Case for Redundant Arrays of Inexpensive Discs (RAID)» («Портфель для избыточного массива дешевых дисков»), в которой был предложен способ объединения нескольких дешевых дисков в одно отказоустойчивое логическое устройство. Возможность построить недорогой и надежный дисковый массив большой емкости и вдобавок повышенного быстродействия сразу завоевала сердца и умы прогрессивных пользователей. Однако широкое распространение такие системы получили только в эпоху массового объединения разрозненных ПК в локальную вычислительную сеть.

Но тут случился непредвиденный казус с терминологией. Дело в том, что под недорогими дисками раньше подразумевалось то, что они значительно дешевле высоконадежных накопителей для мэйнфреймов. Но для пользователей ПК понятие «дешевизны» несколько изменилось. Кроме того, для приемлемой производительности в RAID-контроллеры пришлось устанавливать мощные дорогостоящие RISC-процессоры и значительные объемы кэш-памяти, что часто делало цены на такие системы недоступными для пользователя. Поэтому и аббревиатуру RAID быстренько решили расшифровать как «Redundant Arrays of Independent Discs» — «избыточный массив независимых дисков».

Сегодня достаточно производительные диски и контроллеры имеют разумную стоимость, и поэтому RAID становится основным элементом современного сервера любого уровня (а часто и рабочей станции). Способов построения RAID-систем существует много. Большинство из них обещает пользователю множество преимуществ при умеренных затратах. Основные же критерии оценки RAID-системы — производительность, емкость, надежность работы и цена.

При покупке RAID-системы многие специалисты в первую очередь советуют руководствоваться производственными, а не техническими аспектами ее применения. В связи с этим они предполагают ответить на следующие вопросы: каковы специфические требования серверных приложений; как отражается потеря данных на работе компании; можно ли останавливать систему на ночь для техобслуживания, или необходимо, чтобы она работала постоянно? Ответив на них, выбор системы не составит особого труда. Правда, в дополнение к этому, следует учесть, какие уровни RAID требуются для ваших приложений и будет ли поддерживать их приобретаемая система?

Уровни RAID

В настоящее время стандартизированы 6 уровней объединения дисков в массивы: от RAID-О до RAID-5. Следует отметить, что номера уровней определены просто в «хронологическом» порядке их технических воплощений и вовсе не связаны с характеристиками RAID.

RAID уровня 0 — чередование дисков (disk striping)

Уровень 0 служит только для повышения производительности дисковой системы. По технологии RAID-О данные при записи разбиваются на блоки размером 64 КВ, и каждый из них записывается на отдельный диск независимо и одновременно с другими блоками. При чтении блоки данных синхронно считываются с различных дисков и затем объединяются. При такой организации хранения информации теоретическая скорость как записи, так и считывания увеличивается пропорционально количеству дисков, объединенных в RAID-массив. Практическая производительность системы зависит от конкретной реализации, хотя при использовании современных контроллеров лишь немного не дотягивает до теоретического предела.

Однако чередование дисков не обеспечивает повышения надежности, так как не создает избыточности данных. В системе используются несколько дисков, каждый из которых имеет примерно такую же надежность, как и одиночный диск большой емкости. Кроме того, в системе появляются дополнительные устройства (например, RAID-контроллер) и большое количество дополнительных контактов. При отказе любого из дисков система становится неработоспособной, и все данные безвозвратно теряются. Строго говоря, RAID-О вообще не является избыточным массивом, тем не менее, этот термин широко применяется и поэтому разрешен Комиссией советников по RAID (RAID Advisory Board, RAB).

На рис.1 показаны три жестких диска, которые чередуются при записи. Записывается полоса данных объемом 192 КВ. (Полоса — это совокупность блоков данных, которые размещаются в одни и те же секторы разных дисков массива RAID.) Первые 64 КВ данных полосы записываются на диск 1, вторые 64 КВ — на диск 2, а третьи — на диск 3.

RAID уровня 1 — зеркализация дисков (disk mirroring)

Многие администраторы сетей, выполнив, например, в Novell NetWare программную зеркализацию дисков, даже не подозревают, что снабдили свой сервер RAID-системой первого уровня, предназначенной для повышения отказоустойчивости. По технологии RAID-1 устанавливаются два диска одинаковой емкости, и все данные одновременно записываются как на первый, так и на второй (зеркальный) диск. При таком построении системы обеспечивается высокий уровень надежности за счет полного дублирования информации (рис. 2). Однако и стоимость хранения информации получается немалой. Производительность массива существенно зависит от варианта его исполнения. При считывании информации в современных контроллерах, как правило, применяется одновременное считывание с обоих дисков, вследствие чего скорость считывания может быть намного выше, чем для одиночного диска. Скорость записи в этом случае ниже, чем считывания, но может быть выше, чем скорость записи для одиночного диска.

Дублирование диска (disk duplexing)

Дублирование диска обеспечивается парой зеркальных дисков, каждым из которых управляет отдельный контроллер. При этом уменьшается трафик через единичный контроллер (а следовательно, увеличивается быстродействие). Дублирование предназначено не только для защиты от сбоев носителей, но и от отказов контроллеров.

RAID уровня 2

В этом случае, как и в системах с RAID-О, блок данных при записи делится на части, распределяемые по разным дискам. Но одновременно генерируется код коррекции ошибок (Error Correcting Code — ЕСС), который также записывается на разных дисках. В качестве алгоритма для вычисления ЕСС иногда применяют довольно сложные функции. Поэтому в RAID-2 для записи кода коррекции ошибок требуется намного больше дискового пространства, чем в системах уровня 3, использующих в качестве ЕСС обычный метод контроля четности. Поэтому дисковые массивы уровня 2 сегодня практически не используют.

RAID уровня 3

Чтобы обеспечить в RAID уровня 3 отказоустойчивость, выделяется отдельный диск для дополнительной (контрольной) информации. При записи данные также разбиваются на блоки, каждый из которых записывается на отдельный диск. Затем с помощью метода контроля четности вычисляется значение контрольного бита. Этот бит помещается на дополнительный диск.

Контролем четности называют процедуру проверки ошибок, при которой устанавливается число единиц в каждой переданной группе битов. Если это число является четным, бит четности принимают за 1, если нет — 0. При выходе из строя любого диска информацию на нем можно восстановить по контрольным битам и данным, оставшимся на исправных дисках. Размер информационных блоков очень мал (типичное значение — 1 байт). При этом достигается высокая скорость обмена данными для сложных запросов, хотя в каждый момент времени система может обслужить только один запрос. В отличие от RAID-2, примерно 85% общего дискового пространства используется непосредственно для хранения информации.

RAID уровня 4

Стратегия RAID-4, основанная на методе чередования дисков, обеспечивает запись крупных цельных блоков данных на каждый диск в массиве. Отдельный контрольный диск используется для хранения информации о четности. Из-за высоких накладных расходов этот метод не нашел широкого применения.

RAID уровня 5

В настоящее время чередование с контролем четности — наиболее популярный метод построения отказоустойчивых систем. RAID-5 отличается от RAID-3 значительно большим размером блока записываемых данных и поддерживает от 3 до 32 дисков. Для хранения избыточной информации не выделяется отдельный диск, а контрольные сведения поочередно записываются на различные накопители. Иными словами, блок информации о четности в каждой полосе чередования попадает на различные диски (рис. 3). Это позволяет одновременно обслужить несколько запросов, хотя и с меньшей скоростью, чем в рассмотренных выше вариантах. Кроме того, при записи независимо от объема данных на носитель помещаются полностью один блок информации и один контрольный блок. Поэтому вместо операции записи в RAID-5 фактически осуществляется операция «чтение—модернизация—запись». В результате скорость записи в RAID-5 примерно в два раза меньше, чем скорость чтения.

Комбинированные уровни

Некоторые производители в последнее время заявляют о реализации в их системах неких «новых» уровней RAID, например RAID-10 (он же RAID-О/1, RAID-0+1), RAID-30 (RAID-0/3, RAID-0 + 3), RAID-50 (RAID-0/5, RAID-0 + 5). Все эти RAID разных уровней придуманы ими для того, чтобы так или иначе выделить свою продукцию на фоне конкурентной и способствовать ее продвижению на рынке.

По своей сути это комбинированные уровни, принцип работы которых заключается в одновременной записи (или чтении) блоков данных на несколько массивов дисков, каждый из которых, в свою очередь, организован соответственно в RAID-1, RAID-3 или RAID-5. Следует отметить, что такая модернизация способствует значительному увеличению производительности системы при сохранении отказоустойчивости.

Общий уровень отказоустойчивости системы

По мнению Джона Молина, председателя RAB, дублирование дисков, или распределение данных по нескольким дискам — это только один аспект обеспечения целостности информации. «Резервный контроллер RAID в сервере только с одним источником питания — это все равно, что новенькое запасное колесо в багажнике автомобиля, у которого уже закончился бензин», — считает он. Поэтому сбалансированность параметров надежности всех компонентов информационной системы — ключ к успеху в деле сохранения данных.

Организация RAB (www.raid-advisory.com) предлагает новую систему классификации дисковых массивов: они оцениваются по 22-м критериям и классифицируются как failure-resistant (гарантирующие сохранность и доступность данных при отказе диска), failure-tolerant (гарантирующие сохранность и доступность данных при отказе не только диска, но и какого-либо другого компонента, например источника питания или вентилятора), disaster-tolerant (имеющие распределенную архитектуру и гарантирующие сохранность и доступность данных при выходе из строя какой-либо одной, возможно, удаленной, части). При этом учитывается наличие в массиве зеркального отражения дисков и различных резервных компонентов. RAB ориентирует производителей и пользователей не только на правильный выбор уровня RAID, но и на комплексный анализ информационных систем.

Таким образом, выбор уровня RAID — немаловажный вопрос. Например, дублирование дисков (RAID-1) обеспечивает высокую надежность хранения данных, но при использовании более чем четырех дисков обходится дорого. RAID-5 менее надежен в работе, чем RAID-1, зато при использовании большого числа дисков гарантирует более высокую производительность. В целом, выбор уровня RAID определяется требованиями используемых приложений.

Надежность RAID

Под надежностью обычно понимают время наработки на отказ. В рассмотренных системах этот показатель значительно меньше, чем при работе с одиночными дисками. Например, при использовании RAID из пяти дисков отказы одного из них будут встречаться в среднем в 5 раз чаще, чем при использовании одиночного диска. Отказоустойчивость же RAID (за исключением RAID-О) заключается в том, что при отказе одного из дисков в массиве не теряется информация. Кроме того, в этом случае система продолжает функционировать, хотя она уже и не является отказоустойчивой. RAID-1 более надежен, чем RAID-3 или RAID-5, поскольку дублируется вся информация. Однако и цена его выше. В целом же, при использовании современных комплектующих и RAID-1, и RAID-3, и RAID-5 обеспечивают приемлемый уровень отказоустойчивости. Однако RAID-О всегда менее надежен, чем одиночный диск.

Итак, покупая систему RAID, прежде всего следует определиться, какой уровень ее надежности необходим. Например, если компания обеспечивает безопасность полетов, то ей непременно потребуется система, которая имеет резервные источник питания, контроллер и вентиляторы, заменяемые в «горячем» режиме. Если же вы работаете с издательским приложением, то скорость обработки данных нередко важнее их целостности. Для такого приложения лучше всего подойдет система, конструкция которой в большей степени обеспечивает высокое быстродействие, чем надежность в работе. Такая система имеет множество дисков, что повышает скорость выполнения операций ввода/вывода. В любом случае крайне важно иметь управляющее ПО. способное предупредить вас о возможном отказе того или иного компонента системы RAID.

Производительность RAID

На производительность RAID оказывает большое влияние структура потока данных: соотношение количества запросов на чтение и на запись, соотношение размера блоков на дисках и размера записываемых данных. Кроме этого, производительность зависит от количества дисков в массиве и их характеристик, от параметров используемого контроллера RAID.

Кэш-память контроллера RAID

Прежде всего, необходимо решить нужна ли она вообще. С одной стороны, высокоемкая кэш-память существенно повышает производительность системы. Если в кэш-памяти умещаете? вся полоса данных, то их запись пр> этом значительно ускоряется, так как не происходит считывания отдельны:-блоков для последующего расчета контрольных сумм. С другой сторонь при отказе контроллера информация хранящаяся в его кэш-памяти, може* быть потеряна, и чем больше емкост: кэш-памяти, тем больший объем дачных будет утрачен.

Производители контроллеров, чтобы обеспечить сохранность данных их кэш-памяти, нередко реализуют ее резервное питание от батареи. Хотя в этом случае не всегда удается избежать проблем. Так, при отказе сервера придется переместить контроллер в другой сервер и постараться перезаписать содержимое кэш-памяти на диск. А что произойдет, когда из строя выйдет сам контроллер? Если конструкцией последнего предусмотрено отсоединение подсистемы кэшпамяти, то, чтобы исключить потерю данных, ее можно переместить в другой контроллер. Как бы то ни было, приобретая кэширующий контроллер, необходимо убедиться в наличии в нем памяти с контролем и коррекцией ошибок (ЕСС). Это позволит вам с помощью управляющего ПО получать извещения о назревающем отказе контроллера.

Желательно также, чтобы информация о конфигурации массива хранилась на его дисках, иначе при замене платы контроллера она будет утрачена. Лучше всего хранить эти данные на каждом из дисков массива, тогда при выходе из строя любого из них она не будет потеряна.

Местоположение контроллера RAID

Один из наиболее трудных вопросов, возникающих при анализе систем RAID, это место расположения контроллера RAID: в корпусе дискового массива или в разъеме PCI-шины сервера. Если контроллер находится в дисковом массиве (такая архитектура получила название SCSI-to-SCSI RAID), то, вероятно, его можно будет поменять в «горячем» режиме. Кроме того, такая конструкция массива RAID позволяет легко построить высокоемкое хранилище данных — ведь к обычной SCSI-шине сервера вы будете подключать не отдельные диски, а целые массивы их. К недостаткам размещения контроллера RAID в дисковом массиве можно отнести некоторое снижение производительности последнего, поскольку данные от этого контроллера передаются SCSI-контроллеру сервера через относительно медленное соединение SCSI-to-SCSI с пропускной способностью около 40 MBps.

При установке в сервере контроллера RAID данные из него перемещаются на шину PCI, максимальная скорость передачи в которой 132 MBps. Однако использование PCI-контроллера RAID также имеет свои недостатки. Многие изготовители серверов не полностью поддерживают стандарт PCI, что влечет за собой несовместимость их с периферийным оборудованием.

Хотя контроллер RAID и может быть установлен в сервере, управляемые им диски желательно размещать в отдельном корпусе, так как в системе RAID они вращаются непрерывно, а подсистемы питания и охлаждения серверов часто не рассчитаны на поддержку большого числа внутренних накопителей. В результате могут нарушиться тепловые режимы не только основных электронных компонентов сервера, но и самих накопителей.

Немаловажным фактором, влияющим на работу системы RAID, является ограниченность длины SCSI-шины. С увеличением быстродействия средств SCSI ее длина уменьшается. Например, максимально допустимая длина шины контроллера SCSI-1 равна 6 м, а контроллера SCSI-2 — 3 м. При использовании контроллера Ultra-SCSI рассогласование шины возникает уже при ее длине порядка 1,5 м.

RAID на украинском рынке

Сегодня ряд крупных украинских компаний предлагают пользователям серверы собственного производства с поддержкой RAID-массивов различных уровней. Среди них ICS, «Епос», «Квазар-Микро» и др. Кроме того, в продаже есть отдельные дисковые RAID-массивы внешнего или внутреннего исполнения («Оазис», «Епос», «Мастер-8», Asbis и др.).

Контроллеры дисковых массивов на отечественном рынке чаще всего представлены весьма дорогими, но с широкими возможностями изделиями фирмы Mylex (2000–3500 грн), более простыми адаптерами Adaptec (1000–1500 грн) и менее «интеллектуальными», но весьма надежными продуктами фирмы Buslogic (450-1000 грн).

Некоторые рекомендации специалистов ведущих киевских компаний, предлагающих RAID-системы:

• Всегда предпочтительней использовать RAID-0+1, хотя это и дорого обойдется.

• Для маломощного сервера, когда необходимый объем дисковой памяти не превышает 4–9 GB, лучшим решением чаще всего является RAID-1 (зеркальный диск).

• Если требуемый объем дискового пространства очень велик, то стоимость RAID-1, и особенно RAID-0+1, оказывается непомерно высокой. В этом случае лучше использовать RAID-5 (при большом потоке данных небольшого размера) или RAID-3 (при хранении больших файлов — видео, графика и т.п.).

• Для обработки больших файлов, например в графической станции или видеостудии (но только для обработки, а не для хранения), лучше применять RAID-0.

• Никогда не покупайте систему RAID с максимальной емкостью, соответствующей текущим потребностям вашего предприятия. Выбирайте системы с возможностью расширения. Если вы считаете, что в будущем вам придется довольно часто увеличивать емкость системы, то проследите за тем, чтобы она была оснащена контроллером, поддерживающим динамическое расширение логических дисков RAID.

• Покупайте дисковый массив, емкость которого как минимум в полтора раза превышает ваши потребности по части объемов хранимых данных на момент покупки.

• Следует учитывать, что для улучшения расширяемости массива в целом стоит использовать более емкие диски. Применяя современные комплектующие, вы легко построите массив очень большой емкости, однако с точки зрения надежности хранения информации, вряд ли стоит делать это — предпочтительнее распределить данные по нескольким серверам и дисковым подсистемам.

Ни один пользователь ПК не застрахован от того, что неисправность жесткого диска не приведет во временную негодность компьютер или сервер. Современный жесткий диск сегодня остается самым ненадежным элементом компьютера. И на этом самом ненадежном элементе хранится самое важное — информация. По сведениям компании IDC, основными причинами потери данных в компьютерных системах сегодня являются: 71% — ошибки пользователей, 12% — сбои дисководов, 6% — сбои сети, 5% — сбои программного обеспечения, 2% — сбои контроллеров, 4% — другие причины. Итак, «почетное» второе место в этой иерархии занимают сбои дисководов. Поэтому администраторам сетей нужно серьезно задуматься над увеличением надежности хранения данных, чтобы спокойный вечер на RAID’e не превратился в «варфоломеевскую ночь».

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365