Темные закоулки и дорожные знаки хранения данных

Странно обсуждать надежность хранения, не вникая в природу данных и основы их жизнеобеспечения. Только вдумчивое применение доступных технологий гарантирует администратору хранения спокойный сон (а вовсе не ортопедический матрас).

Работа с большими объемами данных предполагает ответственность за их сохранность. Дело не в выборе устройства хранения — они все «производительные и надежные» (пока не докажут обратное). И не в модели обслуживания данных — они разные для видеонаблюдения, производства медиа-контента, архивов и хранилищ резервных копий. Роднит их использование недорогих емких механических дисков. Одного этого достаточно, чтобы администраторы следовали простому набору правил. Не следуют. Никакое устройство не способно оградить данные от плохих привычек, неосведомленности и халатности.

Только не RAID 5

RAID 5 давно вошел в обыкновение и никак из него не выйдет. Его выбирают из-за экономичности расходования дискового пространства и пристойной производительности в потоковых операциях. Под контрольные суммы (блоки одинарной четности) достаточно емкости одного дополнительного диска в массиве. Реконструкция массива RAID 5 на современных емких накопителях может продолжаться сутками. Чем выше штатные нагрузки (а массив из эксплуатации обычно не выводят) — тем дольше восстановление. Массив в деградированном состоянии работает медленно, нагрузки на диски повышенные. Любой повторный отказ во время реконструкции хоронит данные RAID 5 навсегда.

Риски снижает RAID 6 — массив с двойной четностью, где под контрольные суммы закладывается емкость двух дополнительных дисков. RAID 6 переживет потерю двух накопителей, но он и требовательней к ресурсам процессора контроллера. Или CPU — если массив программно-определяемый.

Не так страшны угрозы повторных отказов в массивах с четностью, как перспектива размножения ошибок чтения данных.

URE

У всех устройств хранения есть параметр Unrecoverable Read Error (URE) — вероятность невосстанавливаемой ошибки чтения. Его значения отличаются для разных накопителей и технологий их производства. Десять лет назад для механических дисков нормой было значение URE 10-14. В пересчете на количество секторов и емкость дисков это одна ошибка на ~ 12.5 TB. Рядовой для массива объем и тогда. С емкостью HDD нарастал и пессимизм: Why RAID 6 stops working in 2019. Проблема не в самой вероятности наткнуться на сектор данных с ошибкой, а в том, что реконструкция RAID с четностью — сама по себе мультипликатор ошибок: массив пересчитывается по данным чтения со всех дисков. «Мусор на входе, мусор на выходе».

У современных серверных дисков NL SAS/SATA URE на порядок лучше — 10^-15 (для сравнения, у промышленных SSD — 10^-17). Но и массивы прибавили в емкости. Одна ошибка на ~125 TB остается достаточно вероятным событием, чтобы ею пренебрегать. Риски RAID 6 намного ниже. А RAID 7 c тройной четностью еще на два порядка надежнее RAID 6.

Диски горячего резерва (hot spare)

Их закладывают в RAID-массивы из благих побуждений — чтобы сразу после отказа диска начать восстановление данных и минимизировать пребывание массива в деградированном состоянии. Практика работы с большими объемами данных говорит об обратном: hot spare — плохая идея.

RAID-массив нужен для непрерывного доступа к данным и их сохранности. Все, что увеличивает риск потери данных — плохая идея. Реконструкция массива увеличивает нагрузку на диски и множит ошибки, которые могли накопиться к моменту отказа. При автоматическом запуске восстановления RAID с hot-spare пользователь утрачивает контроль над данными, состоятельность которых важнее усечения окна реконструкции.

Последовательность действий при развале массива должна быть такой:

• Сделать полный бэкап данных

• Проверить их целостность, имеющимися средствами

• Определить отказавший диск

• Заменить его на новый. Если замена пришла из другого RAID-массива, затереть метаданные на диске

• Запустить процедуру восстановления массива

Очевидно же, что RAID 6 практичнее RAID 5 + hot-spare. Общий «перерасход» в два диска одинаков там и там, только защищенность и предсказуемость RAID 6 намного выше. Кроме того, дополнительный диск добавляет производительности RAID-группе — в отличие от резервного диска на холостом ходу. Бывает и так, что «запаска» оказывается негодной в нужный момент.

Еще раз. RAID 5 плох сам по себе — из-за риска повторного отказа при долгом восстановлении данных и распространения на весь массив данных с ошибками во время его реконструкции. При использовании же диска горячего резерва, автоматический запуск процесса восстановления активирует бесконтрольный процесс URE-заражения всего массива.

Целостность данных

Это одно из базовых понятий хранения. Если данные по какой-то причине становятся несостоятельны, любые их производные будут мусором. Порча может настичь информацию везде: при передаче, во время записи на носители, и даже в покое — когда однажды записанный бит прочитается с ошибкой.

Насколько проблема состоятельности данных глубока и многогранна, можно судить по руководству Dell EMC Unity: data integrity. Разработчики систем хранения, RAID-контроллеров и ОС/файловых систем, заправляющих данными, уделяют особое внимание коррекции ошибок и работе с метаданными (контрольными суммами, указателями).

Когда много лет назад Sun Microsystems создавала ZFS, открытую файловую систему и менеджер логических томов данных в одном лице, в нее были встроены средства защиты данных от непредумышленных повреждений. Во всех клонах ZFS есть утилита scrub, проверяющая данные на «тихие» ошибки и исправляющая их. В файловых системах с принципом записи «на новое место» copy-on-write (CoW) пересчитываются указатели и контрольные суммы, а старые данные не затираются. Это позволяет изолировать ошибки, автоматически править их и, при необходимости, откатываться на шаг или несколько назад. Благодаря этому, системы на ZFS не нуждаются в журналировании, а потенциал снэпшотов используется для резервирования данных.

Data scrubbing — типичная процедура для RAID-контроллеров и программных реализаций хранения. Обнаружение и исправление ошибок с помощью различных контрольных сумм или копий данных выполняется как фоновая задача. Но для этого ее надо запускать, вручную или по расписанию.

Настройка уведомлений

Сигнальные системы хранилищ данных позволяют извещать администратора о нештатных состояниях и вести журналы событий. Пренебрегая уведомлениями, можно пропустить переход массива в фатальное для данных состояние.

Оповещения — они как дорожные знаки: бывают информационные, предупредительные, запрещающие (игнорировать сообщения об ошибках себе дороже). Набор «знаков» у всех разный. Вот пример настроек системы оповещения для хранилищ под управлением ПО RAIDIX:

Можно настроить несколько шаблонов и рассылать оповещения адресно. Техническому персоналу важнее параметры датчиков и скорости вращения вентиляторов. Администратору проекта — сигналы об уменьшении резерва свободного пространства (перешел «красную линию» — потерял в производительности) и превышении нагрузок доступа (что можно компенсировать балансировкой).

Помимо оповещений системы хранения ведут журналы событий (логи), где все документировано с привязкой ко времени:

Слабое звено хранения

Выбирая промышленное устройство хранения, пользователь вверяет ему свои данные, полагаясь на разработчика. Высокая цена хранилищ больших вендоров оправдана тем, что они ограждают пользователя от множества хлопот. Помимо производительности и непрерывности доступа, такие системы хранения обеспечивают защиту данных и профилактику угроз: контрольными механизмами, фоновым выявлением и коррекцией ошибок данных, ранней диагностикой старения дисков.

Многое могут современные аппаратные RAID-контроллеры. Как правило, они маскируют от пользователя низкоуровневую работу с дисками с помощью шаблонных настроек и простых меню.

Программно-определяемое хранение не связывает потребителя производственными ограничениями или привязкой к поставщику. Технологии защиты данных работают поверх стандартного оборудования, вооружая пользователя функциональностью премиум-уровня, при скромных затратах.

В части надежности не стоит переоценивать возможности самих систем хранения — их легко свести на нет безграмотным администрированием. Пока данными заведуют случайные люди, они и будут слабым звеном хранения. Неуправляемое транспортное средство с отключенными сигнальными системами далеко не уедет.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365