QuTS hero – практическое знакомство

Операционная система QuTS hero применяется в широком спектре сетевых хранилищ QNAP и отличается наличием файловой системы ZFS и поддержкой приложений с QNAP App Center. Предлагаем ближе познакомиться со встроенными возможностями этой платформы на примере модели TS-473A.

Строим RAID

Выбранный нами NAS TS-473A относится к устройствам начального уровня. Этот сетевой накопитель настольного типа располагает четырьмя слотами для размещения 3,5- или 2,5-дюймовых накопителей, а также двумя слотами M.2 2280 PCIe Gen3 x1 для твердотельных накопителей. Для исследования возможностей ОС QuTS hero в модели  TS-473A было установлено четыре 3,5-дюймовых жестких диска Seagate емкостью 8 ТБ (ST8000VN004-2M2101).

Притом что это достаточно доступный NAS, он позволяет встроенными средствами сформировать RAID-массивы различного типа. В нашем случае наличие четырех накопителей дало возможность построить RAID5. Однако стоит иметь в виду, что в устройствах с большим числом дисков появляется опция создания фирменного RAIDz, который является аналогом RAID5 с рядом интересных отличий.

RAID -5

Доступное пространство составило 16,5 ТБ (-31% от суммарного объема дисков 24 ТБ), поэтому при расчете объема хранилища и подборе дисков необходимо учитывать этот факт.

Дело в том, что если в стандартном RAID-массиве используется алгоритм записи Read-Modify-Write, то RAIDz на базе файловой системы ZFS задействован принцип Copy-on-Write – данные пишутся на свободное место, а после завершения операции измененный указатель содержит информацию о новом расположении данных. Использование этой технологии убирает проблему «write hole» и обеспечивает повышение быстродействия за счет использования одной операции записи, т.е. нет необходимо в предварительном чтении.

Учитывая тот факт, что RAIDz знает, где находятся реальные данные, а где свободное место, возможно уменьшить время восстановления при сбое, так как будут реставрироваться только действительные данные, а не все пространство. Например, если заполнена только половина объема, то и реструктуризация массива займет в два раза меньше времени. Сокращение времени восстановления уменьшит также вероятность возникновения ошибки во время этого процесса.

Для сохранения быстродействия RAIDz может потребовать больше свободного пространства, чтобы компенсировать наличие фрагментации. RAIDz сохраняет с каждым блоком данных его контрольную сумму, которая автоматически считывается при каждой операции чтения. Это позволяет заранее определить появление ошибки («тихие» ошибки, фантомные записи, ошибки драйверов и другие неумышленные записи). Традиционные RAID не распознают «цифровой мусор».

Можно принудительно запускать такой тест в фоновом режиме во время небольшой нагрузки на хранилище (утилита Scrubbing). Pool scrubbing обнаруживает и автоматически восстанавливает поврежденные блоки данных в файловой системе ZFS.

Если файл пишется небольшими блоками, то они будут записаны на один vdev, т.е. другие vdev пула не будут задействованы, если запись производится одним потоком. Если же перейти на многопоточную запись, то записи параллельно распределятся по нескольким vdev, а это приведет к повышению производительности. Такая структура не дает линейного роста производительности при увеличении дисков в каждом vdev, а вот подобор оптимального количества vdev в пуле (при параллельных потоках) повысит быстродействие и уменьшит время реконструкции.

Стоит отметить, что RAIDz работает не с физическими дисками, а с, так называемыми, виртуальными устройствами vdev, которые состоят из физических дисков. Добавить или убрать физический диск в vdev нельзя, из чего следует, что расширение пула возможно только за счет добавления очередного vdev.

Моментальные снимки

Защита данных является неотъемлемой частью файловой системы ZFS. Одной из составляющих механизма защиты являются моментальные снимки (snapshots). С их помощью записывается состояние LUN или общей папки в определенный момент времени, что позволяет обеспечить:
    • Восстановление предыдущего состояния общей папки или LUN;
    • Восстановление предыдущей версии файлов и папок и получение доступа к ним;
    • Создание идентичной копии общей папки или LUN.

Эта функциональность обеспечивает надежную поддержку непрерывных бизнес-операций и помогает пользователям избежать риска потери данных.

Для упрощения работы с моментальными снимками в составе программной платформы QuTS hero имеется специальное решение Snapshot Manager, позволяющее просматривать и удалять снимки, а также восстанавливать данные.

Для примера, создадим моментальный снимок для LUN_0. При этом есть возможность указать имя и ввести комментарии.

Установка флажка «Keep this snapshot permanently» позволить постоянно сохранять этот моментальный снимок, так как если его не устанавливать, то согласно установленным правилам, snapshot будет удален через определенное время.

Кроме ручного создания моментальных снимков предусмотрен и автоматический механизм.

Согласно приведенным настройкам, заданным по умолчанию, каждый день в 8:00 будет создаваться моментальный снимок состояния LUN_0. Интересно, что установка флажка «Enable smart snapshot» позволяет перед формированием нового снимка, проанализировать предыдущий, и если они оказались одинаковыми, то новый snapshot создаваться не будет.

Сжатие на лету

Технология сжатия данных позволяет ощутимо отодвинуть время, когда потребуется  добавить новые диски. Достигаемое с помощью этой технологии уменьшение объемов записываемых в хранилище данных не только сэкономит место, но и сократит количество операций записи, что позволит повысить быстродействие и добавить здоровья носителям. А последнее особенно важно для SSD.
Мы говорим про сжатие «на лету», потому что оно поддерживается на уровне файловой системы ZFS и происходит в реальном масштабе времени. Существуют две разновидности сжатия: собственно сжатие и  уплотнение.

Встроенное сжатие данных предназначено для сокращения уровня рабочей нагрузки на подсистему ввода-вывода хранилища и, как следствие, увеличения производительности.
В свою очередь, встроенное уплотнение  подразумевает, что ОС QuTS hero выполняет реорганизацию структуры хранения данных на дисках SSD для сокращения объема дискового пространства, требующегося для хранения информации. Это позволяет добиться высокой экономической эффективности при использовании систем хранения, где используются только твердотельные запоминающие устройства.

Проведем небольшой тест по эффективности применения встроенного сжатия.

В исходном состоянии Pool1 практически пуст, так как здесь располагаются только системные файлы. Подготовленный нами массив файлов в размере примерно 73 ГБ  включал файлы разных форматов: фильмы, образы виртуальных машин, документы Word и Excel, а также рабочие файлы базы данных. После копирования этого массива на iSCSI LUN с сжатием, мы получили следующие результаты.

Как видим, благодаря технологии сжатия было сэкономлено 14 ГБ пространства, что составило почти 20%.

Дедупликация

Эта технология также входит в состав программной платформы QuTS hero. Она выполняется  «на лету», позволяя сэкономить место на дисках и снижая накладные расходы по хранению. Впрочем стоит иметь ввиду, что ее активации повышает нагрузку на процессоры и оперативную память. Минимальная конфигурация сетевого хранилища, позволяющая выполнять эту операцию, предусматривает 16 ГБ ОЗУ. В процессе тестирования мы зафиксировали, что утилизация процессора возросла с 22% до 61%. Для проведения этого исследования был взят тот же набор файлы, что использовался при тестировании технологии сжатия.

В результате полученный нами коэффициент сжатия при дедупликации составил примерно 20%. Все предыдущие тесты проводились на блочных LUN с использованием протокола iSCSI. Такие же тесты были проведены с общими папками с использованием протокола SMB.

В этом случае результаты оказались следующими:
    • Сжатие -25%;
    • Дедупликация – 29%.

Понятно, что величина коэффициента сжатия и дедупликации зависит от типов файлов, их количества и размера. В нашем случае в тестовый набор входили достаточно трудно сжимаемые видеоформаты.

Подводя итоги нашего практического знакомства с QuTS hero, можно отметить, что эта платформа поддерживает интересные возможности корпоративного уровня не только в мощных устройствах, но и в сетевых накопителях для массового рынка. Поэтому системные администраторы даже средних компаний могут воспользоваться уникальной функциональностью QuTS hero, включающей технологии RAIDz и моментальные снимки, а также сжатием и дедупликацией «на лету».  

Редакция хотел бы отдельно поблагодарить компанию Seagate за предоставленные накопители.
 

Про DCIM у забезпеченні успішної роботи ІТ-директора