Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

23 май, 2021 - 18:37Игорь Дражан

Настройки систем хранения на NVMe SSD позволяют выжать из них больше — если использовать доступные программно-аппаратные возможности.

Когда нам в руки попала система хранения на NVMe под управлением ZFS — QNAP TS-h2490FU, с первого взгляда на нее стало понятно целевое назначение — как высокоскоростного ресурса для размещения горячих данных приложений.

Благодаря ZFS подобные хранилища впечатляюще функциональны. Представление об уровне производительности этой системы хранения дает тестирование Storage Review. Нас тоже интересует производительность. Но не так абсолютные показатели, как средства управления ею, доступные пользователю.

Тестовый полигон

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Мы не стали гнаться за рекордами и заполнять все 24 дисковых отсека накопителями. Для проведения сравнительных экспериментов взяли 6 х Western Digital Ultrastar DC SN640 NVMe SSD емкостью 1.92TB.

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

WD Ultrastar DC SN640 — одно из самых популярных семейств серверных SSD формата U.2 (2.5″ NVME), емкостью от 800GB до 7680GB. По сути, оно состоит из двух подсемейств 800-1600-3200-6400GB и 960-1920-3840-7680GB. Они отличаются ресурсом перезаписи ячеек (2 DWPD vs 0.8 DWPD) и производительностью записи со случайной выборкой (у первого почти вдвое выше).

Физически это одни и те же накопители. Повышенную устойчивость к стиранию ячеек и прирост производительности первому дает увеличенная область резервных ячеек (overprovisioning). Чем она больше — тем меньше переносов данных требуется контроллеру SSD для очистки страниц под запись (write amplification) и тем реже перезаписывается содержимое ячеек (продлевается их жизнь). Если хочется, все то же самое можно сделать самому: отформатировать SSD c заявленной емкостью 1.92TB на 1.6TB и поднять его показатели, ценой потери около 20% емкости.

Преимущество NVMe над другими твердотельными накопителями дают два показателя: производительность записи с произвольной выборкой (Write Random 4K IOPS) и потоковая скорость чтения-записи (Throughput, МБ/с). Первое важно в работе с базами данных и приложениями виртуализированной среды, второе — для медийных приложений и резервирования данных.

Произвольный доступ. Тест «база данных»

Начнем с рандомных операций. Посмотрим, можно ли обратить в свою пользу возможности менеджера логических томов ZFS.

Пулы в ZFS (zPool) строятся из виртуальных устройств vdev, которые в свою очередь собираются из физических накопителей c задаваемыми политиками избыточности: от простых зеркал RAID 1 (Mirror) до массивов с тройной четностью RAID 7 (RAIDz3)

В погоне за производительностью со случайной выборкой в традиционной топологии нет равных RAID 10. Массивы ZFS с четностью RAIDz1/RAIDz2/RAIDz3 (одинарной/двойной/тройной) более экономно расходуют дисковое пространство. Интересно сравнить RAID 10 и RAID 6 (RAIDz2): сколько мы теряем в производительности, выигрывая в дисковом пространстве, при разумной устойчивости того и другого к отказам накопителей.

  • Инициатор
  1. Windows Server 2019

  2. Четыре сетевые порта инициатора и хранилища соединены напрямую

  • Таргет
  1. QNAP TS-h2490FU / 6 х Western Digital Ultrastar DC SN640 NVMe

  2. RAID 10 (три vdev по два диска), LUN 350GB, профиль 4K VDI / база данных, файлы малого размера

  3. RAID 6 (один vdev из 6 диcков), LUN 350GB, профиль 4K VDI / база данных, файлы малого размера

  • Тестовое ПО
  1. Iometer

  2. Размер файла 140GB

  3. Тест «база данных»: произвольные операции с соотношением чтение/запись — 70%/30%, размер блока 4К

  4. Глубина очереди запросов на ввод/вывод до 128

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Для неискушенных пользователей в QNAP есть быстрая настройка LUN-ов под определенный тип нагрузки:

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

По результатам тестов производительность RAID 10 и RAID 6 оказались почти идентичной:

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Это замеры для одного инициатора. Помня, что сильная сторона NVMe — обработка параллельных потоков, повторяем тест для 24 инициаторов:

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Производительность ожидаемо масштабируется с многопоточностью. Но RAID 10 по-прежнему не превосходит RAID 6. Абсолютные показатели в IOPS не слишком впечатляют. А что с латентностью?

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Радуют низкие задержки обращения. Вот оно, преимущество NVMe.

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Для RAID 6 та же картина, что и для RAID 10: до глубины очереди 64 уровень задержек не выходит за пределы комфортных 1 мс. При QD=16 (соотношение потоков 1/4) латентность однопоточного хранения на 22% выше, при QD=64 (соотношение потоков 1/11) латентность возросла — на 135%.

iSER

«Блендер виртуализации» перемалывает запросы ввода-вывода в крошево обращений произвольного доступа. Если уж включать QNAP TS-h2490FU в виртуализированное серверное окружение, надо использовать все возможности борьбы за производительность.

С выходом vSphere 6.7 VMware добавила iSER (расширение iSCSI для RDMA, Remote Direct Memory Access) в качестве поддерживаемого протокола хранения в ESXi. iSER позволяет поднять продуктивность работы в vSphere, используя сетевые адаптеры с поддержкой RDMA. Прямой перенос содержимого памяти с одного компьютера на другой без участия CPU повышает пропускную способность ввода-вывода и снижает задержки. Поддержка RDMA нужна как на источнике, так и на таргете.

Mellanox (сейчас в составе NVIDIA) давно продвигает технологию RDMA, снабжая сетевые адаптеры ее аппаратной поддержкой. В QNAP TS-h2490FU стоят 25Гб Mellanox ConnectX-4 Lx.

Оценим вклад iSER в такой постановке:

  • Инициатор
  1. Windows Server 2019 / VMware 7.0.0 в виртуальной машине

  2. Активирован протокол доступа iSER

  • Таргет
  1. QNAP TS-h2490FU / 6 х Western Digital Ultrastar DC SN640 NVMe

  2. RAID 6, два LUN, профиль 4K — произвольные операции, и профиль 128К — последовательные операции

  • Тестовое ПО
  1. FIO

  2. Размер файла 140GB

  3. Два типа нагрузки: numjobs=1 /iodepth=8 и numjobs=8 /iodepth=8

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

iSER дает прирост производительности от 30% до 140%, в зависимости от типа нагрузки. Всего-то надо оснастить серверы сетевыми картами с RDMA и активировать протокол.

Последовательный доступ и видеоданные

Хранение видеоконтента — актуальная задача для медийных компаний. Требования к скорости доступа растут, стоимость носителей падает. Почему бы не использовать NVMe-хранилище для оперативной работы с материалом?

На том же стенде собрали тот же RAID 6, сконфигурировали на этом пуле 8 LUN’ов и запустили на инициаторе 8 тестов AJA (каждый работал со своим LUN’ом). Восемь независимых приложений, каждое из которых работает со своим логическим устройством, воспроизводят коллективную работу с видеоданными.

Суммарная производительность, в зависимости от количества одновременно работающих инициаторов:

Система хранения all-flash QNAP TS-h2490FU. Второй взгляд

Скорость записи хранилища массива RAID 6 не сильно превышает скорость одного SSD (штраф на запись для такого типа RAID составляет 4). Производительность чтения растет с количеством инициаторов.

Потребности видеомонтажа разнятся. Ориентируемся на передовиков — Apple ProRes 4444 XQ, самую высококачественную версию кодека для источников изображения 4:4:4:4 (поддерживает до 12 бит на канал изображения и до 16 бит для альфа-канала). Целевая для него скорость передачи данных составляет около 470 Мбит/с для источников 4:4:4 при 1920×1080 и 25 кадр/с и порядка 2000 Мбит/с при разрешении 4К-2160 соответственно.

Наше хранилище обеспечивает скорость записи от 2,5 до 3 ГБ/с — и это всего при 6 NVMe SSD.

Беглые выводы

Хотя производительность QNAP TS-h2490FU в IOPS не поражает воображение, приятно удивили низкие уровни задержек. На 6 NVMe SSD не удалось увидеть явного превосходства RAID 10 над RAID с двойной четностью. То ли потенциал NVMе настолько высок, то ли мешают ограничения протокола iSCSI. Выбираем RAID 6 — за пристойную производительность, высокую устойчивость к отказам накопителей, экономичность.

Заметный рост производительности после активации iSER показывает перспективы использования TS-h2490FU в виртуализированном окружении.

Продуктивность на последовательных операциях и протоколе iSCSI отличная. Медийным компаниям хранилище понравится.

При стоимости хранилища без дисков от 239 тыс. грн его можно себе позволить.