Внешние дисковые массивы: музыку заказывает... видео
30 июнь, 2004 - 23:00Владимир Грегуль
Рынок видеопроизводства, звукозаписи и вещания находится на подъеме -- это видно
по объему отечественной медиапродукции массового потребления.
Спрос на цифровые системы для профессиональной работы с видео определяется зрелостью рынка и возможностями сегодняшних технологий. Не будет преувеличением сказать, что современные видеопроизводство и вещание начинаются с построения сетей хранения и обмена видеоданными. Продуктивность всех рабочих процессов, включая запись исходных материалов, редактирование, просмотр и управление контентом, передача в эфир, архивирование зависит от скорости доступа к материалам и возможностей одновременной работы с ними различных групп пользователей. Среда хранения данных формируется внутренними и внешними дисковыми массивами, библиотеками на оптических и ленточных носителях. Реализации массивов зависят от роли хранилищ в структуре предприятия, предъявляемых требований к скорости передачи данных, сохранности, наращиваемости. Технологичное производство подразумевает разделение оборудования на средства хранения информации и средства ее обработки -- т. е. включение в структуру компании внешних дисковых массивов высокой емкости, соединенных с серверами скоростным интерфейсом. Попробуем разобраться, какое значение имеют для современной видео-студии такие параметры дисковых систем хранения данных, как емкость, производительность, управляемость, надежность.
Дисковые массивы в видеопроизводстве
Подробный
обзор современных дисковых массивов
для видео уже публиковался в "Компьютерном Обозрении", # 37, 2003.
По-прежнему самыми востребованными остаются индивидуальные хранилища класса DAS
(Directly Attached Storage) для работы в связке с вы-сокопроизводительными станциями
нелинейного монтажа (NLE). NLE-платы профессионального уровня -- это мощные аппаратные
решения, которые работают с некомпрессированным видео в реальном времени. Таковы
представленные на нашем рынке Matrox DigiSuite, dpsVelocityQ, Pinnacle TARGA 3000.
На примере линейки Pinnacle можно проследить, какие требования NLE-платы выдвигают
к параметрам отвечающих им дисковых массивов (см. таблицу).
Дисковая система NLE-станций высокого уровня традиционно строится на SCSI -- для получения гарантированной потоковой скорости операций ввода/вывода. Пока хватало скорости и объема внутренних массивов -- обходились ими. Однако уже для платы TARGA 3000, работающей в режиме YUV (16-битное некомпрессированное видео с потоком 21 MBps в представлении 4:2:2), проблема обеспечения места на дисках требует пересмотра бюджета или формата дисковой подсистемы. 10-дисковый встроенный массив на SCSI-винчестерах справляется с 4 потоками некомпрессированного видео, но его объема (~700 GB при использовании 73-гигабайтовых HDD) будет достаточно для порядка 8 часов исходного видео. Золотое правило монтажа -- иметь 50%-ный запас дискового пространства -- дополнительно увеличивает затраты на диски. А ведь большинству проектов и этого объема мало.
Последовательный отказ от накопителей SCSI в пользу относительно недорогих и емких IDE/SATA с выносом дискового массива за пределы видеосервера (станции) позволяет обеспечить высокую функциональность систем, удержав их стоимость в разумных пределах. Без высокопроизводительного интерфейса дисковому массиву не обойтись, а вот переход на носители IDE и SATA (в силу более простой реализации подключения последние становятся стандартом) индустрия пережила довольно легко. Для видеопроизводства не так характерен многозадачный (multithread) режим доступа к дискам, важнее достижение как можно большего дискового объема.
Сам по себе переход к высокоемким дискам SATA лишь отчасти решает проблему, следующим шагом является отказ от внутренних массивов в пользу внешних реализаций. Этого требуют не только конструктивные ограничения видеосерверов (на количество дисков, мощность источников питания, эффективность вентиляции), но и соображения отказоустойчивости, гибкости инфраструктуры, стоимости обслуживания.
Выбор вариантов интерфейса меж--ду внешним массивом и NLE-станцией невелик: SCSI и Fibre Channel (FC). FС перспективен, если в будущем планируется включить массив в состав сетевой структуры SAN (Storage Area Network), но с точки зрения подсоединения DAS-хранилища реализация FC заметно дороже. Запаса производительности SCSI достаточно, контроллеры SCSI распространены на рынке и относительно недороги. SCSI-массив подключается через внешний разъем SCSI-контроллера NLE-станции. Приведенные доводы оправдывают выбор в качестве устройства для тестирования внешнего дискового массива, построенного на дисках Serial ATA и работающего под управлением собственного RAID-контроллера с внешним интерфейсом Ultra 320 SCSI.
|
|
Внешний дисковый массив Entry
Store 414 позволяет разместить 16 HDD в корпусе высотой 4U |
Дисковые массивы на службе
безопасности
В отличие от видеоиндустрии рынок систем безопасности не так публичен
(есть своя специфика!), но о нем косвенно можно судить по сводкам о приросте
национального продукта и... по темпам строительства элитного жилья. Базовые
"ценности" здесь те же -- серьезные объемы дорогостоящей информации
мультимедийной природы.
Источником данных для дискового массива в системах безопасности является
видеосервер с интегрированной платой видеозахвата. Если сравнивать его с
аналоговыми системами, такой видеосервер заменяет собой мультиплексор, квадратор,
матричный коммутатор и видео-магнитофон. Внешнее хранилище на дисковых накопителях
подключается к видеосерверу, обеспечивая размещение и долгосрочное хранение
больших объемов оцифрованного видео.
Поток видео генерирует кодек видеосервера. В качестве примера можно привести
запросы потокового кодека DvPack, применяемого в системе VideoNet -- разработке
российской компании "Росси СП", одного из лидеров в области цифровых
систем наблюдения. Средний объем ч/б кадра при разрешении 768x576 и относительно
небольшом движении составляет 7,75 KB (и это на 20--40% ниже, чем у аналогичных
представленных на рынке систем). По оценкам Департамента систем безопасности
донецкой компании "АМИ", для типового объекта корпоративной системы
видеонаблюдения с 32 ч/б камерами, скоростью обработки 6 кадров/с по каждому
каналу и разрешением 768x576, чтобы разместить собранные за сутки видеоданные,
потребуется 120--150 GB дискового пространства. Разброс значений связан
с прямой зависимостью объема видеоинформации от характера движения в кадре.
Длительность хранения видеоархива может варьироваться от нескольких дней
(казино, склады с периодом инвентаризации 7 дней и др.) до нескольких месяцев
(заводы, супермаркеты, аэропорты, банки, вокзалы и другие общественные учреждения,
посещаемые большим количеством людей). Для обеспечения месячного срока хранения
нужен дисковый массив объемом 4,5 TB.
Для обслуживания видеоархивов такого класса требуются хранилища с гарантированно
высокой потоковой скоростью передачи данных от видеосервера. В системах
безопасности крупных режимных объектов с распределенной структурой ввода
изображений, хранения архивов и распределенным доступом к данным используют
FC-сети SAN, однако из-за простоты подключения, реализации, а также относительно
низкой стоимости наиболее популярным остается классическое DAS-подключение
внешнего массива по интерфейсу SCSI. Учитывая, что более важным показателем
для систем видеонаблюдения является запас объема хранимой информации, задействование
дорогих SCSI-дисков для размещения видеоархивов нецелесообразно. Экономически
оправданным становится применение дисковых массивов класса SCSI-to-SATA
(SCSI-to-IDE), снабженных собственными средствами управления.
Как правило, в системах видеонаблюдения используется два режима работы дисковых
массивов:
- архивирование (переписывание данных с внутренней дисковой системы сервера
на внешний дисковый массив);
- просмотр архивов (чтение данных в несколько потоков).
- Разумеется, массив должен допускать параллельную работу обоих режимов --
т. е. одновременную запись и чтение.
Как известно, современные хранилища поддерживают различные уровни RAID.
Применение RAID 0 противоречит задаче, так как массив не будет отказоустойчивым
(т. е. при выходе одного диска из строя происходит потеря всех данных).
RAID уровня 10 экономически невыгоден из-за нерационального использования
дискового пространства. RAID уровня 5 является наиболее оптимальным как
по скорости функционирования, так и по надежности хранения данных. При работе
с RAID 5 активно задействуется процессор контроллера дискового массива,
что обеспечивает сохранение высоких скоростных показателей чтения/записи
при физическом выходе из строя одного из дисков массива.
Работа внешних управляемых дисковых массивов класса SCSI-to-SATA на реальных
объектах "АМИ" показывает, что они полностью справляются с ролью
центрального онлайн-видеоархива в системах видеонаблюдения. С учетом цен
на SATA-накопители и стремительного роста их емкости (производителями заявлены
устройства 400--500 GB) можно с уверенностью сказать, что рассмотренный
вариант хранения информации обеспечивает необходимый оперативный доступ
к ней с заданной производительностью при разумном уровне денежных затрат.
Отдельно стоит остановиться на обеспечении сохранности данных. Если речь
идет о безопасности, потеря даже отдельных фрагментов видеозаписи недопустима.
Когда охраняемое на несколько порядков дороже охраны, поневоле задумаешься
о том, что средства обработки и хранения информации должны быть прежде всего
функциональными (производительность, отказоустойчивость, расширяемость),
а уж потом экономичными. |
Конфигурация тестовой системы
Исследование связки "станция NLE -- внешний дисковый массив"
проводил AV-департамент компании Entry на задачах редактирования/записи многопоточного
видео. В качестве источника видеопотока была выбрана плата нелинейного монтажа
Pinnacle TARGA 3000. Через внешний разъем SCSI-контроллера станции подключался
массив Entry Store 414 -- внешнее хранилище на 16 дисков SATA. Собственный 16-канальный
RAID-контроллер с двумя внешними каналами U320 SCSI позволяет обслужить впечатляющий
объем дискового пространства (4 TB на носителях емкостью 250 MB). Дисковый массив
является ОС-независимым, простым и удобным в администрировании -- конфигурация
и сервисные операции осуществляются с помощью Web-интерфейса через Ethernet, порт
RS-232 или же непосредственно со встроенного LCD-экрана.
Спецификация NLE-станции:
- корпус Chenbro SR107 460W;
- материнская плата Tyan S2665ANF Thunder i7505;
- контроллер Adaptec 29160LP;
- процессор -- 2xIntel Xeon 2,4 GHz (FSB 533 MHz);
- память -- 2x512 MB DDR SDRAM PC2100;
- видеокарта Hercules 3D Prophet 9600 256 MB;
- плата нелинейного монтажа Pinnacle TARGA 3000;
- операционная система Windows XP Pro SP1.
Спецификация массива Entry Store 414:
- конструктив 4U с отказоустойчивым источником питания 460 Вт 2+1;
- 16-канальный SCSI-to-SATA RAID-контроллер, уровни RAID: 0, 1 (0+1), 3, 5, 6,
JBOD;
- кэш-память 512 MB DDR ECC (поддерживается до 1024 MB);
- 16 дисков ST3160023AS Seagate Barracuda 7200.7 160 GB Serial ATA;
- два внешних разъема HDCI SCSI.
Использовались тесты:
- IOMeter 2003.02.15;
- HD_Speed v. 1.4.0.43;
- Canopus Raptor-RT Environment Checker v. 1.00;
- "живая" работа на станции нелинейного монтажа на базе Pinnacle TARGA
3000.
Требования к объему и производительности
дискового массива на примере плат NLE от Pinnacle Systems |
Плата
NLE компании Pinnacle Systems |
Поток,
MBps |
Необходимый объем дискового пространства,
GB/ч |
Рекомендованный объем дискового
пространства, GB/ч (50% запас для монтажа) |
ReelTime
NITRO |
14,4 |
50,6 |
75,9 |
TARGA
2000/DTX/RTX/SDX |
14,4 |
50,6 |
45,9 |
TARGA
3000 (MPEG) |
6,25 |
21,9 |
32,9 |
TARGA
3000 (YUV) |
21 |
73,8 |
110,7 |
TARGA
3000 (RGB) |
42 |
147,6 |
221,4 |
CineWave
HD |
125 |
439,4 |
659,1 |
Содержание тестов
Тестирование проводилось при установленных
16 SATA-дисках Seagate Barracuda и 512 MB кэш-памяти. Создавался один раздел объемом
2044 GB, все тесты выполнялись при заполнении массива на 1/3. Такой подход уместен
-- как показывает практика, скорость и отдельного накопителя, и любого дискового
массива снижается по мере заполнения. Для измерения скорости работы массива с
помощью теста IOMeter использовались модели Data Streaming. Тесты HD_Speed и Raptor-RT
Environment Checker проводились по пять раз, полученные данные усреднялись.
RAID 0
Различие в скорости массива в зависимости от количества дисков в RAID 0,
измеренные синтетическим тестом, незначительны. А вот работа с TARGA 3000 показала
немного другую картину. Массивы из 16, 11 и 6 дисков без проблем воспроизводят
4 потока некомпрессированного видео (YUV, 21 MBps) при длительном хронометраже
клипов (более 20 минут), а вот массив из менее чем пяти дисков хорошо справляется
лишь с двумя потоками.
RAID 6
Следует отметить, что поддержка уровня RAID 6 -- достаточно редкая опция
(RAID 6 допускает двукратный отказ накопителей без потери данных). При организации
в виде RAID 6 массив из 16 дисков продемонстрировал в тестах HD_Speed и Raptor-RT
Environment Checker практически ту же производительность, что и в RAID 0: скорость
записи -- 103 MBps, чтения -- 97 MBps. Показатели согласуются с результатами теста
IOMeter: скорость запи--си -- 103 MBps (1648 IOps), чтения -- 85 MBps (1353 IOps).
Без проблем массив справился с записью одного и воспроизведением четырех потоков
некомпрессированного видео. При записи видео имитировался выход из строя одного
и двух дисков -- при работе с TARGA 3000 это не вызвало проблем с записью одного
потока некомпрессированного видео (YUV, 21 MBps). В случае отказа одного из дисков
без проблем воспроизводились четыре таких потока, а при двукратном отказе на длительном
хронометраже без пропуска фреймов отрабатывалось только три потока. В режиме двукратного
отказа значения скорости, измеренные с помощью IOMeter, составили 85,9 MBps (1375
IОps) на чтение и 84,9 MBps (1359 IOps) на запись. Время воcстановления массива
(rebuild) при замене одного из вышедших из строя дисков оказалось равным 2 часа
32 минуты, при двукратном отказе -- 3 часа 20 минут.
RAID 5
В RAID 5 массив сохранил показатели производительности -- скорость, измеренная
HD_Speed и Raptor-RT Environment, составила 102 MBps на запись и 97 MBps на чтение.
Значения, полученные с помощью IOMeter при заполненном на треть массиве, очень
близки: 102 MBps (1632 IОps) и 94,2 MBps (1632 IОps) соответственно. Имитация
выхода одного диска из строя практически не изменила показателей. Работа с некомпрессированным
видео это подтвердила как при записи, так и при воспроизведении. Время восстановления
массива (rebuild) при замене одного из вышедших из строя дисков составило 2 часа
32 минуты, при двукратном отказе -- 3 часа 20 минут. Контроллер массива позволяет
задавать приоритетность процесса rebuild, и при значениях порядка 20% не было
замечено каких-либо проблем с записью и воспроизведением трех потоков некомпрессированного
видео. С помощью паттерна для IOMeter моделировалась работа в режиме массива двухканального
вещательного сервера (один канал записи и один чтения). Скорости записи и воспроизведения
оказались равными 25 MBps.
RAID 3
От массива RAID 3 мы ожидали большей производительности по сравне-нию с
RAID 6 и RAID 5, и он оправдал наши надежды -- 117 MBps на запись и 102 MBps на
чтение показали HD_Speed и Raptor-RT Environment Checker. Значения, полученные
с помощью IOMeter, -- 101 MBps (1612 IОps) чтение и 91 MBps (1458 IOps) запись
-- немного ниже аналогичных для RAID 5.
При работе с TARGA 3000 проблем не возникло ни в режиме записи, ни в режиме воспроизведения при выходе из строя одного из дисков. Время восстановления массива составило 1 час 50 минут. В режиме работы Entry Store 321 как внешнего массива двухканального вещательного сервера (один канал записи и один чтения) скорости записи и воспроизведения оказались также равными -- 29 MBps.
Promise UltraTrak RM15000:
массив SCSI-to-ATA на 15 дисков
Еще до того как отечественные компании-производители
серверов освоили выпуск внешних хранилищ данных, на наш рынок поставлялись
так называемые дисковые стойки западных брендов. Promise Technology, начинавшая
с выпуска чипов для контроллеров IDE RAID и самих контроллеров, освоила
внешние хранилища сравнительно недавно, но сейчас в линейке продуктов имеются
устройства, способные составить пару серьезному серверу. Одно из них --
UltraTrak RM15000, использующее ставшую популярной идею сочетания интеллектуальной
и быстрой шины SCSI и дешевизны IDE-винчестеров.
Массив UltraTrak RM15000 выполнен в корпусе толщиной 3U и допускает одновременную
инсталляцию до 15 IDE-дисков. Мак-симальный объем дискового пространства
при этом будет зависеть от установленных моделей HDD -- поставляется стойка
без дисков, тем самым предоставляя свободу выбора винчестеров. Встроенный
RAID-контроллер поддерживает уровни RAID 0, 1, 10, 3, 30, 5, 50 и JBOD.
В качестве внешнего интерфейса используется Ultra160 SCSI, для наращивания
суммарной емкости возможно последовательное объединение таких устройств
в цепочку.
Как принято для подобных устройств, особое внимание уделено отказоустойчивости:
реализованы функции "горячей замены" (hot-swap, который изначально
не поддерживается на IDE) и резервирования дисков (hot-spare), а основные
компоненты, критичные для работы, продублированы. Мо-дульная конструкция
обеспечивает доступ ко всем элементам системы через фронтальную или тыловую
стенки корпуса. Служба мониторинга отслеживает состояние не только дисков,
но и всех вентиляторов и блоков питания. Передняя панель выполнена в виде
откидной крышки, закрывающей отсеки с установленными дисками и содержащей
встроенный двухстрочный ЖК-индикатор, который может отображать состояние
всего массива или каждого из установленных дисков.
Управление UltraTrak RM15000 может осуществляться как с консоли по интерфейсу
RS-232, так и по сети с помощью встроенного Web-сервера и ПО Promise Array
Management. Стандартно поддерживаются гибкое переконфигурирование массивов
без прекращения работы, мониторинг текущего состояния и механизм оповещения
о сбоях (как локально, так и удаленно -- вывод диалогового окна, отправка
сообщения по e-mail и т. д.).
Promise UltraTrak RM15000 предоставлен
фирмой "ОКТА": тел. (044) 517-3256
|
Выводы
До недавних пор единственным возможным решением для создания массива в
системе на базе плат NLE класса Pinnacle TARGA 3000 и dpsVelocityQ оставались
дисковые массивы SCSI во внутреннем или внешнем исполнении. При этом необходимость
достижения сколь-нибудь серьезных объемов дискового пространства означала резкое
удорожание оборудования. Проведенное тестирование показало, что внешние хранилища
класса SCSI-to-SATA, снабженные собственным RAID-контроллером, решают и проблему
производительной работы с видеоданными, и обеспечения большого объема. Разница
в цене накопителей SCSI и SATA из расчета на 1 GB полезной емкости (для Entry
Store 414 она находится в пределах $2) определяет величину выигрыша.
Массивы такого класса подойдут как крупным студиям (которым уже сейчас нужны для
работы терабайты места на дисках), так и средним, планирующим постепенное наращивание
объемов выпускаемой продукции и соответственно необходимого дискового пространства.
Возможности выбора уровня RAID позволяют определить оптимальное соотношение
между производительностью и устойчивостью к отказам накопителей. Более того, можно
создавать одновременно несколько массивов с различными уровнями RAID, а также
производить наращивание объема и перестройку уровня RAID (RAID level migration)
одновременно, без остановки работы массива и с сохранением данных. Высокие скоростные
показатели в режиме "двухканального сервера" дают возможность применять
данный массив и для построения вещательных серверов, работающих как в формате
MPEG-2, так и с материалом в MJPEG, например на платах Matrox серии DigiServer.