О дисковых массивах для видео с небольшим историческим экскурсом

22 сентябрь, 2003 - 23:00Владимир Грегуль
Все начиналось в самом конце 70-х. Именно тогда компанией AMPEX был создан первый промышленный образец некой системы для записи видео на жесткий диск. Устройство HS100С имело внушительных размеров диск из алюминия с двухсторонним магнитным напылением и четырьмя головками записи/чтения. Диск вращался с частотой 3000 об/мин, его объем позволял записать 36 с некомпрессированного видео, причем воспроизводить его можно было со скоростью от --1 до +3. Точно неизвестно, сколько стоило творение канувшей в Лету AMPEX, но, думается, не одну сотню тысяч.

О дисковых массивах для видео с небольшим историческим экскурсом
Medea VideoRaid RTR -- пример дискового массива для хранения и редактирования видеоданных
О дисковых массивах для видео с небольшим историческим экскурсом
Поскольку поток активной части цифрового видеосигнала по стандарту CCIR-601 (4:2:2) при уровневом кодировании 8 бит составляет более 20 MBps, становится понятно, с какими трудностями пришлось столкнуться производителям первых устройств записи на жесткий диск.

Вслед за AMPEX в начале 80-х на рынок вышли новые игроки, такие, как Accom, Abekas и Quantel. В то время не существовало эффективных алгоритмов компрессии видео, а главное, их было очень тяжело реализовать в виде системной логики. Уровень развития систем магнитной записи с произвольным доступом также не позволял обеспечить возможность записи видео с громадными на то время показателями потока. Каждый из пионеров создания DDR (Digital Disk Recorder) изобретал свой "велосипед" в виде монстровидных устройств с жесткими дисками собственного производства.

К концу 80-х профессионалам уже были доступны первые станции для работы с видео таких компаний, как Silicon Graphics, Avid и Quantel. В начале 90-х их счастливые обладатели гордо взирали на жалкие попытки коллег редактировать видео на РС. Но дуэт Wintel не сидел сложа руки и не собирался отказываться от борьбы за место на рынке.

Впервые видео попало на РС благодаря устройствам покадрового ввода/вывода. Поскольку пропускной способности ISA-шины, доминирующей на РС в то время, было явно недостаточно для работы с видео, производители изобрели "новый велосипед" -- фрейм-буфер. Фрейм-буферы -- это устройства, которые, будучи оснащенными большими или меньшими объемами памяти (самые "крутые" -- 2 MB), могли вводить и выводить каждый кадр отдельно с разрешением вплоть до 768 576 и палитрой до 16 млн. цветов. Ну а существующие жесткие диски в режиме offline способны справиться с записью/считыванием за время "отката" магнитофона на следующий кадр. Лучшие из фрейм-буферов того времени обеспечивали качество, до сих пор считающееся эталоном.

Появление элементной базы, обеспечивающей аппаратную компрессию видеосигнала, обусловило бурное развитие систем захвата и монтажа видео на РС. Как только удалось реализовать в "железе" компрессию M-JPEG и добиться приемлемого качества видео при степени компрессии 6:1, подоспевшие к тому времени SCSI-диски и шина EISA позволили работать с видео на РС в реальном времени. Одним из наиболее популярных продуктов для редактирования видео в реальном времени стала плата TARGA2000 компании Truevision. От конкурирующих разработок она выгодно отличалась наличием аппаратного ускорителя просчета монтажных видеоэффектов.

Созданная в 1988 г. канадская компания Digital Processing Systems (DPS), не решаясь ставить процесс видеозахвата и сброса в зависимость от работы шины РС, выпустила плату Personal Animation Recorder (PAR) со встроенным IDE-контроллером. Плата производилась как для РС в ISA-исполнении, так и для очень популярной в то время платформы Amiga в виде полноразмерной карты ZorroII. На доступные в то время 500 мегабайт IDE-винчестера можно было записывать 3--5 мин видео. PAR стала первым продуктом DPS, с которым отечественные пользователи познакомились в начале 90-х.

А уже в ноябре 1994 г. по отечественному телевидению была показана первая программа, полностью смонтированная на жестком диске компьютера и выпущенная в эфир не с видеоленты, а непосредственно с этого же диска.

Что считать хорошей производительностью дисковых массивов?

Производительность дисковых массивов часто выражается числом операций ввода/вывода за секунду (IOps) и/или количеством переданных мегабайтов в секунду (MBps).

Как MBps, так и IOps являются показателями быстродействия, но не его синонимами, кроме того, они имеют обратную зависимость -- большее значение IOps означает низкое MBps (см. диаграмму).

Например, приложение требует 1000 IOps при размере блока 8 КB, что равнозначно пропускной способности в 8 MBps (1000 IOps x 8 КB = 8 MBps). При использовании канала Fibre Channel с 200 MBps значение 8 MBps уже не является хорошей производительностью (8 MBps означает использование лишь 4% пропускной способности FC), если говорить о ней в показателях MBps.

С другой стороны, если приложение видеомонтажа последовательно читает данные при размере блока 64 MB в три параллельных потока, это означает, что хотя и используется 96% пропускной способности FC (64 MB x 3 потока = 192 MBps), показатель IOps в данном приложении равняется всего трем.

О дисковых массивах для видео с небольшим историческим экскурсом


С конца 90-х началась "золотая эра" техники для работы с видео на РС в реальном времени. Так, только в 1998 г. появилось сразу четыре профессиональные системы нелинейного видеомонтажа с эффектами в реальном времени: TARGA2000 RTX/SDX от Truevision, DigiSuite от Matrox, Perception RT от DPS и 601 от FAST.

Столь бурное развитие систем обработки видео на РС, где приходится оперировать огромными массивами и потоками, подхлестнуло IT-индустрию к созданию и внедрению новых устройств и технологий хранения видеоданных.

Практически одинаковые исходный некомпрессированный и записанный видеосигналы удается получить лишь при уровне компрессии менее 1,6:1. До настоящего времени не существует "стандартного" жесткого диска, который смог бы записывать видеопоток со сжатием, обеспечивающим математически одинаковое качество исходного некомпрессированного и записанного сигналов. Для записи видео с такой степенью сжатия или без него применяют распределенную запись данных одновременно на несколько жестких дисков или на нестандартные дисковые носители.

Форматы и степени сжатия видео

Требования к пропускной способности дисковой подсистемы определяются форматом (типом компрессии), с которым работает то или иное устройство ввода/вывода видео.

Одним из наиболее старых форматов сжатия является M-JPEG с внутрикадровой компрессией. Степень компрессии способна варьироваться в широких пределах, но, как показывает практика, добиться качества, обеспечиваемого магнитофонами Betacam SP, можно при степени компрессии 4:1--3:1. При этом поток видеоданных составляет порядка 5--6 MBps. Минимальная степень сжатия, практически применяемого в технике с форматом компрессии M-JPEG, составляет 1,6:1.

Сегодня существует достаточно много систем для работы и с некомпрессированным видео. Формат D1 (YUV(4:2:2)) имеет поток порядка 20 MBps, и для хранения 1 часа видео требуется 72 GB дискового пространства. У того же формата D1, но в виде RGB c альфа-каналом (RGBA (4:4:4:4)), поток составляет уже порядка 40 MBps, и один час видео "съест" 144 GB на диске.

В новых системах обработки видео все чаще применяется и MPEG-2, большей частью I-frame, поскольку он позволяет производить монтаж с точностью до кадра, в отличие от MPEG-2 с IBP-структурой. Максимальный поток равен 6,25 MBps.

Ну а DV25 (4:1:1/4:2:0), ставший на сегодняшний день "индустриальным" стандартом, имеет поток 3,6 MBps, и один час DV-видео займет на диске "всего" 12 GB.


В то время как Ampex и Abecas самостоятельно разрабатывали специализированные жесткие диски, компания Accom избрала другой путь (как показало время, более правильный): использование множества стандартных жестких дисков, работающих параллельно. Тогда еще не существовало самого понятия RAID, но идея распараллеливания, воплощенная Accom, является по своей сути первым RAID-массивом нулевого уровня.

Со времен первого "рейда" прошло достаточно много времени, возникло само понятие RAID, появились и аппаратные реализации различных его уровней. На сегодняшний день практически любая компьютерная система для работы с цифровым видео, будь то диск-рекордер, вещательный видеосервер, станция нелинейного монтажа или постпродакшн-сервер, не обходится без RAID-массива.

RAID нулевого уровня нашел широкое применение в системах нелинейного видеомонтажа. Отличные скоростные характеристики, относительная дешевизна аппаратных средств и возможность "бесплатной" программной реализации -- вот его отличительные особенности. И хотя уровень 0 не предусматривает какой-либо избыточности информации (при организации RAID 0 выход из строя любого диска приводит к полной потере всей информации), на станциях нелинейного монтажа она зачастую и не нужна -- обычно все исходные материалы остаются доступными до конца работы. По крайней мере в Украине в 90% таких станций используется аппаратный либо программный RAID уровня 0. Сейчас существует достаточно много аппаратных средств, реализующих RAID 0, которые нашли свое применение в нелинейном видеомонтаже, -- от дешевых интегрированных RAID-контроллеров типа HighPoint до серьезных решений от компании 3ware, позволяющих объединять в RAID 0 и более высокие уровни до 12 IDE- или SATA-дисков, что дает возможность работать даже с некомпрессированным видео.

Более серьезные требования в отношении сохранности информации предъявляются к видеосерверам (для примера: срыв выдачи в эфир рекламного блока из-за сбоя дисковой подсистемы грозит серьезными финансовыми потерями для телекомпании). В связи с бурным развитием в последнее время сетей местного кабельного телевидения и Internet/intranet видеосерверы приобрели особое значение. Над их созданием и построением в настоящий момент активно работают не только фирмы, известные в мире видео, но и "полностью компьютерные компании" и разработчики программного обеспечения. Дело в том, что с точки зрения программирования видеосервер представляет собой почти обычный файл-сервер, обеспечивающий доступ к общим файлам и БД. Принципиальное отличие заключается в необходимости обеспечения непрерывного потока видеоданных, причем зачастую одновременно по нескольким каналам. Для доступа к обычным данным время отклика системы может достигать нескольких секунд, а процесс передачи -- прерываться для обслуживания более приоритетных транзакций. Время реакции для систем, работающих с видеоданными, не должно превышать сотых долей секунды, поскольку задержка в передаче данных даже в 1/25 с приведет к пропуску кадра -- а это уже брак. За редким исключением все видеосерверы построены по одной схеме: устройство ввода/вывода видео, компьютер с системой управления видеоданными и RAID-массив.

RAID является одной из неотъемлемых частей видеосервера, и от его производительности и надежности зависят аналогичные параметры всего устройства. На сегодняшний день в видеосерверах наиболее часто применяются RAID уровней 3 и 5.

Следует понимать, что RAID 3 и 5 имеют несколько разную производительность, особенно при выходе какого-либо диска из строя. При одинаковом количестве дисков быстродействие RAID 5 оказывается несколько выше, чем у RAID 3, поскольку при организации уровня 5 данные и избыточная информация одновременно записываются на все диски, в то время как при RAID 3 один диск резервируется для избыточной информации. Совсем другая ситуация наблюдается при выходе из строя одного из дисков. Производительность RAID 3 практически не уменьшается в случае отказа одного из винчестеров, поскольку избыточная информация, необходимая для восстановления потерянных данных, обрабатывается системной логикой контроллера в реальном времени. При выходе из строя диска в RAID 5 для восстановления данных необходимо производить определенное количество обращений к оставшимся дискам, поскольку на них как раз и распределена избыточная информация. Понятно, что на это требуется такое же время, как и для основного цикла, и "полезная" производительность системы падает.

Исходя из жесткой необходимости страховки при хранении данных множество светлых голов в различных компаниях взялись за разработку аппаратного обеспечения, позволяющего не допустить потери или восстановить всю информацию после наступившего "локального катаклизма".

На сегодняшний день существует достаточно много производителей дисковых массивов для работы с видео- и аудиоданными -- такие, например, как ADTX, Medea, Rorke Data и ряд других. Сейчас наметилась определенная тенденция более широкого применения IDE- и SATA-дисков для задач обработки видео. Так, компания Medea, выпускающая дисковые массивы исключительно для задач видеопроизводства, во всех своих моделях использует IDE-диски. Массивы Medea имеют внешний интерфейс SCSI и работают как со стандартными контроллерами SCSI (Adaptec, LSI и пр.), так и с интегрированными контроллерами, установленными на платах нелинейного монтажа (например, dpsReality). При использовании двухканальных SCSI-контроллеров системы Medea могут работать с приложениями, предназначенными для обработки и монтажа многопотокового некомпрессированного видео формата SD и HD, обеспечивая при этом эффективный поток 200 MBps. Каждый массив Medea воспринимается операционной системой как один большой SCSI-диск с единственным SCSI-идентификатором, что значительно повышает надежность хранения данных. Возможно объединение дисковых массивов Medea в цепочку, что позволяет увеличить общую емкость хранения до нескольких десятков терабайт. Аналогичную идеологию использует и ряд других производителей, в том числе ADTX.

При построении систем хранения медиаданных в вещательных и новостных комплексах широкое применение нашла технология SAN. Такие системы обычно состоят из объединенных в оптоволоконную сеть станций ввода, редактирования и подготовки видео, создания графики и оформления эфира, управления и вещания, а также серверов, используемых в качестве общего массива накопления данных. Применение SAN-технологии в таких задачах обеспечивает доступ в реальном времени всех пользователей к имеющимся аудиовидеоданным. Так, оцифрованный на одной рабочей станции материал можно редактировать на других, причем на разных станциях возможна одновременная работа с одним "исходным" видео. Это значительно повышает эффективность и оперативность всего вещательного комплекса в целом.

В Украине тоже достаточно светлых голов, которые занимаются разработкой и построением собственных решений для хранения медиаданных. Понятное дело, речь не идет о SAN, но определенные успехи в создании по крайней мере DAS-массивов (Directly Attached Storage) у ряда компаний есть. Все больше отечественных заказчиков понимают, что нужно платить не за "широкие возможности", а за "пользу", которая позволит решить их проблемы или сделать то, о чем они никогда не задумывались. А поскольку никто лучше нашего производителя не понимает задачи отечественного же потребителя -- системы хранения и управления медиаданными следует искать прежде всего в Украине.