Видеопроизводство и управление хранением данных

Медиаиндустрия генерирует от 10 до 15% цифровых данных в мире и потребляет значительные вычислительные ресурсы. Все больше становится поставщиков контента: от микроблогеров до домов творчества нового поколения - как Amazon и Netflix. Производство контента можно считать передовым полигоном ИТ, а его составные части – киллер-приложениями, среди которых хранение и распространение объемных данных занимают особое место.

Командная работа с объемными данными

Объемы хранения медиаданных увеличиваются из-за роста спроса/предложения, высокого разрешения видеоматериалов, вклада компьютерных спецэффектов и дополненной реальности в производимый продукт. Потребности студий в новом дисковом пространстве велики: все рабочие процессы видеопроизводства выстраиваются вокруг дисковых массивов, у которых множество ролей в производственных цепочках.

Командное видеопроизводство включает захват, запись, редактирование видео участниками рабочей группы в реальном времени на cетевых системах хранения. Есть задачи вспомогательного и долговременного размещения контента – на файловых серверах или в виде объектов. В облачном хранении и раздаче видео - отдельные классы приложений и свои наборы требований.

Всем нужна удобная среда: с быстрым доступом к видеоматериалам – если речь о постпроизводстве, надежным хранением архивов в дисковых стойках и на ленте, простым управлением данными, распределенными по множеству томов. Современная инфраструктура видеопроизводства поддерживает кроссплатформенность по клиентам (MacOS, Windows, Linux), гетерогенна по ресурсам хранения (SAN, NAS, объектные и облачные хранилища) и протоколам доступа к ним (FC, iSCSI, SAS, NFS, SMB, http), многослойна (с распределением контента по носителям – в зависимости от степени его востребованности), использует широкополосные сетевые соединения (FC 8-16Gb, Ethernet 10-40-100Gb), все это - в едином поле управления: рабочим пространством, проектами, медиа- и метаданными.

Контроллер метаданных как арбитр SAN

В сети SAN обращениями к блочным устройствам дирижирует арбитр DLM (Distributed Lock Manager). Он координирует конкурентный доступ клиентов к сетевым ресурсам и управляет очередностью записи блоков данных на носители. Если арбитраж реализуется средствами кластерной файловой системы – он будет работать на тех клиентах, где она смонтирована. Так устроена Quantum StoreNext File System и основанная на ней вертикально-интегрированная экосистема хранения. Она строится на оборудовании и программном обеспечении одного производителя,  закрытая и затратная.

Если функции DLM-арбитра выполняет дополнительный уровень абстракции поверх штатных файловых систем (NTFS, HFS), появляется возможность строить и развивать открытую кросс-платформенную среду видеопроизводства. Так работает Tiger STORE от Tiger Technology. Один из компьютеров сети, контроллер метаданных, разрешает доступ клиентам сети к устройствам хранения SAN (FC, iSCSI), он же служит шлюзом для LAN-подключений. Все клиенты SAN и LAN, работающие под управлением разных ОС: Mac, Windows, Linux, получают одновременный высокоскоростной доступ к общим ресурсам дисковых массивов.

Любая система хранения основана на сервере с хранилищем и быстром сетевом соединении. Производители, привязывающие пользователя к «экосистеме», резко ограничивают свободу его маневра. Как бы ни был хорош дисковый массив Avid NEXIS или Facilis Terrablock, лучше потратить деньги на универсальные средства управления, а хранилища покупать стандартные,  нужного объема и производительности. Открытый подход «SAN под видеопроизводство» позволяет небольшим студиям оптимизировать затраты и развиваться без оглядки на искусственные ограничения.

Простой вывод: пользователь должен быть свободен в выборе хранилищ, которые ему понадобятся на разных стадиях производства, хранения и распространения контента. Не управляющее ПО, и не производитель дисковых массивов диктует, какими должны быть аппаратные решения, а логика работы приложений с данными и уровень нагрузок.

Иерархия массивов, резервное копирование, архивирование медиаданных

Производительные дисковые массивы – один из самых дорогостоящих компонентов SAN, особенно в производстве медийного продукта. Под него всегда нужно много дискового пространства. Создание резервных копий быстрого доступа вообще всех данных потребовало бы удвоения бюджета. Оптимизировать затраты на хранение позволяет расслоение материалов по степени востребованности. Данные редкого обращения хранят на менее дорогих, не таких производительных хранилищах. Анализ движения и старения данных, с автоматической их ротацией между носителями – свойство развитых иерархических систем управления хранением (Hierarchical Storage Management, HSM).

Программный модуль Tiger BRIDGE (Replication & Tiering) позволяет создавать реплики данных основного массива на стороннем ресурсе, назначаемом пользователем (сетевой папке, NAS, в объектном хранилище, ленточной библиотеке LTFS). Наделенный функциями менеджера жизненного цикла данных основной массив (Tiger Box, Tiger Serve) всегда остается производительным хранилищем верхнего уровня (primary, online storage). На нем находятся операционные («горячие») данные. Файлы с «остывающими» данными автоматически перемещаются на один (secondary, nearline storage) или два уровня (tape) ниже, освобождая драгоценное пространство скоростного массива. При этом на верхнем слое остается ярлык файла с его исходным именем и расширением - чтобы двойным щелчком быстро вернуть данные на исходный уровень, как только они понадобятся. Replication & Tiering работает автоматически в фоновом режиме, прозрачно для пользователей и приложений, превращая разнородные  устройства хранения в бесшовную систему HSM.

Виртуализация файловой системы и объединения массивов

Добавление в инфраструктуру новых массивов с данными вносит проблему управления множеством томов, по которым распределены данные проектов. Производители массивов виртуализируют системы хранения – когда несколько устройств блочного доступа представляются в виде единой  среды со специфической файловой системой.  Такое решение привязывает пользователя к одному производителю и все равно неудобно (а иногда, неприемлемо) для приложений, требующих единой точки монтирования данных – при их миграции пользователей надо отключать.

Tiger Technology последовательна в своем абстрагировании от оборудования. Вместо виртуализации на уровне блоков данных компания предлагает инструментарий создания частично или полностью виртуальной файловой системы под различные приложения. Виртуализация файловой системы – это процесс прозрачной презентации контента пользователю, приложению или операционной системе, без изменения исходных данных базовой файловой системы. Поскольку виртуализация – динамический процесс, изменения в атрибуты и содержимое файлов можно вносить «на лету», без фактического изменения файла в постоянном хранилище. Пользователь работает с логическими объектами файловой системы – например, объединениями папок из разных томов и местоположений, может представить файл в альтернативном формате – например, PDF из файла Word и т. д.

Технология Tiger POOL создает виртуальную файловую систему (storage pool) поверх существующей файловой системы (NTFS). Строятся логические объединения разнородных ресурсов хранения (Fibre Channel, SAS, iSCSI, FireWire, USB), пулы собираются/разбираются “на лету”, на существующих мощностях, без потери даных.

Управлять данными, а не массивами

Интеллектуальное управление хранилищами, не привязанное к «экосистемам», дает свободу развертывания рабочих процессов видеопроизводства. На выбор компонентов инфраструктуры должны влиять требования приложений, а не ограничения производителей. В интегрированной среде управления движением данных (а не единицами оборудования) вложения защищены лучше, при открытых стандартах порог вхождения в бизнес ниже, а перспективы развития шире. Все-таки, расходы на хранение были остаются одной из основных статей ИТ-затрат студий.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365