`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

SAN под видеопроизводство

+66
голосов

Студийное видеопроизводство построено на командной работе с объемным контентом. Чтобы обеспечить масштабируемое хранение с общим доступом, быстрый отклик и стабильно высокую скорость передачи потоковых данных, строят сети хранения данных - SAN. Как выбрать модель роста и оптимизировать затраты?

Почему SAN?

Сетевая среда видеопроизводства строится вокруг хранилищ данных. Достаточно емких, чтобы вмещать архивы контента в высоком разрешении, достаточно производительных, чтобы обслуживать многопоточные конкурентные запросы клиентских станций. Хотя рост пропускной способности сети Ethernet и демократизация цен на оборудование 10 Гб открывает перспективы для сетевого хранения с файловым доступом по протоколам NFS или SMB, индустриальным стандартом по-прежнему остается блочный протокол Fibre Channel (FC) 8-16Гб и сети FC SAN – из-за стабильно высокой скорости передачи потоков данных и низких задержек обращения к хранилищам. В сети Ethernet используют блочный протокол iSCSI и строят IP-SAN.

Cетевые устройства файлового обращения NAS пересылают файлы по общей локальной сети. Они просты для коллективного использования ресурсов. Их минус – относительно медленный доступ через протоколы сетевых файловых систем, сетевые задержки. SAN-устройства, с точки зрения пользователя, видны как локальные диски и работают на уровне блоков данных. Как отдельная внутренняя сеть, SAN обеспечивает скоростной трафик между серверами/клиентами и устройствами хранения, за счет низкоуровневого доступа к ресурсам. Цена реализации выше, для совместной работы с данными нескольких инициаторов нужен арбитраж обращений, но производительность того стоит.

Выбирая для реализации творческой идеи топологию SAN (большой проект, много монтажа, визуальные эффекты, цветокоррекция – и все это с жесткими временными рамками выполнения работ), начинают пошагово строить инфраструктуру. Минимальный объем хранилища считают, исходя из формата видео и хронометража исходных данных. Сеть, транспортные протоколы и скоростные параметры системы хранения данных подбирают под количество клиентских станций и форматы медиаданных, с которым они будут работать. Собрав прототип сети, по выбранному блочному протоколу подключают первую рабочую станцию к СХД. Смонтировав файловую систему СХД, приступают к работе. Подключают вторую станцию. Что произойдет, когда второй клиент попытается обратиться на запись к тем же секторам на массиве, с которыми работает первый? Файлы будут состоять из блоков принадлежащих разным рабочим станциям. Шли и пришли к разрушению файловой системы.

Суд идет

Для реализации общего доступа к блочным устройствам SAN  нужен арбитр, управляющий очередностью записи блоков - Distributed Lock Manager, DLM. Он работает на всех клиентах, где смонтирована файловая система, и которые обмениваются между собой информацией по сети. Его функция - координировать операции, которые могут повлечь за собой конкурентный доступ к какому-либо ресурсу файловой системы. Арбитраж может быть реализован средствами кластерной файловой системы (GPFS, Lustre, VMware VMFS, Oracle Cluster File System), либо как дополнительный уровень абстракции поверх штатных файловых систем (NTFS, HFS).

Если строить инфраструктуру в рамках специфического окружения, “экосистемы” из рук одного разработчика, обо всем этом можно не задумываться. В медийном бизнесе много проектов, построенных на таких самодостаточных кластерных файловых системах, как Apple Xsan или Quantum StorNext File System. Дело за малым – изучить/внедрить Xsan, или найти средства на покупку оборудования Quantum. Вертикально-интегрированные экосистемы удобны, но они накрепко привязывают пользователя к поставщику и совместимому продуктовому ряду. Мягко говоря, затратный вариант.

Абстрагируемся

Подняться над привязкой к конкретным файловым системам, СХД, клиентским ОС и транспортным протоколам нам поможет дополнительная надстройка. Вводимый слой абстракции нужен для арбитража одновременных обращений и распределения доступа – чтобы в своем рабочем пространстве (workflow) пользователи работали с общим ресурсом как с локальным, вне зависимости от клиентской платформы и набора ПО. (Сходным образом виртуализация абстрагировала серверные приложения от серверов, поместив исполняемый код в универсальные контейнеры под управлением гипервизоров. Простая переносимость приложений стала нормой).

Подобное ПО (примеры: Studio Network Solutions SANmp, CommandSoft FibreJet, Tiger Technology Tiger Store) позволяет командам совместно работать над проектами, с общими медиафайлами: в реальном времени захватывать, записывать и редактировать видео на системах хранения, без копирования файлов на локальные устройства. Подходы отличаются, цель одна: развязать пользователям руки и поднять продуктивность групповой работы в SAN.

На примере Tiger Technology рассмотрим, как в задачах видеопроизводства может трансформироваться рабочее пространство группы в целом, какие преимущества дает управление логическими наборами данных (а не физическими устройствами хранения), как возникают и автоматизируются полезные службы.

От metaSAN к Tiger Serve

Tiger Technology начинала с metaSAN – ПО управления кросс-платформенными SAN,  позволяющего нескольким хостам совместно использовать физические или виртуальные дисковые устройства с подключением по FC, iSCSI, Ethernet или Infiniband.  metaSAN –  это DLM-арбитр, работающий поверх файловых систем NTFS/HFS, независимо от устройства систем хранения и сетевых компонентов. В смешанном окружении metaSAN позволяет клиентам Mac, Windows и Linux работать с неродными томами. Один из компьютеров сети, метадата-контроллер (MDC), разрешает доступ клиентам сети к устройствам хранения. metaSAN лицензировался поклиентно.

Эволюция продукта привела к Tiger Serve – интегрированной, устойчивой к отказам среде управления рабочими процессами видеопроизводства, которая хорошо масштабируется по клиентам и блочным устройствам хранения любого типа. Гибкость лицензирования (поклиентно, безлимитно по клиентам, по емкости подключаемых устройств хранения, помодульно) оставляет компаниям выбор модели роста. Такие сервисы как Smart Pooling, Replication & Tiering, projectStore PRO (о них ниже) повышают продуктивность групповой работы. Клиенты Tiger Serve  свободны в выборе программного инструмента постпродакшн, включая приложения Avid, использующие "биновую" систему распределения медиаресурсов.

 

SAN под видеопроизводство

Умные пулы

Производственные студии довольно быстро сталкиваются с ростом потребности в дисковом пространстве. Самый простой способ масштабирования емкости хранения - добавление новых массивов - оборачивается проблемами в администрировании. Приходится управлять множеством томов, распределять по ним данные одного проекта. Это неудобно, а иногда неприемлемо для приложений, требующих единой точки монтирования данных. Решение проблемы - в виртуализации СХД, когда несколько устройств блочного доступа представляются в виде единой файловой системы. Большинство таких решений проприетарны, требуют отключения пользователей при проведении миграции и приводят к простою всей рабочей группы.

Тiger Technology Smart Pooling решает эту проблему простым и элегантным способом. В отличие от виртуализации на уровне блоков (как это делают аппаратные RAID контроллеры), Smart Pooling создает виртуальную файловую систему (storage pool) поверх существующей файловой системы (NTFS). Такой подход имеет два преимущества – гетерогенность объединяемых ресурсов (Fibre Channel, SAS, iSCSI, FireWire, USB) и возможность собирать/разбирать пул на ресурсах с данными без их потери.

SAN под видеопроизводство

Репликация с тонкими нотками зонирования

Пока медийный продукт находится в стадии производства, видеоматериалы являются ценным активом студии.  В споре творцов с инженерами (первые хотят все делать быстро, спеша сдать работу заказчику, вторым приходится обеспечивать сохранность материала) нужен компромисс. В идеале, для всех данных, доступных онлайн, нужны резервные копии. При дублировании материала быстрого доступа, бюджет тоже придется удвоить: хранилища – один из самых дорогостоящих компонентов SAN.

Оптимизирует расход дорогих носителей разделение данных по степени востребованности. Чем меньше объем «горячих» данных – тем дешевле производственные хранилища первого уровня, больше оперативный простор. Данные редкого обращения («прохладные») могут храниться на вторичных хранилищах – не таких производительных, менее дорогих. Однако, если данные переносить туда-сюда руками - жди беды: человеческий фактор в управлении копированием/ архивированием/ восстановлением данных вредоносен. Нужна автоматизация.

В реализации Tiger Technology задача решается с помощью технологии Replication & Tiering -  поддержания горячего слоя хранения в «тонусе» путем переноса данных на уровень ниже (SMB/ CIFS сетевая шара, объектное хранилище), а с учетом поддержки Linear Tape File System (LTFS) -  на два уровня ниже. Помимо выполнения функций менеджера жизненного цикла данных, Replication & Tiering выполняет функцию «замещения» -  файл, перемещенный на более низкий уровень, остается на горячем слое в виде ярлыка с исходным именем и расширением - что позволяет понять его реплицированную природу и вернуть на исходный уровень по требованию.

Replication & Tiering работает автоматически в фоновом режиме, прозрачно для пользователей и приложений, превращая разнородные  устройства хранения в бесшовную иерархическую систему хранения данных.

SAN под видеопроизводство

Работа с проектами

ПО Tiger projectStore PRO поднимает управление рабочими процессами на уровень проектов.  Добавляются мощные средства транскодирования, быстрого поиска, архивации. Администрирование дискового пространства, пользователей, медиаданных, метаданных, резервного копирования и архивации позволяет гибко распределять ресурсы. Можно отдавать клиентам не весь объем СХД, а его часть, причем динамически изменяемую. Разграничение доступа повышает управляемость командным процессом и эффективность работы групп пользователей. 

Свобода лучше несвободы

Пример Tiger Serve Integrated Storage Workflow показывает, что можно последовательно и предсказуемо выстраивать рабочие процессы видеопроизводства с минимальной зависимостью от “экосистем” и “стандартов”.  Комфортное управление доступными ресурсами в состоянии обеспечить тонкий, и не слишком дорогой программно-аппаратный слой, абстрагированный от оборудования и сопутствующего ему специфического ПО. Свобода выбора компонентов SAN (хранилищ, серверов, клиентов) и интерфейсов  подключения (Fibre Channel, SAS, InfiniBand, iSCSI, 10/40Gb Ethernet) позволяет оптимизировать капитальные и операционные затраты – ведь творческим командам всегда тесно в рамках разорительных ограничений.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+66
голосов

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT