`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Управление медийными активами в облачном мире

+55
голосов

Взрывной рост информационных активов - серьезная проблема для целых отраслей. Тяжелое бремя управления данными сегодня ложится на медийную индустрию. Производство и доставка видео требуют все больших мощностей для обработки и хранения материалов. Поддают жару технологии подготовки контента и переход к высокому разрешению.

Студии и вещатели обзаводятся хранилищами видео все большей емкости. В 1998 году для производства мультфильма «История игрушек-2» хватило 10GB на жестких дисках. Относительно недавние «Аватар» и кинотрилогия «Хоббит» потребовали нескольких петабайт. В таких проектах одновременно работают тысячи пользователей, сотни вычислительных узлов и устройств хранения. Другой очевидный пример генератора контента - спортивные трансляции, с потоками HD-видео от десятков камер и валом сопутствующей информации.

Растет спрос на системы экономичного хранения с удобным доступом к контенту.  Студиям недостаточно традиционного хранения материалов на собственных сетевых дисках и цифровых ленточных устройствах. Они осваивают облачные технологии – так удобней работать с разрастающимися ключевыми активами, обеспечивать сохранность данных и устойчивость к сбоям инфраструктуры, доставлять контент потребителю.

Оно увеличивается

Смена форматов с повышением разрешения картинки приводит к резкому росту объемов видеофайлов. Каждый переход: от SD к HD, потом к 4K, а скоро и 8K увеличивает требования к емкости хранилищ в разы.

Так, типичный для американского ТВ 30-минутный ролик (в формате NTSC) содержит в среднем 22 минуты произведенного контента. В зависимости от формата, размер сырого несжатого файла RGB 3x16 bit составляет:

 

  • SD = 482GB
  • HD = 756GB
  • 4K = 2,100GB (2.1TB)
  • 8K = 7,880GB (7.88TB)

Управление медийными активами в облачном мире

С длинным метром еще пуще. Типичная кинолента продолжительностью 130 минут в формате 8К занимает свыше 40TB дискового пространства. С учетом разных кодировок, адаптации под размер экрана и метода доставки потребителю, общий объем хранимых материалов по одному фильму может легко превысить 100TB.

Экспоненциальный рост размера медийных файлов требует соответствующих аппаратных средств хранения, и организационных мер тоже.

Управление контентом

Управиться с активами помогают инструменты MAM (Media Asset Management). Видео загружается в системы хранения с метаданными – дополнительной информацией, отвечающей за связность материалов и быстрый поиск по параметрам. Традиционный МАМ является надстройкой над файловым хранилищем, пристегивающей метаданные к иерархии каталогов с файлами.

Выглядят похожими две категории систем: Digital Asset Management (DAM) и Media Asset Management (MAM). Определимся:

  • DAM - это работа с визуальными образами и управление изображениями для подготовки печати, верстки, производства каталогов, в лучшем случае, промо-роликов. Их функциональность сосредоточена на загрузке и преобразовании изображений в различные форматы, анализе и поиске составных документов, созданных в Adobe Photoshop, InDesign, Illustrator и подобных приложениях.
  • Корни МАМ уходят в телевизионную и киноиндустрию. Изначально функциональность концентрировалась на хранении, архивировании, а позже и распространении видео высокого разрешения. Сегодня мобильность пользователей высокая, производство и доставка готового продукта становятся все многообразнее.  Вырос охват потребителей: от крупных студий и ТВ-каналов до мини-вещателей эпохи YouTube.
  • МАМ требовательнее к хранилищам просто в силу бОльших объемов хранения и разнообразия материалов.

Данные и метаданные  

Если сравнивать данные с семейной фотографией из альбома, метаданные – это информация о том, когда и где был сделан снимок, кто изображен на нем, в каких они состоят отношениях итд. Раньше такое писали на обороте карточки, теперь заносят в поля электронных фотоархивов. Без метаданных утрачивается контекст, а с ним уходит ценность восприятия фотографии.

Так и с созданием цифрового контента. Важны детали всех шагов его рождения: от захвата видео, через редактирование, оформление, кодирование, и до финального просмотра. Контент без контекста малоценен.

Метаданные создаются автоматически и вручную.  Современные камеры сохраняют большой массив данных о съемках: значения диафрагм, выдержек, частоты кадров итд. Свой вклад сопутствующей информации вносит программное обеспечение нелинейного монтажа. Рукотворные метаданные (описания) добавляют субъективную информацию о происходящем на экране, в дополнение к техническим или операционным метаданным.

МАМ-система, консолидирующая автоматические и вносимые пользователями метаданные - это набор инструментов для  поиска, анализа, разработки продукта. Неважно, как реализован МАМ, на своем оборудовании и/или в облаке Amazon с доступом по протоколу S3 и RESTful API, его задача - помочь пользователю построить на метаданных простые и эффективные стратегии оборота медиафайлов в хранилищах, собственных и/или арендованных.

Студиям, дистрибуторам, кабельным компаниям нужны подходящие под их рабочие процессы хранилища и системы МАМ. Лавинообразное нарастание объемов информации, и данных, и метаданных, ставит перед всеми ними двуединую инфраструктурную задачу: обеспечить масштабируемое производительное хранение данных и сохранить контроль над расширяющимся сумбуром.

Объектное хранение

Привычная структура хранения опирается на файловые системы. Любое обращение к данным транслируется файловой системой контроллеру устройства хранения, работающему с низкоуровневой информацией (дорожки и сектора для дисков, страницы и блоки для устройств на флэш-памяти). В объектно-ориентированном хранении нет каталогов и файлов, есть объекты – контейнеры, содержащие пользовательские данные, их атрибуты и метаданные. У каждого объекта есть уникальный указатель. Вместо иерархии файловых систем программное обеспечение объектных хранилищ работает с плоским адресным полем указателей на метаданные.  Те, в свою очередь, содержат информацию о блоках данных, дисках, и даже геолокации хранения. Уровень управления объектами переносится из системного программного обеспечения в контроллер устройства хранения, унифицируя тем самым операции работы с данными в различных операционных средах.

Метаданные объекта могут содержать указатели на другие связанные с ним объекты или традиционные файлы. Объект – это агрегатор, объединяющий распределённые данные. Похоже на интернет-локацию по URL. Объекты могут перемещаться программным обеспечением хранилища, не прерывая работы приложений и пользовательского доступа. В корпоративных сетях объектный подход позволяет достаточно просто масштабировать системы хранения и наращивать их производительность – ведь он исключает такие недостатки сетевых хранилищ NAS как затрудняющее поиск нагромождение иерархий,  управление правами доступа, проблемы параллельного чтения и записи файлов, их блокировок.

Метаданные и рабочий процесс

Хорошее хранилище - то, которое минимизирует риски потери данных, позволяет быстро искать нужный контент, перемещает его на менее дорогие носители по мере снижения ценности. Без хорошо проработанной системы присвоения метаданных любые действия, привязанные к контенту и контексту, будут вызывать затруднения. Системы МАМ оправдывают ожидания пользователей, когда они соответствуют рабочим процессам, адаптируются под их изменение, и, конечно же, когда метаданные добросовестно вносятся пользователями при загрузке контента в хранилище. Трудно потом найти то не знаю что.

В основе МАМ лежит объектный подход. Но это еще не делает их объектными хранилищами. Стандартный МАМ по метаданным трассирует файлы с данными, а уже файловая система отслеживает, какие блоки на каких дисках содержат запрашиваемый файл.

Объектные хранилища основаны на работе с метаданными, но они неспособны автоматизировать рабочие процессы, не подменяют собой управление медиаобращением и не замещают собой МАМ-системы. Если угодно, объектное хранение и МАМ – гармоничная, дополняющая друг друга пара: как базис и надстройка, материя и сознание, способ производства и система правил над ним. Объектное хранение – это «о предметном »: удобном хранении, простом масштабировании, производительности работы с контентом и управлении многослойными системами с неструктурированными данными разной степени востребованности.  МАМ – это «о ментальном»: организации данных и систематизации творческого хаоса.

Чтобы МАМ-системы могли работать с объектными хранилищами, им нужен интерфейс API, для каждого объектного хранилища свой. Благодаря тому, что Amazon уже с десяток лет тянет пользователей в облака, стандартом де-факто в объектном хранении стал протокол S3. Объектно-ориентированный МАМ в сочетании с объектной организацией физического хранения, на любом из клонов S3, составляют самый перспективный марьяж в медийном раскладе.

Цифровые рабочие процессы

Прохождение цифровых материалов по стадиям производственного процесса становится все более сложным, с совершенствованием технологий. От захвата исходников до просмотра готового продукта с контентом работает много рук. Cоздаваемые промежуточные версии сохраняются, быстро исчерпывая возможности локальных систем хранения и облачной подстраховки уровня Dropbox/ Google Drive. Профессиональный подход к делу требует масштабируемых объектных хранилищ, управляемых МАМ, с интеграцией в облака.

Управление медийными активами в облачном мире

Для медийной индустрии облачные технологии – насущная необходимость. С одной стороны, это средство масштабируемого и безопасного хранения. С другой – канал доставки контента. Чтобы переносить материалы между наземной и облачной инфраструктурой, и системы хранения, и программное обеспечение МАМ должны быть совместимы с облачными протоколами.

Что хранить, как хранить?

Не существует универсальных систем хранения, удобных всем: производству (продуктивность групповой работы, online, горячие данные), вспомогательным службам (операционное пространство, nearline, прохладные данные), смотрителям архивов (большой объем хранения, offline, холодные данные), управляющим облаками (замороженные продукты с доставкой на дом). В большой компании всегда будут использоваться разные системы хранения, файлового и блочного доступа. Их можно по отдельности стыковать шлюзами с объектными хранилищами. Надо ли?

С точки зрения управления контентом, отслеживания преобразования данных и метаданных на всех стадиях рабочего процесса, предпочтителен выбор МАМ, совместимого с облачным хранением. Помним, что МАМ работает поверх хранилищ.

Цельный подход к работе с медийными данными большого объема предлагает компания HGST, на примере Active Archive System. Эта S3-совместимая система хранения способна вместить до 4.7 петабайт данных (эффективная емкость 2.9 PB). Физически она состоит из нескольких JBOD на HDD большой емкости, работающих под управлением серверов, в которых еще имеется слой хранения на SSD. Высокий уровень сохранности данных, как и достаточно приличный процент утилизации дискового пространства, обеспечивает технология Erasure Coding. Это метод защиты, когда данные разбиваются на кодируемые фрагменты, распределенные по носителям, различным устройствам и даже локациям распределенной системы хранения. Обычно используемая конфигурация 10/16 означает, что 16 фрагментов данных размазаны по 16 дискам, которые могут находиться в разных JBOD и стойках. При этом допускается отказ до 6 дисков, а оригинальный файл все еще может быть восстановлен по 10 оставшимся фрагментам.

Управляющие серверы сохраняют копии данных  частого обращения на SSD – что ускоряет выдачу горячего контента по запросу. Такие стойки хорошо масштабируются (можно начать с емкости 672TB и докупать JBOD с дисками по мере роста, до заполнения стойки, а потом нарастить объем стойками до 28PB в 3-Geo-конфигурации). Они обеспечивают хорошую производительность, более чем высокую защищенность данных, эффективно расходуют пространство. При этом достигаются низкая стоимость хранения $/TB и энергопотребления Watts/TB.

Круговорот данных в структуре видеопроизводства
С точки зрения HGST, наземная инфраструктура современных производственных студий строится вокруг хранилища медийных активов на дисках большой емкости. На него завязаны вспомогательные рабочие процессы: накопление исходников, выдача материалов в производство, хранение промежуточных версий и конечных результатов – все в объектном виде. Производство работает на своей скоростной сети – продуктивно, с низкими операционными расходами. Выполнением специализированных задач (например, ресурсоемким рендерингом) и распространением продукта могут заниматься сторонние облачные провайдеры Поддержка AWS S3 API хранилищем позволяет перемещать объекты в облака, публичные или частные.

Управление медийными активами в облачном мире

Всеми рабочими процессами управляет МАМ. Совместимый с объектами и облаками МАМ включает в орбиту управления сырье, промежуточные результаты и упакованные продукты – при полной свободе физического размещения активов, на земле и в облаках.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+55
голосов

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT