`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Транспортные развязки хранения данных

+33
голоса

Взрывной рост объемов сохраняемой информации в наземных и облачных хранилищах обостряет проблему производительного оборота данных. В фокусе рынка — программное сопряжение разнородных сред хранения.

Следите за Microsoft

Microsoft купила Avere Systems, разработчика программно-определяемого хранения для M&E — индустрии медиа-производства и развлечений. Десяти лет от роду, Avere поставляет высокопроизводительные файловые хранилища корпорациям, чьи вычислительные ресурсы распределены между локальными площадками, частными и публичными облаками — для оптимизации трафика данных при масштабных нагрузках.

Проще пояснить на примере одного из ее клиентов, анимационной студии Illumination Mac Guff («Тайная жизнь домашних животных», «Миньоны», «Гадкий я»):

  • ее мощности включают рендер-ферму на 80.000 процессорных ядер и хранилища общей емкостью 6 петабайт;

  • все медийные активы компании доступны онлайн;

  • в творческой команде больше тысячи человек, задержки доступа любой из рабочих станций к любому материалу не должны превышать трех секунд;

  • потребность в скорости ввода-вывода достигла 1.2M IOPS на «Гадком я — 3»;

  • на «Гадкого я — 3» ушло 2PB дискового пространства (втрое против «Гадкого я — 2»).

При таких запросах нужны эффективные средства сокращения времени производства и затрат. Вклад Avere — технологии ускорения доступа к объемным данным в облачных, гибридных и локальных средах.

Что с этого Microsoft?

Во-первых, организованные производители медиа-контента и сейчас активно используют глобальные ресурсы Microsoft Azure под рендеринг и облачные приложения совместной работы — при резких колебаниях по нагрузке им важна эластичность привлечения вычислительных мощностей. Во-вторых, постоянно расширяется пласт народного творчества и спрос на скоростной многоканальный доступ к контенту. Наконец, для бизнеса гибридных облаков нужны средства продуктивного обмена данными между публичными ресурсами и частными, наземного базирования.

Вызовы хранения объемных данных

С ростом объемов хранения меняются подходы к обслуживанию данных. Системы хранения приноравливаются к облачным вычислениям, распределенному доступу, новым моделям создания и потребления контента. У данных свой жизненный цикл, разная природа и степень востребованности. Для операционного комфорта их распределяют по слоям хранения. Универсальных подходов не существует, но есть общие тренды.

Два основных вектора движущих сил:

• Перенос части данных с устройств блочного и файлового доступа в облака (объектное хранение);

• Программное сопряжение производительных хранилищ на твердотельных носителях с емкими, на механических дисках.

Место в инфраструктуре найдется всем трем формам хранения.

Транспортные развязки хранения данных

Три столпа хранения (Dell/EMC)

Объектное хранение против иерархического

Десятилетиями данные размещались на устройствах DAS/NAS/SAN под управлением структурированных файловых систем — иерархий индексов, содержащих каталоги, подкаталоги и файлы с уникальными путями. Наиболее естественным способом организации информации они выглядят до известного предела. При большом количестве файлов операции с данными и метаданными отнимают все больше процессорных ресурсов. Привязка к адресации файловых систем усложняет перемещение данных и плохо защищает от их повреждения: неработающих ссылок, потери доступа при разрушении сегмента иерархии.

Объектное хранение вошло в практику вместе с облачными вычислениями. К данным в виде объектов приложения обращаются по глобальному уникальному указателю (GUID) — подобно URL. В отличие от файловых систем, неизвестно, где в действительности размещен определенный файл. Для доступа к файлу нужен GUID объекта. Объектные хранилища используются для размещения объемных неструктурированных данных и обладают огромным запасом масштабируемости. С объектами все проще и эффективнее, чем в иерархических системах: доступность данных, самолечение систем, репликация, поиск.

Транспортные развязки хранения данных

Хранение как «парковка» данных (Dell/EMC)

На веб-обращениях к объектным хранилищам по протоколу RESTful/S3 построены службы Amazon Web Services, Facebook, G-Suite, Office 365, но преимущества объектного хранения могут обратить в свою пользу предприятия любого масштаба. Местные облачные операторы предлагают относительно недорогие публичные или частные хранилища. Простой доступ через интернет делает объектное хранение привлекательным в задаче резервирования данных на сторонних площадках или в качестве сервисной платформы.

Транспортные развязки хранения данных

Проблемы использования объектного хранения в традиционных приложениях

В объектном хранении бремя организации и представления информации ложится на сами приложения. Публикуя контент в социальных сетях, мы же не обращаемся к какому-то глобальному каталогу, каждое приложение обустраивает данные по-своему.

Объектное хранение наиболее органично в сценариях WORM (write once — read many). Это из-за того, что объекты не редактируются по месту. Если фильм размещен как объект, приложение не может прочесть данные его фрагмента. Чтобы изменить объект, надо получить его целиком средствами приложения, внести правки и выгрузить как новый объект — с очевидным ущербом для производительности.

По тем же причинам объектное хранение непригодно в приложениях случайного доступа, с активной модификацией данных. Невозможна адресация к объекту как примонтированному устройству ОС.

Для интеграции объектного хранения с традиционными ИТ-системами существуют шлюзы (gateways). Их роль — представление облачного хранилища в виде общих файлов совместного доступа SMB/CIFS/NFS. В таком случае иерархическая файловая система используется как фронтальный портал к облачному хранилищу.

Элеваторы данных

Пример Avere показывает роль и перспективы программного управления потоками данных в объемном хранении. Так работают многие, не все продают программные коннекторы по отдельности — как Tiger Bridge от Tiger Technologies. Полный продуктовый стек TT обеспечивает эластичное хранение под управлением стандартных файловых систем и бесшовную интеграцию с облаками. Просто в реализации, доступно по накладным расходам.

Транспортные развязки хранения данных

Источник: Tiger Technology

Tiger Bridge — менеджер жизненного цикла данных. Он оптимизирует затраты на хранение с учетом востребованности данных — их прозрачной миграцией между слоями хранения (дисковыми массивами, ленточными библиотеками, облаками) с разными уровнями доступности, производительности и цены реализации. В аграрной аналогии похожее происходит с зерном: после обмолота оно свозится с полей и загружается в элеваторы — для оперативного хранения, обработки и подготовки к дальней транспортировке.

Устанавливаемый как программный модуль на существующие серверы Windows, Tiger Bridge копирует и перемещает файлы первичного уровня на вторичный: NAS (по SMB), ленту или в облако (RESTful/S3) без применения сторонних шлюзов. Вторичный уровень позволяет балансировать производительность и затраты, высвобождает дисковое пространство скоростных устройств, используется для одновременного хранения данных распределенных серверов.

Tiger Bridge идеально подходит для:

  • переноса данных файловых систем в облачное хранилище;

  • использования SSD для ускорения существующего хранилища NAS;

  • аварийного восстановления данных;

  • переноса данных с облачного хранилища одного провайдера на сервера другого (требуется Tiger Pool);

  • синхронизации серверов, расположенных в разных местах.

Стаб-файлы

«Остывающие» данные неразумно держать на производительных (как следствие — дорогих) операционных устройствах. Пользователь задает правила, по которым TigerBridge автоматически перемещает неактивные файлы на вторичный уровень хранилища. Сам файл с данными удаляется с первичного уровня, но там остается стаб-файл (как ярлык или корешок от билета, своего рода заглушка). Он содержит все метаданные о перемещенном файле данных, доступен пользователям и приложениям. При обращении к нему контент возвращается со вторичного уровня и становится доступным запросившему его приложению.

Элегантный способ актуализации данных «по требованию» с помощью стаб-файлов открывает широкое поле возможностей. В отличие от ПО резервного копирования, нет нужды обращаться к базе данных, чтобы узнать, куда перемещается нужный файл — достаточно открыть каталог. На MacOS стаб-файлы маркируются серым тегом, на ПК отображение можно настроить по своему усмотрению. Двойной щелчок — и данные снова на исходном уровне хранения.

Использовать вычислительную мощность облака

В отличие от других шлюзовых решений, которые передают блоки данных в облачное хранилище, Tiger Bridge передает файлы. Таким образом, одна и та же структура файлов и папок доступна в облаке и на локальном сервере. Перемещение больших объемов данных в облако снимает с сервера часть нагрузки, освобождая его вычислительные мощности под другие ресурсоемкие задачи: обработку изображений, транскодирование, аналитику. Можно обойтись без радикального обновления существующей инфраструктуры.

Политики синхронизации позволяют нескольким серверам сопрягаться с единым облачным хранилищем. Когда файл копируется на облако с любого подключенного сервера, стаб-файлы автоматически создаются на всех других подключенных серверах.

Оптимизация хранения медиа-контента

Новые уровни разрешения видео поднимают требования к производительности и объемам хранения — как и способам размещения материала, для эффективной кооперации команд. Программный стек Tiger Technology позволяет оптимизировать рабочие процессы видеопроизводства.

Первичный слой хранения стоит дорого, поскольку проектируется с приоритетом продуктивности. Держать на нем данные бездействующих проектов расточительно. С Tiger Bridge скоростные массивы используются по прямому назначению, неактивные проекты перемещаются на менее дорогой слой, в архивы или в облако. Можно синхронизировать серверы, подключаемые к одному и тому же объектному хранилищу, через их локальные файловые системы.

Массивы-трамплины, массивы-мосты

Балансировка хранения медийного контента на первичных и вспомогательных массивах — только одно из применений управления кучным информационным трафиком — области интересов и Avere Systems, и Tiger Technology. В перспективе мы увидим подобное в гибридных облаках, видеонаблюдении, документообороте, аварийном восстановлении данных.

Модернизация транспортной инфраструктуры хранения данных программными средствами вроде Tiger Bridge добавляет комфорт «сообщающихся сосудов». Руки пользователю развязывает использование стандартных серверов вместо специфического оборудования. Такой гибкости сопряжения сред хранения «программными разъемами» нет в закрытых экосистемах: поддерживаются любые комбинации блочных, файловых и объектных хранилищ. Управлять производительностью можно в широких пределах: хочешь — редактируй видео на массивах SSD, хочешь — раздавай контент миру как YouTube.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+33
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT