Раньше считалось, что есть только две проблемы с выбором системы хранения: ее объем и что делать, если свободное место заканчивается. Перспектива появления твердотельных накопителей еще более усложнила масштабирование.
Виртуализация положила начало «освободительному движению». Последнее десятилетие IT-индустрия (с переменным успехом) отрывает среду исполнения приложений от привязки к конкретному оборудованию, облегчает переносимость данных и приложений, приучает оперировать унифицированными блоками вычислителей и хранилищ. Программно-определяемые техники позволили строить инфраструктуру из типовых серверов. Их общности управляются программным обеспечением, распределяющим нагрузку.
Стремительно набирает союзников новый тренд — компонуемая инфраструктура (сomposable infrastructure). Не просто погружение вычислений, хранения и коммутации в программно-определяемую однородную среду, но ее готовность к переопределению — под требования программного ландшафта. Компонуя необходимые ресурсы в единый виртуальный сервер, можно получить композитную конфигурацию, свойства которой меняются «на лету».
![Инварианты хранения в компонуемой инфраструктуре Инварианты хранения в компонуемой инфраструктуре](/files/u5101/invariants-1.png)
Главное, что все строится на типовых строительных кубиках и что у владельца такой инфраструктуры больше степеней свободы — он собирает и пересобирает кубики под меняющиеся требования приложений.
Открытое против проприетарного
Технологии хранения всегда построены на искусстве расслоения данных: по степени востребованности («температуре» данных), по занимаемому объему, по значимости — от чего и зависит плата за сохранность.
Критерии расслоения изменчивы — отсюда многообразие закрытых (проприетарных) систем хранения. Все они балансируют между оптимальностью (тонкими настройками определенных наборов компонентов) и универсальностью (массовым тиражом). В концепцию компонуемой инфраструктуры они ложатся плохо: их управляющий слой является их неотъемлемой частью, а значит — неадекватен изменениям экосистемы. Разработчики это понимают. К примеру, Dell EMC, потратив $1 млрд, закрыл проект DSSD D5.
Активность «процессорных» компаний — как Intel, AMD или NVIDIA объясняется приближением критичных данных к вычислителям. На удалении от сокетов и слотов данные остывают, а вместе с ними остывает и интерес большинства процессорных гигантов к происходящему. При охлаждении данные расслаиваются — как это происходит в стоячей воде (отсюда и «озеро данных» — спорный, но очень яркий термин).
Intel уверена, что NVMe вытеснит все прочие твердотельные решения, и сосредоточена на общей концепции блочного хранения через сетевую структуру. В этом с ней согласны «cетевые» компании, в частности, — Mellanox, продвигающий невероятно красивые решения, где коммуникации и RDMA-взаимодействие выглядят привлекательнее самой системы хранения.
Еще один сетевой «сторидж»? Вовсе нет. Раздельный доступ к накопителям в стойке все равно остается, потому что ключевое слово в спецификации «умной» дисковой полки от Mellanox — Disaggregated Composable (разукрупненная компоновка). А недавний поединок между Intel и NVIDIA за право купить Mellanox, неожиданно закончившийся в пользу «команды GPU», многое говорит о транспорте инфраструктуры ближайшего будущего.
Лидер индустрии хранения Western Digital тоже видит будущее хранения составным (вычислители отдельно, хранилища отдельно), признает NVMe over Fabric основной связующей технологией сетей и предполагает независимое масштабирование хранения на быстрых твердотельных и на емких механических дисках.
Головы и тела
Постулатом для открытых систем является отделение средств управления от собственно физических устройств. Управляющие головы таких систем («контроллеры»), по сути, являются подклассом CPU-вычислителей. Они могут быть переквалифицированы на другое назначение сменой программного слоя. Да и сам программный слой строится по открытым правилам, с тем чтобы обратиться ко всем компонентам в центре обработки данных с единообразным API.
Смирившись с отделением голов от тел, IT-индустрия приходит к тому, что базовыми строительными блоками хранения становятся контейнеры с дисками. Они лишены каких-либо иных функций, кроме поддержания надлежащих условий для носителей: стабильное питание с резервированием, охлаждение, демпфирование (для магнитных дисков), контроль параметров жизнеобеспечения. Управляют всем головы — сегодня они одни, завтра, после лоботомии, — другие.
А на практике
По состоянию на сегодня открытая инфраструктура набирается как совокупность серверов, управляющая платформами хранения.
![Инварианты хранения в компонуемой инфраструктуре Инварианты хранения в компонуемой инфраструктуре](/files/u5101/invariants-2.png)
• На механических HDD — для создания и наращивания активных архивов, систем резервного копирования, объектных хранилищ
![Инварианты хранения в компонуемой инфраструктуре Инварианты хранения в компонуемой инфраструктуре](/files/u5101/invariants-3.png)
• На SAS SSD — для быстрого доступа к критичным данным по широкополосным соединениям с низкими задержками
Управляющие хранением серверы — это посредники между инициаторами (сетевыми клиентами) и платформами хранения. Они являются «переменным слоем» — поскольку их наполнение (CPU, RAM, NIC) определяется бизнес-моделью движения данных и выбранного под эту модель программного обеспечения.
Платформы хранения — JBOD (контейнеры HDD) и JBOF (контейнеры SSD) — инвариантны относительно бизнес-модели и управляющего ПО. Их универсальность подкрепляется простой установкой: создавать наилучшее окружение для накопителей, не вмешиваться в управление данными. В транспортной аналогии — возвести просторные дороги и удобные развязки.
Подход к инфраструктуре как набору простых строительных элементов позволяет очень просто ответить на вопрос: когда начинать отселение данных из серверов и что делать, если свободное место на дисках заканчивается. Хранение в JBOD не навязывает сценарии управления, но предлагает производственную культуру размещения и хранения ценностей. Это своего рода банковская ячейка — оплот бережливых. Часть компонуемой инфраструктуры, не сам банк, не его отделение.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
Самое интересное, что они все время совершенствуют конструктив (раньше было так: https://ko.com.ua/hranite_dannye_v_jbod_119675) с одной целью: "добиться, чтобы HDD жили дольше и работали стабильнее". JBOD клепают многие производители серверных корпусов, но это как сравнивать Volvo и Geely: владелец один, цели разные. Китайский автопром работает на тираж.
Компонуемая (мне милее «композитная») инфраструктура — это самый модный сейчас метод объединения оборудования из отдельно стоящих вычислительных голов (будь то CPU или GPU) и корзин хранения (JBOD или JBOF). «Компьютинг», полоса пропускания и хранение рассматриваются как отдельные ресурсы, которые приложения могут потреблять по мере необходимости. Смысл такой инфраструктуры в динамическом масштабировании, что позволяет избежать недогрузки используемых мощностей. Как результат, — экономия на дорогостоящих серверных компонентах и лицензиях.
Все-таки у термина «компонуемая» есть определяющий признак - что ресурсы перераспределяются программно. «Композитными» же можно назвать любые слоеные неизменяемые структуры. Основным недостатком видится дефицит ПО, работающего с универсальными вычислительными модулями и модулями хранения. Большинство нового в программно- определяемом мало чем отличается от старого «аппаратного» - такие же черные ящики с закрытой логикой управления и масштабирования.
Погружаясь в оттенки термина composable, как не вспомнить дезагрегацию, которую (по моему мнению) Mellanox-Russia ошибочно транслирует в десегрегацию. Т.е. мы не стремимся из ресурсов соорудить "черный ящик", а предлагаем открытый доступ к каждому его отделению — бери сколько нужно, но не больше, чем нужно. Компонуй по своему усмотрению. Где-то так.