Многоуровневое хранение данных в массовых серверах

От серверов коммерческих приложений, входящих в состав ЦОД или облачной инфраструктуры, всегда требуется определенный уровень производительности и готовности — QOS (quality of service). Идет ли речь о веб-доступе, файловом хранении, транзакционных (OLTP) операциях или документообороте, пользователям редко нужна процессорная мощность серверов в чистом виде. Бизнесу необходимо гарантированное качество обслуживания.

Если услуги предоставляет сторонний ЦОД, подписывается соглашение SLA (Service Level Agreement), в котором фиксируются параметры надежности, доступности, удобства предоставляемого сервиса (reliability, availability, serviceability — RAS). Связанные обязательствами, дата-центры стремятся к эффективной утилизации вычислительных мощностей. Их бизнес состоит в оптимизации капитальных и операционных затрат по отношению к числу пользователей и приносимому ими доходу.

Есть SLA или нет (и его роль играет шкура системного администратора), аппаратные требования на уровне серверов обычно сводятся к обеспечению высокой пропускной способности передачи данных, измеряемой в MBps, и интенсивности ввода-вывода в IOPs (Input/Output operations Per Second). Пользователи становятся все менее терпимыми к латентности доступа и низкой производительности в IOPs. Показателен опыт Amazon: увеличение задержки отклика серверов на 0.1 секунды приводило к падению продаж на 1%. При добавлении к серверу новых пользователей увеличиваются задержки доступа к данным, и снижается число IOPs. Оба показателя могут упасть до неприемлемых значений задолго до исчерпания емкости хранения. Приходится вводить новые мощности. Вынужденное наращивание парка серверов не просто расточительно по дискам, оно тянет за собой рост эксплуатационных расходов ЦОД.

«Температурный анализ» данных

Данные на запоминающих устройствах всегда неоднородны. Статистика запросов позволяет выделять из всего массива данных «горячие» (наиболее востребованные), к которым нужен доступ с минимальными задержками — например, передовицы новостных веб-порталов и фотоизображения хитов продаж в приложениях электронной коммерции. Кэширование запросов — результат интеллектуального анализа и работы технологического цикла с перемещением часто запрашиваемой информации на быстрые носители, а «остывающей» — на недорогие и емкие. Разумеется, весь объем «холодных» данных надо надежно хранить и своевременно доставлять по запросу.

Технологии и управляющее ПО, способные обеспечить и быстрый отклик, и обслуживание большого подручного массива данных, ведут к прямой экономии на количестве задействованных серверов. Другими словами, любое повышение I/O-способности сервера дает возможность подселять на него новых пользователей, без ухудшения QoS, снижая удельные затраты. Экономические показатели еще улучшатся, если есть запас роста емкости и масштабирования производительности.

SSD против HDD

SSD во многом превосходят HDD. У них выше пропускная способность: SSD выдает несколько десятков тысяч IOPs на чтение (на два порядка больше, чем HDD) и тысячи IOPs на запись в операциях случайного доступа. Выше механическая надежность (из-за отсутствия движущихся частей), выше сопротивляемость ударам и вибрациям. Недостатки SSD — малая емкость, высокая цена, зависимость срока жизни и производительности от интенсивности записи.

Сложившаяся экосистема хранения данных составляет миллионы серверов по всему миру, построенных на RAID-контроллерах и массивах на механических жестких дисках. При всех соблазнах увеличения производительности и сокращения эксплуатационных расходов c переходом на SSD, отказ от HDD был и остается невозможным. Чтобы твердотельные накопители стали дополнительным ресурсом I/O-оптимизации серверов, необходимо сохранять высокую емкость устройств и стабильность экосистемы.

SSD-кэширование

Пионером революции в массовом хранении стала Adaptec. Раз уж высокая цена и ограниченная емкость мешают SSD вытеснить HDD из серверов, их надо использовать совместно, объединяя выгоды каждого. Словами поэта, они впрягли в одну телегу коня и трепетную лань. Стандартно, все RAID-контроллеры выполняют в своей динамической памяти DRAM анализ движения данных и помещают повторяемые запросы в свой кэш-буфер. Технология maxCache (первоначально MaxIQ) стала расширением learned-path алгоритма контроллеров Adaptec RAID серий 5 и 2 на работу с промежуточным кэширующим слоем из SSD на флэш-памяти NAND в составе RAID-массивов HDD. Роль кэша MaxIQ выполнял SSD-накопитель Intel X25-E c предустановленным программным кодом Adaptec. Подход, обещавший уменьшение стоимости операций I/O и сокращение накладных расходов, нашел понимание у рынка — ведь структура хранения в целом осталась нетронутой. Каких-либо приложений или дополнительных драйверов не требовалось, после начальной установки работа SSD-кэша прозрачна для пользователя, данные RAID-массивов риску не подвергаются — как хранились, так и продолжают храниться на емких HDD.

Вслед за MaxIQ появилась технология CacheCade от LSI, которая работала по тому же принципу, за тем отличием, что поставлялась в виде физического ключа и привязывалась к конкретной модели контроллера. MaxIQ и CacheCade кэшировали только чтение. Прирост производительности в несколько раз достигался в веб- и некоторых OLTP-приложениях — с частым повторным чтением из небольшого рабочего объема данных. Во втором поколении технологий SSD-кэширования Adaptec и LSI появилась функция кэширования записи. maxCache 2.0 реализована в контроллерах Adaptec серии 6 с суффиксом Q, LSI продает CacheCade Pro 2.0 в виде ключей активации (электронных лицензий) или аппаратных ключей к своим нескольким контроллерам. Технологии не привязаны к определенным SSD. Можно использовать любые твердотельные накопители, объединять их программными средствами контроллера в SSD-пулы и назначать им уровни RAID.

Механизм увеличения производительности понятен: контроллеры делают то же самое в собственной DRAM-памяти — кэше первого уровня. SSD для контроллера становится кэшем второго уровня, только намного большего объема и на энергонезависимой памяти. Угрозы аварийной потери данных в SSD-кэше невелики, тем более, при использовании накопителей, рассчитанных на интенсивную нагрузку случайного доступа. Но даже при выходе SSD из строя трагедии не произойдет, пропадут копии «горячих» данных — оригиналы на HDD сохранятся. После замены накопителя на новый контроллеру потребуется некоторое время на сбор статистики запросов к HDD. С наполнением кэша «горячими данными» контроллер будет реже обращаться к HDD и чаще — к кэшу на SSD, и высокая производительность восстановится.

Битва за IOPs всегда была гонкой за количеством шпинделей высокоскоростных дисков SAS 15K rpm. Многодисковые системы с HDD SAS 15K rpm громоздкие, энергопотребляющие и требовательные к охлаждению. Перенос I/O-активности на твердотельные накопители в системе с SSD-кэшированием снижает частоту опросов HDD, а значит и зависимость производительности от скорости отклика вращающихся дисков. Отказываясь от большого количества дисков SAS 15K rpm в пользу комбинации SSD c менее дорогими и куда более емкими HDD SAS NL или SATA 7200 rpm, мы вдобавок упрощаем компоновку серверов.

Коротко, выгоды от использования SSD-кэширования таковы:

• Сокращение времени отклика I/O и ускорение работы за счет кэширования операций чтения и записи востребованных данных на быстрых SSD-накопителях.

• Повышение скорости работы существующих массивов HDD, без значительных начальных вложений.

• Привычные инструменты управления RAID-массивами, в которые добавлены средства назначения SSD-пулов.

• Снижение объема коротких обращений к жестким дискам, как следствие — уменьшение совокупной стоимости владения.

Микроэкономика серверов

Технологии иерархического или многоуровневого хранения данных (storage tiering) применяются в системах хранения данных масштаба предприятия. Их задача — поддержание высокой производительности СХД в IOPs, при сохранении разумной стоимости хранения большого объема информации. Для этого данные анализируются и, в зависимости от частоты обращения к ним, автоматически перемещаются между быстрыми (дорогими) носителями и медленными (емкими и недорогими). Выделение в СХД нескольких уровней (tiers) обслуживания данных с разным уровнем производительности, емкости и удельной стоимости хранения технологически относится к управлению жизненным циклом данных, а экономически — к управлению затратами. При подсчете совокупной стоимости владения TCO владельцы СХД и ЦОД оперируют капитальными (Capital Expenses, CapEx) и операционными (Operating Expenses, OpEx) затратами.

Если все серверы и системы хранения ЦОД работают как единый взаимосвязанный механизм, считать «макроэкономические» показатели и корректировать серверную инфраструктуру надо для ЦОД в целом. Эксплуатационные расходы на содержание автономных серверов имеют те же составляющие, а SSD-кэширование в серверах — это прямой аналог многоуровневого хранения в развитых СХД. Точно так же, применение твердотельных накопителей улучшает «микроэкономику» отдельно взятого сервера. Увеличение I/O-способности и уменьшение времени отклика серверов позволяет повысить плотность пользователей ЦОД или облачной инфраструктуры в расчете на сервер. Уменьшение общего числа платформ, обслуживающих заданную рабочую нагрузку, снижает капитальные и операционные затраты: серверов нужно меньше, инженерная инфраструктура проще (CapEX), падает стоимость транзакций в расчете на пользователя и эксплуатационные расходы на энергоснабжение, охлаждение и сопровождение (OpEX).

Результаты тестов

Эффект от SSD-кэширования можно оценить по опубликованным данным Adaptec. Инженеры компании построили тестовый полигон на серии 6 и ее близнеце 6Q с поддержкой Adaptec maxCache 2.0. Для сравнения производительности использовался IOmeter.

Сначала дисковая подсистема тестировались под нагрузкой 100% Random Read, оценивались преимущества связки SSD/HDD перед решением на одних только HDD. Оказалось, у приложений с преобладанием интенсивного чтения — как в веб-серверах, файловых серверах и приложениях электронной коммерции, есть потенциал роста IOPs до 13 раз, и уменьшения латентности во столько же раз.

Конфигурация:

• RAID 0, нагрузка 100% Random Read.

• SAS HDDs: 8×300GB SAS HDD 15k rpm, RAID 0.

• SAS HDDs w/maxCache: 8×300GB SAS HDD 15k rpm, RAID 0 + 2×100GB SATA SSD maxCache cache pool.

Вторая группа тестов включала оценку влияния кэширования записи под смешанной нагрузкой — как в средах OLTP, Microsoft Exchange Server, HPC. Технология Adaptec maxCache 2.0 не только дает скачок производительности, она еще и позволяет добиться от сервера куда большего потенциала по емкости, с одновременным упрощением конструктива. Производительность выросла в 6 раз в IOPs и MBps. При этом более скоростная конфигурация проще, дешевле и выше по емкости (18 TB против 2.4 TB).

Конфигурация:

• RAID 5, нагрузка OLTP, соотношение Read/Write 2:1.

• SAS HDDs: 8×300 GB SAS HDD 15k rpm, RAID 5.

• SAS HDDs w/maxCache: 6×3 TB SATA HDD 720k rpm, RAID 5 + 2×100 GB SATA SSD maxCache cache pool.

В той же конфигурации дисков тесты maxCache 2.0 показали 6-кратное уменьшение среднего времени задержки и 10-кратное — максимального времени задержки доступа к данным.

В поисках эффективности

Операторы ЦОД и облачных сред находятся в постоянном поиске средств увеличения серверной производительности, чтобы справиться с растущими аппетитами приложений и пользователей. В то же время ограничения по месту, питанию, охлаждению заставляют вместе с наращиванием вычислительной мощности искать эффективные по стоимости, габаритам и потреблению решения для повышения I/O-способности серверов.

SSD-кэширование позволяет добиться многого без революционных изменений в экосистеме хранения. Переход на RAID-контроллеры с поддержкой SSD-кэширования сохраняет HDD как основной носитель информации и привычную программную среду управления данными. С появлением дополнительного кэширующего слоя на твердотельных накопителях активность ввода/вывода смещается на SSD, радикально улучшая показатели IOPs и латентности. Попутно появляется возможность отказаться от части скоростных SAS HDD в пользу емких SATA HDD. Подбирая профиль дисковых подсистем под реальной нагрузкой, многоуровневым хранением данных на уровне отдельных серверов можно добиться серьезного сокращения капитальных и операционных затрат.

При подготовке статьи использованы материалы Adaptec

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365