`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Тяготы строевой службы механических дисков

+55
голосов

Потребительский интерес к механическим дискам спадает, зато стабилен корпоративный. Всё из-за накопления и консолидации данных: складируется видеоконтент, растут отложения цифровой реальности, трещат архивы и аналитические системы. Обустройство хранения начинается с надежного фундамента.

Облачный оператор Backblaze сделал себе имя оригинальным вирусным маркетингом. Но не своей прямой деятельности — кого сегодня удивишь сервисом резервного хранения? Компания располагает поголовьем свыше 140 тысяч жестких дисков и ежеквартально публикует статистику их падежа, с разбивкой по породам (производителям и моделям). Цифры охотно разносят по сети журналисты и аналитики, промоутеры и хейтеры. Других открытых данных по «надежности» HDD все равно нет.

Вот последний отчет.

Тяготы строевой службы механических дисков

Риски

Емкие механические диски еще много лет будут основой хранения дата-центров и генераторов контента (видеонаблюдение, видеопроизводство, дополненная реальность). Когда в составе каждой системы хранения десятки накопителей, объектом особого внимания становятся условия их совместного содержания.

Из многолетних наблюдений Backblaze следует, что средний по индустрии дисков показатель AFR (Annual Failure Rate) постепенно улучшается — производители совершенствуют технологии и производственные процессы. Но и такой, казалось бы небольшой AFR как 0.81%, нельзя игнорировать. Для системы хранения на 60 HDD вероятность ежегодной аварии приближается к 50%, а с возрастом становится еще выше.

Отказы дисков, пусть и не приводят к немедленной потере данных (RAID, бэкап), зато вносят разлад, просаживают производительность систем хранения и отнимают время на восстановление их полной работоспособности.

Сервис

Корпоративного обывателя приучили, что главное в «сервисе» — скорость приезда гонца с запчастями, взамен вышедших из строя компонентов. Бизнес на сервисных контрактах был и остается отдельной статьей дохода продавцов именитых СХД. По счастью, многообразие задач и расцвет программно-определяемого хранения расширили кругозор пользователей: сервис начинается задолго до покупки — с понимания потенциальных угроз данным и анализа средств их упреждения.

Устройство монолитных систем хранения обсуждать нет смысла — только функциональность. Другое дело программно-определяемые или модульные хранилища. Их дизайн определяет многое: от производительности до расширяемости. Погружаясь в их внутренний мир на стадии проектирования, можно оптимизировать задачу, избежать ошибок, ослабить сервисную зависимость от поставщика.

Анатомия дисков

Как всё высокоточное механическое, жесткие диски — воплощение передовой инженерной мысли. О сражениях за емкость и надежность HDD сложены эпосы.

Знать «как это устроено» важно, однако пользователя чаще интересует вопрос «что именно подходит под мои задачи?». Круг поставщиков накопителей для емких хранилищ коммерческого назначения невелик. Троица Western Digital — Seagate — Toshiba производит диски NL SAS и SATA enterprise-класса емкостью до 20TB. Чьи покупать — дело вкуса, преимущества одних и изъяны других зачастую умозрительны. Кого-то привлекает наполнение дисков гелием и экономия на электричестве, другие выбирают «атмосферные» диски — все-таки они дешевле. Некоторые вчитываются в принципы работы записывающих головок, большинству все равно. Если не совершать грубых ошибок (например, собирать под интенсивный оборот данных массивы из HDD с черепичной записью, SMR), состоятельны все модели всех производителей. Никто из них не выводит сознательно на корпоративный рынок некачественный продукт. (Иногда оно получается само, а последствия проявляются спустя много лет — судьба крива). Одним словом, все HDD хороши. Слово за поваром.

Проверка на дорогах

У дисков есть S.M.A.R.T. —диагностика и статистика выбега (workload rating). В специализированных ОС систем хранения данных и RAID-контроллерах есть утилиты проверки состояния магнитной поверхности — для своевременного выявления проблемных накопителей.

Опасность для объемного хранения представляет скрытое повреждение данных (silent data coruption) — худший тип дисковых ошибок. Они не ловятся аппаратными контроллерами и операционной системой — пока не наступают последствия, утрата целостности данных. Помогает пересчет контрольных сумм для каждого блока записываемых данных — как это сделано в ZFS или Raidix.

Враги механических дисков

Если не считать человеческий фактор, их два: вибрация и температура. Эрозия магнитной поверхности и разнос пыли с размножением дефектных блоков обычно являются последствиями этих двух внешних воздействий.

Ротационная вибрация возникает при раскрутке шпинделя HDD или внешнем воздействии, даже акустическом. У дисков есть встроенные механизмы защиты от наведенной вибрации (акселерометры с обратной связью), но плотное размещение накопителей в компактном корпусе усугубляет их взаимное влияние друг на друга. Когда магнитная головка смещается с трека под действием внешних факторов, микроконтроллер диска позиционирует ее заново, из-за чего время чтения/записи данных значительно возрастает. При воздействии на работающий диск ротационной вибрации с угловым ускорением в 50 рад/сек2 потери производительности могут превысить порог в 70%.

Проходя от передней панели дисковой полки назад, воздушный поток нагревается. Как и в случае вибрации, перегреву способствует плотное расположение дисков в несколько рядов. В результате, накопители задних рядов попадают в пекло. Разные источники спорят о влиянии низких температур на частоту отказов, но все сходятся на том, что высокие им точно вредят. Даже дают количественные оценки: вероятность отказов возрастает вдвое на каждые 15 градусов роста температуры. Архитектура хранилищ оказывается важным фактором влияния на продолжительность жизни дисков. Не все они равноценны, «объятья» некоторых излишне горячи:

Тяготы строевой службы механических дисков

JBOD как фундамент хранения

С распространением программно-определяемых систем хранения данных появился и окреп отдельный класс серверного оборудования — JBOD. Раньше так называли режим адресации дисков контроллерами и операционными системами. Теперь этим термином определяют автономные дисковые контейнеры, которые подключаются к управляющим хостам по SAS. Все системы жизнеобеспечения JBOD (модули ввода/вывода, экспандеры, пути к дискам, блоки питания и вентиляции) дублированы. Встречаются и упрощенные модели — адаптированные варианты типовых серверных корпусов: без избыточного питания, дублирования каналов и технологических изысков. На таких ответственное хранение не построить.

Задача JBOD как базового строительного блока — обеспечить качественное брутто-складирование данных: комфортные условия работы дисков и надежный доступ к ним хостов. Современный JBOD высотой 4U вмещает от 60 до 100+ дисков 3.5«, позволяет менять их на горячую, имеет два модуля ввода/вывода и 6-8 портов 12Gb SAS. К портам SAS можно подключить несколько хостов, c зонированием доступа к группам дисков. Всем заправляют хосты.

На живом примере

JBOD есть в ассортименте поставщиков систем хранения — как их же (специфические) расширения, Их предлагают некоторые производители серверных корпусов. Свои мотивы нашла Western Digital. Основной бизнес компании — механические и твердотельные накопители. JBOD от Western Digital стали шагом навстречу корпоративному рынку, оперирующему не отдельными накопителями, а целыми экосистемами хранения. Их основу составляют системы на все тех же «вращающихся жестянках». В каждой — десятки шпинделей. Кто как не производитель накопителей знает толк в создании дискового комфорта? Western Digital предлагает два варианта JBOD — Ultrastar Data 60 (на 60 дисков) и Ultrastar Data 102 (на 102 диска).

Тяготы строевой службы механических дисков

Технология подавления ротационной вибрации Western Digital IsoVibe (буквально, «изоляция вибрации») снижает резонанс внутри корпуса и локализует вибрацию в пределах одного дискового отсека. В Ultrastar Data JBOD нет винтовых креплений — накопители фиксируются с помощью амортизированных салазок. Разъемы приемной шахты JBOD расположены на текстолите с прорезями.

Тяготы строевой службы механических дисков

Система охлаждения ArcticFlow построена на раздельной приточной вентиляции. JBOD делится на зоны охлаждения, изолированные друг от друга. Воздушные потоки, обеспечивающие вентиляцию передней зоны, отводятся по обводным каналам. К задним рядам ведет свой воздуховод. Кроме того, отдельный поток холодного воздуха подводится к блокам питания и модулям ввода/вывода.

Тяготы строевой службы механических дисков

ArcticFlow позволила сократить разницу температур между передней и задней зонами: разброс между ними не превышает 10°C. На самом «горячем» участке, последнем ряду, максимальная температура HDD не поднимается выше 49°C.

Какие ваши доказательства?

Воспользуемся чужими.

IsoVibe уменьшает вращательную вибрацию приводов на 60%, против обычных серверных корпусов. Холостой пробег вследствие ошибочного позиционирования головок уменьшается на 24%.

В «обычных» JBOD 30% дисков нагреваются в среднем на 13°C сильнее, чем в Western Digital Ultrastar Data 102 c ArcticFlow. По модели Аррениуса вероятность выхода из строя постоянно перегретых дисков выше на 44%, что неминуемо приводит к преждевременному старению и ранней смерти HDD.

От физики к практике

Не слишком ли много чести, уделять столько внимания JBOD? Это же не системы хранения, всего лишь их часть, емкие контейнеры. Не слишком. Объемные данные сегодня держать больше не на чем, кроме как на механических дисках. Относиться к HDD как расходным материалам накладно — реконструкция массива после аварии может идти неделями, а халатность оборачивается полной потерей данных.

У хороших хозяев все идет как по Марксу: сперва базис (приличные условия содержания дисков), потом надстройка (управление данными).

Дізнайтесь більше про мікро-ЦОД EcoStruxure висотою 6U

+55
голосов

Напечатать Отправить другу

Читайте также

 

Slack подает жалобу на Microsoft и требует антимонопольного расследования от ЕС

 
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT