`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Двухконтроллерные системы хранения и диски SATA

+44
голоса

Двухконтроллерные системы хранения нужны для непрерывного доступа к данным (защита от выхода из строя одного из контроллеров) и балансировки нагрузки в системах active-active. Дискам SATA там не место.

Отличия между протоколами SAS и SATA

SAS остается основным протоколом подключения дисковых корзин систем хранения, что одно-, что двух- контроллерных. Стандарт SATA, забредший в промышленные системы с потребительского рынка, уступает ему по всем показателям. 12Gb SAS превосходит 6Gb SATA по пропускной способности и глубине очереди команд. SAS работает с множеством инициаторов в режиме «сети», SATA – только с одним, в режиме «точка-точка». Устройства SATA оснащаются одним портом, SAS – двумя. В двухконтроллерных системах хранения MPIO обеспечивает дублирование путей доступа к данным и дает прирост производительности. SAS позволяет одновременно считывать и записывать данные (полный дуплекс), SATA в каждый момент выполняет что-то одно (полудуплекс).

12Gb SAS – больше, чем простое удвоение полосы пропускания против 6Gb SATA.

 

Двухконтроллерные системы хранения и диски SATA

Bandwidth 12Gb/s?

Казалось бы, пропускной способности стандарта 6Gbps (= 750MBps) достаточно для передачи данных с любых носителей: у HDD 7200 rpm скорость линейного считывания с внешних дорожек не превышает 200-220MBps, показатели линейного чтения SSD редко превосходят 550MBps. Зачем нужен 12Gb SAS?

Затем, что в системах хранения дисков много, а путей к ним – в лучшем случае, два. Даже для HDD 7200 rpm ограничение 6Gbps может быть сдерживащим фактором. Вот график линейной скорости передачи данных между хостом и HGST 4U60 JBOD, вмещающим 60 гелиевых дисков 8TB. Хорошо видно, как красная и зеленая кривые выходят на полочку уже на 10-20 дисках (6Gb) SATA HDD, тогда как при двухпортовом подключении дисков (12Gb) NL SAS скорость нарастает с увеличением дисковой группы почти до 50 шпинделей (синяя кривая).

Двухконтроллерные системы хранения и диски SATA

Источник: HGST

Что уж говорить про дисковые массивы all-flash. Их выбирают за производительность, а у 12Gb SAS SSD потенциал выше. 

Глубина очереди команд

Queue depth (QD) – число одновременных запросов ввода/вывода к устройству, определяющее его загрузку. Для оценки ожидаемой производительности системы хранения важно понять влияние QD вкладчиков (в серверах и системах хранения кто только не формирует очереди команд). Нас интересует влияние дисковых контроллеров c их драйверами и набора подключенных к ним накопителей.

На картинке показано поведение одиночного диска и массива из 8 дисков. Увеличение QD приводит к росту производительности, пока не произойдет насыщение.

Двухконтроллерные системы хранения и диски SATA

Источник: https://docs.broadcom.com/docs/12355775

Пояснение Why Queue Depth matters! простое. QD устройств разная. У современных контроллеров QD=600…1000. У дисков SATA QD=32, у дисков SAS QD=254 и более. Производительность в IOPS растет (до определенного предела) с длиной очереди и понятно, что устройства SATA будут ее лимитировать. А вот SAS HDD продолжают прибавлять и правее QD32, что бы ни говорили скептики о нереалистичности длинных очередей.

На то есть NL SAS HDD. Эти диски стоят ненамного дороже SATA HDD - по сути, у них одна механическая платформа. Зато подключение SAS обеспечивает:

  • Двухпортовость (дублирование путей доступа).
  • Полный набор команд SCSI.
  • Интерфейс, до 20% быстрее SATA.
  • Глубже QD.

По совокупности причин, в любом окружении диски NL SAS предпочтительнее дисков SATA.

Системам хранения на SSD, с их низкими задержками, поддержка длинных очередей не так важна. Тем не менее, как показано в недавней статье, для SAS SSD производительность масштабируется лучше, чем для SATA SSD (для NVMe еще лучше – но двухконтроллерных систем хранения на них пока нет).

Двухконтроллерные системы хранения и диски SATA

Двунаправленная передача данных

К доводам блога добавить нечего.

Двухконтроллерные системы хранения и диски SATA

MPIO

Multi-Path Input Output или многопутевой ввод-вывод – это технология использования сервером нескольких путей к системе хранения данных. Дополнительные логические пути создаются поверх дополнительных компонентов физических путей: коммутаторов, кабелей, адаптеров хоста, сетевых карт. Обращение к данным СХД через несколько сетевых или HBA-адаптеров увеличивает скорость работы подключенного LUN. При выходе из строя одного из компонентов MPIO предоставляет ОС резервный маршрут, сохраняя непрерывность доступа к данным. Таким образом, MPIO – важный элемент реализации отказоустойчивой системы с балансировкой нагрузки.

Отказоустойчивость двухконтроллерных систем хранения подразумевает подключение дисков по MPIO двумя путями через два порта – естественное свойство SAS SSD/HDD. Спецификации SCSI описывают протокол ALUA (Asymmetric Logical Unit Access) переключения внутреннего трафика данных в СХД на другие доступные пути в случае неисправности оптимальных путей (с автоматическим переключением обратно при их появлении). Какой бы ни была система хранения, active-active (оба контроллера активны и дают доступ ко всем LUN), active-passive (второй контроллер принимает на себя всю нагрузку после выхода из строя первого) или ALUA (с доступом к данным через оба контроллера по оптимальному/неоптимальному пути), данные лежат на дисках. Понятно, что диски должны быть стандарта SAS, двухпортовые. И экспандеры SAS, к которым они подключаются, нужны независимые. То же самое для подключаемых полок расширения JBOD и дисков в них.

SATA SSD/HDD и мультиплексоры

Презентовать однопортовые диски SATA двум контроллерам по двум путям SAS технически возможно - через переходники, платы-мультиплексоры (MUX board). У каждого производителя систем хранения они свои, более того, разнятся от модели к модели.

Эмуляция одновременного опроса дисков контроллерами поочередным подключением единственного порта SATA – это «костыль», а не нормальная практика работы. Любые преобразователи на пути данных вносят задержки и являются потенциальной точкой отказа. Не стоит оно того. NL SAS HDD ненамного дороже SATA HDD. Если говорить об SSD, то в массивах они нужны для производительности и надежной работы. В категории промышленных накопителей с большим ресурсом цены SAS SSD и SATA SSD тоже близки. На чем экономим?

Мультиплексируют диски SATA в двухконтроллерных системах хранения по незнанию или от желания сэкономить любой ценой, в ущерб производительности и надежности. За то и другое расплачивается пользователь.

Если нужна отказоустойчивость и минимум препятствий производительности – только SAS.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+44
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT