+66 голосов |
Выйдя на арену конвергентных систем, Microsoft настойчиво и неуклонно рекомендует строить сетевую инфраструктуру на протоколах с поддержкой RDMA. Почему так? Если не особо вдаваться в подробности, то ответ будет простым и лаконичным: Zero-Copy.
Борьба с задержками сетевого обмена серверов в среде высокопроизводительных вычислений HPC родила протокол InfiniBand. Благодаря использованию удаленного доступа к памяти (Remote Direct Memory Access, RDMA) он позволяет минимизировать участие процессора в копировании данных в/из оперативной памяти. Infiniband и сейчас востребован в больших дата-центрах и стратосферных облаках типа Microsoft Azure. С ростом объемов хранения и популярности распределенных систем оказалось, низкие сетевые задержки нужны всем. Пересадка протокола RDMA (иногда в вариациях iWARP или RoCE) в демократичную среду Ethernet, поверх транспортного слоя TCP/IP, открыла новые возможности развития сетевой инфраструктуры массовых приложений. Объединить производительность, быстрый сетевой отклик и низкую стоимость экосистемы на стандартных компонентах — хороший рецепт популярности.
RDMA-адаптеры снизили непроизводительные расходы, освободив центральный процессор от рутинных промежуточных пересылок. Их способность раздавать нагрузку процессорам приложений (у Mellanox, например, адаптер ConnectX-4 одновременно общается с 8 ядрами) стала образцом аппаратной многопоточности.
Удаленный доступ непосредственно к памяти только тогда чего-то стоит, если он может работать с актуальной информацией. В конвергентных системах за это отвечает дисковый пул. Пока отклик дисков был медленным — сети не были узким местом. С появлением твердотельных накопителей (масла в огонь добавит технология Optane, в прошлом известная как 3D XPoint, стирающая грани между городом и деревней оперативной и внешней памятью) сетевая архитектура требует широкополосных линков, с короткими задержками, с исключением CPU из обслуживания транзитных пулов памяти.
Общими усилиями удалось получить тысячекратное увеличение скорости доступа. Теперь, при суб-микросекундном его уровне, Zero-Copy становится реальностью. А транспорт с поддержкой 100/200-гигабитного Ethernet уже немыслим без RDMA: отказ от технологии удаленного доступа к памяти потребовал бы соответствующего повышения частоты центрального процессора, о чем можно только мечтать.
В контексте сказанного, уместно задать вопрос: каковы перспективы? Сохранится ли RDMA-технология при внедрении таких инициатив как NTB (Non-Transparent Bridge)? Ведь речь идет о взаимодействии серверных платформ вообще без посредников — по шине PCI Express. Скорее всего, адаптеры Infiniband действительно окажутся ненужными. Но ведь это только частный случай реализации прямого доступа к памяти по сети, а RDMA в более широком смысле, продолжит свое существование.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
+66 голосов |