`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Переосмысление сетевого стека для ресурсоемких приложений

+33
голоса

DARPA стремится создавать новые сетевые подходы для увеличения производительности распределенных приложений в 100 раз.

Вычислительная производительность неуклонно растет по кривой, установленной законом Мура, и производительность сети повышается с такой же скоростью. Тем не менее, несмотря на это согласованное развитие сетевых и серверных технологий, сетевой стек, начиная с сетевой карты (NIC) — или оборудования, связывающего границу сети / сервера — не успевал за этим ростом. В настоящее время оборудование сетевого интерфейса замедляет поступление данных из сети к оборудованию обработки. Дополнительные факторы, такие как ограничения в технологиях серверной памяти, копирование памяти, плохой дизайн приложений и конкуренция за общие ресурсы, привели к тому, что сетевые подсистемы создают узкое место в сетевом стеке и снижают пропускную способность приложений.

Менеджер программ в Информационном инновационном офисе DARPA д-р Джонатан Смит (Jonathan Smith) считает, что истинным узким местом для пропускной способности процессора является сетевой интерфейс, используемый для подключения машины к внешней сети, такой как Ethernet, который серьезно ограничивает возможности загрузки процессора. Сегодня пропускная способность сети, построенной по современной технологии, составляет около 10^14 бит/с, и данные обрабатываются в совокупности со скоростью около 10^14 бит/с. Текущие же стеки обеспечивают пропускную способность приложения только от 10^10 до 10^11 бит/с.

Устранение узкого места между многопроцессорными серверами и связующими их сетевыми интерфейсами становится все более важным для распределенных вычислений. Этот класс вычислений требует значительной пропускной способности между вычислительными узлами. На него также все больше полагаются для продвинутых приложений, таких как глубокое обучение нейронной сети и классификация изображений.

Чтобы ускорить работу распределенных приложений и сократить разрыв в производительности, DARPA инициировала программу Fast Network Interface Cards (FastNIC). Программа стремится повысить производительность сетевого стека в 100 раз путем разработки «с чистого листа». Достижение такого значительного прироста производительности потребует переделки всего сетевого стека — от уровня приложений до уровня системного программного обеспечения и вплоть до аппаратного обеспечения.

Создание сетевого стека сопряжено с большими затратами и сложностями — от максимизации соединений между аппаратным и программным обеспечением до переработки интерфейсов приложений. Сильные коммерческие стимулы, нацеленные на осторожное постепенное продвижение новых технологий в множестве независимых рыночных сегментах, отговорили кого-либо от использования стека в целом.

Чтобы помочь обосновать необходимость такого значительного пересмотра, программы FastNICs выберут показательное приложение и предоставят ему необходимую аппаратную поддержку, операционную систему и интерфейсы приложений, которые обеспечат общее ускорение системы благодаря более быстрым сетевым адаптерам. В рамках программы исследователи будут работать над разработкой, внедрением, интеграцией и проверкой новых сетевых подсистем.

Часть программы FastNIC будет сосредоточена на разработке аппаратных систем для значительного улучшения скорости агрегированного необработанного канала данных сервера. В этой области исследователи будут проектировать, внедрять и демонстрировать аппаратные средства сетевого интерфейса со скоростью 10 Тбит/с, используя существующие или запланированные аппаратные интерфейсы. Аппаратные решения должны подключаться к серверам через одну или несколько стандартных интерфейсных точек, таких как шины ввода-вывода, межсоединительные сети многопроцессорных систем и слоты памяти, для поддержки быстрого перехода на технологию FastNIC. Это начинается с аппаратного обеспечения — если его не сделать правильно, то разработка упрется в тупик. Программное обеспечение не может делать вещи быстрее, чем позволяет физический уровень, поэтому сначала необходимо изменить физический уровень.

Второе направление исследований будет сосредоточено на разработке системного программного обеспечения, необходимого для управления аппаратными ресурсами FastNIC. Для достижения 100-кратного увеличения пропускной способности на уровне приложений системное программное обеспечение должно обеспечивать эффективную и параллельную передачу данных между сетевым оборудованием и другими компонентами системы. Исследователи FastNIC будут работать над созданием программных библиотек — все они будут с открытым исходным кодом и совместимы по крайней мере с одной ОС с открытым исходным кодом — которые могут использоваться различными приложениями.

Программа FastNIC также предусматривает исследование приложений, которые могли бы позволить увеличение производительности на несколько порядков, обеспечиваемого программно-сгенерированным оборудованием. Исследователи будут стремиться спроектировать и внедрить, по крайней мере, одно приложение, которое продемонстрирует ускорение в 100 раз при выполнении в новом аппаратно-программном стеке, предоставляя средство для проверки основной цели программы. Особый интерес представляют две области применения — распределенное машинное обучение и датчики. Машинное обучение требует использования кластеров — или большого количества машин — так, чтобы все ядра использовались для одной цели, такой как анализ изображений, чтобы помочь беспилотным автомобилям надлежащим образом определить препятствие на дороге. Недавние исследования показали, что, ускоряя поддержку сети, вся распределенная система машинного обучения может работать быстрее. При машинном обучении обычно используемые методы включают перемещение данных, что создает задержки. Однако если перемещать быстрее данные между компьютерами с помощью FastNIC, можно будет сократить разрыв в производительности.

В программе FastNIC также предусмотрено исследование данных датчиков от таких систем, как беспилотники и тепловизоры. Примером применения может быть обнаружение изменений, когда помеченные изображения используются для обучения системы глубокого обучения распознаванию аномалий во временных рядах захватов изображений, таких как присутствие странной структуры или внезапный всплеск активности на объектах в необъяснимом месте. Обнаружение изменений требует быстрого доступа как к текущим данным датчика, так и к возможности быстрого доступа к архивам данных. FastNIC предоставит способ ускорить получение оперативного интеллекта из множества данных.

Переосмысление сетевого стека для ресурсоемких приложений

Диаграмма представляет скорости передачи данных в логарифмическом масштабе по вертикали оптическим волокном, слева, и сервером, справа. Перемещение слева направо отслеживает пути данных, которые должны проходить через компоненты от оптоволокна к серверу. Сетевые стеки ограничены как сетевыми интерфейсными картами, так и системным программным обеспечением до 10-100 Гб/с. Это узкое место особенно важно для распределенных вычислений, которые требуют значительного взаимодействия между вычислительными узлами. FastNICs стремится ускорить приложения, такие как распределенное обучение классификаторов машинного обучения, в 100 раз путем разработки «с чистого листа», внедрения, интеграции и проверки новых подсистем сети

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+33
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT