«Рыночное» управлением трафиком многократно ускорит загрузку страниц

На завершившемся вчера в Бостоне симпозиуме Usenix по проектированию и реализации сетевых систем, исследователи из лаборатории CSAIL Массачусетского технологического института (MIT) представили новую систему распределения полосы пропускания в центрах обработки данных.

Большинство сетей управляют трафиком данных, используя версии протокола TCP. Если обмен информацией становится слишком интенсивным, некоторые пакеты могут теряться, не доходя до пункта назначения. В случае TCP, отправитель реагирует на потерю пакетов снижением скорости передачи вдвое, после чего медленно возвращает её до прежнего уровня. При наличии достаточного времени эта процедура позволяет достигать точки равновесия с пропускной способностью сети, оптимально распределенной между всеми отправителями.

Но в ЦОД, обеспечивающих функционирование крупных веб-сайтов время это дефицитный товар. Изменения ситуации в сети происходят так быстро, что вышеприведенная процедура становится непригодной.

TCP перекладывает всю ответственность за регулировку трафика на конечных пользователей. Это закономерно, поскольку данный протокол был создан в расчете на публичный Интернет, объединяющий тысячи сетей с разными владельцами и администраторами. Централизованный контроль такого конгломерата неприемлем как с технической, так и с политической точки зрения.

Для ЦОД, контролируемого одним оператором, централизованное регулирование трафика выглядит вполне практичным, и именно такую систему, под названием Flowtune, разработали в CSAIL.

В ней к распределению полосы пропускания применён рыночный метод. Операторы оценивают приоритетность увеличения передачи данных для разных программ в разное количество баллов: например, удвоение скорости загрузки картинки на веб-странице «стоит» 50 баллов, а удвоение передачи аналитической информации, востребованной только пару раз в сутки, будет стоить всего 5 баллов.

Как и на любом рынке, эта «цена» должна быть приведена в соответствие со «спросом» — суммарным объемом данных, который требуется передать по сети. Для каждой пары, состоящей из отправляющего и принимающего компьютеров, Flowtune рассчитывает скорость передачи, обеспечивающую максимальную «прибыль», или разницу между стоимостью увеличения скоростей передачи — 50 пунктов для изображения по сравнению с 5 для аналитики — и ценой необходимой полосы пропускания всех задействованных участков сети.

Максимальная прибыль изменяет спрос, поэтому Flowtune постоянно пересчитывает цены и ожидаемые доходы, заново определяя скорости передачи для серверов датацентра.

В лабораторных испытаниях, новая система сохраняла ту же общую пропускную способность, что и контрольная сеть с традиционным регулированием трафика, но при этом, за счёт более корректного распределения ресурсов смогла завершить загрузку всех компонентов тестовой страницы в четыре раза быстрее.

Кроме того, в подготовленной статье описывается новая процедура, разработанная инженерами MIT для оптимального распределения вычислений Flowtune в многоядерной компьютерной архитектуре. В эксперименте, такая «тюнинговая» Flowtune выполняла 1% самых медленных запросов данных реального ЦОД в 9-11 раз быстрее, чем стандартная система на базе TCP.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365