Конец sneakernet?

Не все восторгаются скоростями Интернета. Инструмент, получивший название OneDataShare и предназначенный для работы с существующей вычислительной инфраструктурой, обещает увеличить скорость передачи данных более чем в 10 раз.

Для исследователей и компаний, использующих чрезвычайно большие наборы данных, такие как карты генома или спутниковые снимки, быстрее отправлять документы автомобилем или самолетом. Замедление приводит ко всему: от потери производительности до неспособности быстро предупредить людей о стихийных бедствиях.

Университет в Буффало (UB) получил грант Национального научного фонда в размере 584 469 долларов для решения этой проблемы. Исследователи создадут инструмент, получивший название OneDataShare, предназначенный для работы с существующей вычислительной инфраструктурой, чтобы увеличить скорость передачи данных более чем в 10 раз.

«Большинство пользователей не получают даже доли теоретических скоростей, обещанных существующими сетями, а пропускная способность существует. Нам просто нужны новые инструменты, чтобы воспользоваться ею», - говорит Тевфик Косар (Tevfik Kosar), доцент кафедры компьютерных наук UB и главный получатель гранта.

Крупные предприятия, государственные учреждения и другие компании могут ежедневно генерировать 1 петабайт (или намного больше) данных. Каждый петабайт составляет один миллион гигабайт или примерно эквивалент 20 миллионов шкафов с четырьмя ящиками, заполненных бумагами. Передача этих данных через Интернет с использованием стандартных высокоскоростных сетей может занять несколько дней, если не недель.

Это узкое место вызвано несколькими факторами. Среди них: нестандартные протоколы или правила, которые определяют формат передачи данных через Интернет; проблемы с маршрутами, по которым передаются данные из своей точки отправления до места назначения; как информация хранится и ограничения вычислительной мощности компьютеров.

Вместо того чтобы ждать, пока данные передадутся через Интернет, отдельные лица и компании могут выбрать для записи данных диски и просто доставить их до места назначения. Это иногда называют sneakernet (сеть физической транспортировки) - идея в том, что физическая доставка информация более эффективна.

Провайдеры управляемых сервисов передачи файлов, такие как Globus и B2SHARE, помогают облегчить проблемы с совместным использованием данных, но д-р Косар говорит, что они по-прежнему страдают от медленных скоростей передачи, негибкости, ограниченной поддержки протокола и других недостатков.

Государственные учреждения, такие как Национальный научный фонд США (NSF) и Министерство энергетики США, хотят устранить эти ограничения, разработав высокопроизводительные и экономически эффективные технологии доступа к данным и обмена ими. Например, NSF сказал в докладе, что киберинфраструктура должна «обеспечивать надежное участие, доступ, анализ, взаимодействие и перемещение данных».
OneDataShare пытается сделать это с помощью уникальной программной и исследовательской платформы. Его основные цели заключаются в следующем:
• сократить время, необходимое для доставки данных. Это будет достигнуто посредством настройки уровня приложения и оптимизации ТСР-базированных протоколов передачи данных, таких как HTTP, SCP и т. п.
• позволить людям легко работать с разными наборами данных, которые традиционно не были совместимы.
• Снизить неопределенность в процессах принятия решений в режиме реального времени и улучшить прогнозы времени доставки.

По словам д-ра Косара, сочетание инструментов OneDataShare, улучшающее скорость обмена данными, взаимодействие между различными программами данных и услуги прогнозирования, приведет к многочисленным преимуществам.

«Все, что требует передачи больших объемов данных, от погодных условий в режиме реального времени и стихийных бедствий до обмена геномными картами и анализа поведения потребителей в режиме реального времени, извлечет пользу от OneDataShare», - сказал д-р Косар. 

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365