`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

TrillionG ускоряет генерирование суперграфов на порядки

0 
 
TrillionG ускоряет генерирование суперграфов на порядки

Потребность в суперграфах, применяемых при обработке огромных массивов данных, сегодня велика как никогда. Примером приложения является алгоритм PageRank, выстраивающий рейтинг веб-сайтов в поисковых результатах Google. Он оперирует представлением Интернета как гигантского графа, вершины которого образованы веб-сайтами, а рёбра соответствуют ссылкам между веб-ресурсами. Apache Giraph строит граф из всех пользователей сети Facebook: более миллиарда его вершин имеют свыше триллиона перекрёстных связей.

Для того, чтобы протестировать производительность алгоритмов суперграфов требуется доступ к данным, однако использовать для этого реальные данные невозможно из-за необходимости защиты приватности. Искусственно же сгенерированные данные не всегда обладают нужной структурой связей. Кроме того, современные генераторы синтетических графов требуют для работы суперкомпьютеры, состоящие из нескольких тысяч серверов в высокоскоростной сети.

Химчан Парк (Himchan Park) и Минсу Ким (Min-Soo Kim) из Корейского научно-технического института в Тэгу (DGIST) представили на Международной конференции ACM по управлению данными новую модель для генерирования графов, которая на порядки величин быстрее двух основных существующих генераторов. Она также потребляет меньше компьютерных ресурсов благодаря тому, что повторно использует данные, хранящиеся в компактном виде в очень быстрой кэш-памяти.

Все это позволяет TrillionG (так называется их модель) синтезировать более реалистичные данные, а также более масштабные графы. Так, на граф с триллионом рёбер у неё ушло два часа рабочего времени десяти стандартных персональных компьютеров.

Команда разработчиков ожидает, что TrillionG сможет генерировать графы уровня сложности человеческого мозга (100 трлн связей между нейронами), используя 240 стандартных ПК. Такие крупномасштабные синтетические графы будут полезны университетам и ИТ-компаниям в качестве инструментов для разработки и оценки эффективности новых алгоритмов и систем.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

0 
 

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT