Распределенная поисковая система YaCy - еще один конкурент Google?

Европейский фонд свободного программного обеспечения (FSFE) представил первую версию YaCy, поискового движка с открытым исходным кодом и децентрализованной архитектурой, в котором использованы технологии peer-to-peer, гарантирована конфиденциальность запросов и защита персональных данных. Исходники ПО YaCy распространяются по лицензии GPLv2.

Современные поисковые системы, Google, Bing, Yandex, пр. используют централизованную модель и мало отличающиеся алгоритмы индексации, при этом все поисковики в той или иной мере используют фильтрацию поиска. Основная идея проекта YaCy — создание независимой поисковой системы, для чего вместо центрального сервера для генерации результатов по запросу используются независимые узлы распределенной сети (сейчас их более 600). На каждом узле создается собственный локальный поисковый индекс, который служит частью глобального индекса, представленного в виде распределенной хэш-таблицы (DHT — Distributed Hash Table). Части индекса многократно дублируются, что гарантирует сохранение информации при подключении-отключении отдельных узлов.

В такой системе ни один из узлов не может единолично определить ни элементы, отражаемые в списке результатов поиска, ни порядок их вывода. В данной модели каждый из пользователей YaCy является частью большой поисковой сети, а для обеспечения безопасности условия поиска шифруются. Сейчас в индексе YaCy насчитывается 1,4 млрд документов, ежедневно обрабатывается около 130 тыс поисковых запросов. YaCy уже используется для локального поиска на ресурсах sciencenet.kit.edu, yacy.geocaching-portal.com и fsfe.org.

Движок YaCy написан на Java и доступен для платформ Linux, Windows и Mac OS X. Система состоит из нескольких характерных для поисковиков компонентов: индексатора для парсинга и анализа загруженных документов, базы данных (NoSQL БД с AVL-Trees) для хранения поисковых индексов и метаданных, робота загрузки страниц, интерфейса пользователя.

Как отметил руководитель проекта YaCy Майкл Кристен (Michael Christen), «большая часть деятельности в Интернете в той или иной степени использует поиск. Поисковые системы обеспечивают жизненно-важные связи между человеком и нужной ему информацией, для реализации такой задачи неразумно полагаться исключительно на несколько крупных компаний».

Стратегія охолодження ЦОД для епохи AI