Про якість роботи пошукових систем на кшталт ChatGPT Search

Цікаве дослідження якості пошуку так званих Answer Engines або Generative Search Engines. Час, мабуть, запам'ятовувати новий термін, який позначатиме пошукові системи на базі LLM-моделей, типу Perplexity або нещодавно показаної ChatGPT Search. Щоправда, дослідження вийшло в основному про недоліки, серед яких автори виділяють чотири основні.

Перший. Часто відповіді систем містять дуже загальну інформацію, деталі якої потім доводиться шукати самостійно за допомогою звичайних пошуковиків.

Другий. AI-системи схильні посилювати одну з думок щодо проблеми. Особливо якщо щодо неї є суперечливі думки.

Третій. Хоча AI-системи зазвичай дають посилання на джерела, насправді вони є далеко не завжди. При цьому часто самі джерела не підтверджують тверджень, зроблених у відповіді. До речі, найбільше цим страждає SearchGPT. Хоча дослідники тестували закриту бета-версію, а не ту, що зрештою була представлена публіці – лише в 40% випадків, коли були посилання, вони дійсно підтверджували інформацію, наведену у відповіді.

Четвертий. Користувачі систем позбавлені самостійності та не можуть керувати підбором джерел.

Варто ще зазначити, що досліджувані системи явно страждають від нестачі повноти. Тобто обмеженість джерел не дає змоги сформувати повну й релевантну відповідь. Ця проблема добре відома традиційним пошуковикам, до речі кажучи.

Загалом, цікаво і не дуже багато тексту, якщо що.

Про якість пошуку генеративних пошукових систем