| 0 |
|
Фахівці розробника помітили, що майже один відсоток усіх запитів на доступ до веб-контенту, які вона може бачити, надходять від пошукових роботів зі штучним інтелектом. Ці боти, ймовірно, вилучають дані, зібрані для навчання АІ-моделей.
Оператори веб-сайтів теоретично можуть заблокувати АІ-сканери різними способами, наприклад, за допомогою файлу robots.txt або зміни налаштувань веб-сервера, щоб заборонити відвідування ботів. Деякі навіть використовують CAPTCHA, щоб перевірити, чи відвідувачі сайту є людьми, або впроваджують програмне забезпечення, призначене для стримування ботів.
Насправді ж оператори пошукових роботів ігнорують інструкції у файлах robots.txt або обходять CAPTCHA і налаштування веб-сервера. Результатом є велика кількість небажаного трафіку, що споживає ресурси, а також інформація, що потрапляє в навчальні дані без дозволу авторів - спірна практика, яка наразі розглядається в суді на тлі звинувачень у порушенні авторських прав.
Відповідь Cloudflare полягає в тому, щоб впустити ботів і використовувати генеративний АІ для створення небажаного контенту, який вони будуть поглинати в тому, що компанія назвала AI Labyrinth.
«Коли ми виявляємо несанкціоноване сканування, замість того, щоб блокувати запит, ми посилаємося на серію сторінок, створених штучним інтелектом, які є достатньо переконливими, щоб спонукати пошукових роботів пройти їх», - пояснюють Рід Таторіс (Reid Tatoris), Харш Саксена (Harsh Saxena) та Луїс Мігліетті (Luis Miglietti) з Cloudflare. Для створення контенту Cloudflare використовує власні безсерверні Workers.
Контент, як зазначають розробники «виглядає як справжній», але «насправді не є вмістом сайту, який ми захищаємо, тому робот марно витрачає час і ресурси». Контент також «реальний і пов'язаний з науковими фактами», тому що Cloudflare не хоче ненавмисно створювати дезінформацію.
Помилки АІ також розроблені не для того, щоб зашкодити репутації сайтів або зусиллям з пошукової оптимізації.
Однак він покликаний діяти як стримуючий фактор для операторів пошукових систем, відволікаючи їхніх ботів від роботи і тим самим збільшуючи витрати на експлуатацію скреберів контенту.
«Жодна справжня людина не піде на чотири посилання вглиб лабіринту нісенітниць, згенерованих штучним інтелектом, - зазначають у Cloudflare. - Будь-який відвідувач, який це зробить, з великою ймовірністю є ботом, тому це дає нам абсолютно новий інструмент для ідентифікації та зняття відбитків пальців поганих ботів, яких ми додаємо до нашого списку відомих поганих акторів».
Такі речі зазвичай призводять до гонки озброєнь, і Cloudflare вже замислюється над тим, що потрібно зробити, щоб залишатися попереду.
«У майбутньому ми продовжимо працювати над тим, щоб ці посилання було складніше помітити і щоб вони органічно вписувалися в існуючу структуру веб-сайту, в який вони вбудовуються», - пишуть автори статті.
Клієнти Cloudflare вже можуть увімкнути AI Labyrinth у своїх консолях управління.
| 0 |
|
