AI-стартап Perplexity, за повідомленнями Cloudflare, нібито обминає обмеження, спрямовані на заборону доступу його веб-сканерам до певних сайтів. У звіті йдеться про те, що коли Perplexity стикається з блокуванням, компанія намагається приховати свою особу як сканера, щоб обійти налаштування веб-сайтів.

Цей звіт лише підсилює занепокоєння щодо того, що Perplexity використовує контент без дозволу, оскільки минулого року компанію звинуватили у порушенні платних стін і ігноруванні файлів robots.txt. Тоді генеральний директор Perplexity Арвінд Срінівас пояснив дії сторонніми сканерами, які використовував сайт.

Зараз Cloudflare, одна з найбільших фірм у сфері інтернет-інфраструктури, повідомляє, що отримала скарги від клієнтів, які заявили, що боти Perplexity продовжують мати доступ до їхніх сайтів, навіть після того, як вони встановили відповідні налаштування у файлах robots.txt та створили правила веб-додатка для обмеження доступу до ботів компанії.

Щоб перевірити цю інформацію, Cloudflare створила нові домени з подібними обмеженнями для AI-сканерів Perplexity. Вони виявили, що стартап спершу намагається отримати доступ до сайтів, представляючись як свої власні сканери: “PerplexityBot” або “Perplexity-User”.

Однак, якщо на сайті є обмеження щодо AI-сканування, Cloudflare стверджує, що Perplexity змінює свій агент користувача — інформацію, яка вказує сайту, який браузер і пристрій використовуються, або чи є відвідувач ботом — на “підробку Google Chrome на macOS”. Cloudflare зазначає, що цей “недекларований сканер” використовує “ротаційні” IP-адреси, яких компанія не включає до списку IP-адрес, що використовуються її ботами.

Крім того, Cloudflare стверджує, що Perplexity також змінює свої автономні системи, щоб обійти блокування. “Цю активність було зафіксовано на десятках тисяч доменів і мільйонах запитів на день”, — йдеться у звіті.

Представник Perplexity Джессі Двайер назвав звіт Cloudflare “публічним PR-ходом”, додавши, що “в блозі існує багато непорозумінь”.

Perplexity опублікувала відповідь на своєму сайті, де стверджує, що Cloudflare сплутала 20-25 мільйонів запитів від користувачів з AI-сканерами. “Агенти, які спричиняються користувачами, працюють лише тоді, коли користувачі роблять конкретні запити, і вони отримують лише той контент, який необхідний для задоволення цих запитів”, — говорить Perplexity. Компанія додає, що Cloudflare “помилково” сплутала її з “3-6 мільйонами щоденних запитів не пов’язаного трафіку з BrowserBase”, хмарного браузера для AI-агентів, який Perplexity, за її словами, використовує лише “іноді”.

Наразі Cloudflare виключила Perplexity з переліку перевірених ботів і запровадила заходи для блокування “прихованого сканування” компанії.