Програма “Оплата за Краулінг” дозволить видавцям встановлювати ціну за доступ AI-скрейперів до їхнього контенту. AI-компанії зможуть переглядати ціни та вирішувати, чи реєструватися для сплати збору “Оплата за Краулінг”, чи відмовитися. Наразі ця можливість доступна лише для “групи провідних видавців та творців контенту”, але компанія Cloudflare запевняє, що гарантує “AI-компаніям використання якісного контенту законно — з дозволом і компенсацією”.

Cloudflare вже деякий час допомагає власникам доменів боротися з AI-краулерами. Компанія почала дозволяти сайтам блокувати AI-краулерів у 2023 році, проте це стосувалося лише тих, хто дотримується правил у файлі robots.txt — угоді, що неможливо примусити, яка вказує, чи можуть боти скрейпити контент. Торік Cloudflare дозволила сайтам блокувати “всіх” AI-ботів, незалежно від того, дотримуються вони правил robots.txt чи ні, і наразі ця настройка активується за замовчуванням для нових клієнтів Cloudflare. (Компанія визначає скрейперів, яких потрібно блокувати, порівнюючи їх із відомими списками AI-ботів.) У березні Cloudflare також запровадила функцію, що направляє веб-скрейперів у “AI Лабіринт”, щоб відвадити їх від збору даних зі сайтів без дозволу.

Декілька великих видавців і онлайн-платформ, включаючи Associated Press, The Atlantic, Fortune, Stack Overflow та Quora, погодилися із новими обмеженнями для AI-скрейперів від Cloudflare, оскільки сайти стикаються з майбутнім, де більше людей шукають інформацію через AI-чат-ботів, а не через пошукові системи. “Люди більше довіряють AI протягом останніх шести місяців, що означає, що вони не читають оригінальний контент,” — зазначив генеральний директор Cloudflare Меттью Прінс на заході Axios Live минулого тижня.

Додатково, Cloudflare повідомила, що працює з AI-компаніями для перевірки їхніх краулерів і дозволяє їм “чітко визначити свою мету”, таку як використання контенту для навчання, інференції або пошуку. Власники сайтів зможуть переглядати цю інформацію та визначати, яких краулерів допустити.

“Оригінальний контент — це те, що робить Інтернет одним з найбільших винаходів останнього століття, і ми повинні об’єднати зусилля, щоб його захистити,” — сказав Прінс у пресрелізі. “AI-скрейпери скрейпили контент без обмежень. Наша мета — повернути владу в руки творців, одночасно допомагаючи AI-компаніям інновувати.”