Програма “Оплата за обробку” дозволить видавцям встановлювати ціну за доступ AI-скребкам до їх контенту. Компанії, що займаються штучним інтелектом, зможуть переглядати ціни та обирати, чи зареєструватися для сплати збору “Оплата за обробку”, чи відмовитися від цього. Наразі це пропозиція діє лише для “групи провідних видавців та творців контенту”, але Cloudflare запевняє, що забезпечить “використання якісного контенту з належним дозволом та компенсацією”.

Cloudflare вже деякий час підтримує власників доменів у боротьбі з AI-скребками. Компанія почала дозволяти вебсайтам блокувати AI-скребків у 2023 році, але це стосувалося лише тих, що дотримують файлу robots.txt сайту, не є обов’язковим і лише сигналізує, чи можуть боти обробляти його контент. У минулому році Cloudflare почала дозволяти сайтам блокувати “всіх” AI-болтів — незалежно від того, чи поважають вони файл robots.txt сайту. Наразі ця функція ввімкнена за замовчуванням для нових клієнтів Cloudflare. (Компанія визначає, яких скребків слід блокувати, порівнюючи їх зі своїм списком відомих AI-ботів.) У березні Cloudflare також презентувала функцію, яка направляє веб-скребків у “Лабіринт AI”, щоб відволікти їх від обробки сайтів без дозволу.

Кілька великомасштабних видавців та онлайн-платформ, зокрема Associated Press, The Atlantic, Fortune, Stack Overflow та Quora, приєдналися до нових обмежень для AI-скребків від Cloudflare, адже вебсайти стикаються з майбутнім, де все більше людей знаходять інформацію через AI-чат-боти, замість пошукових систем. “Люди все більше довіряють AI за останні шість місяців, що означає, що вони не читають оригінальний контент,” — зазначив генеральний директор Cloudflare Метью Принс під час заходу Axios Live минулого тижня.

Крім того, Cloudflare повідомляє, що працює з AI-компаніями, щоб допомогти перевірити їх краулерів і дозволити їм “чітко викладати свої цілі”, такі як використання контенту для навчання, інференції чи пошуку. Власники сайтів зможуть переглядати цю інформацію та визначати, яких краулерів пускати.

“Оригінальний контент — це те, що робить Інтернет одним з найбільших винаходів останнього століття, і ми повинні об’єднати зусилля, щоб захистити його,” — сказав Принс у прес-релізі. “AI-скребки без обмежень обробляли контент. Наша мета — повернути владу назад у руки творців, одночасно допомагаючи компаніям AI інновувати.”