Cloudflare запускає Pay per Crawl: сайти зможуть брати плату з ШІ-ботів за скрейпінг
- Cloudflare запустила Pay per Crawl — маркетплейс, що дозволяє власникам вебсайтів стягувати плату з ШІ-ботів за скрейпінг контенту.
- Власники сайтів можуть встановлювати тарифи, дозволяти безкоштовний доступ або повністю блокувати ШІ-краулерів.
- Cloudflare виступає посередником у цих транзакціях, стягуючи плату з ШІ-компаній та розподіляючи доходи видавцям.
- Це рішення з’явилося на тлі зменшення трафіку з Google Search та зростання популярності ШІ-чатботів, що ставить видавців перед екзистенційними питаннями.
- Нові вебсайти, налаштовані з Cloudflare, тепер за замовчуванням блокуватимуть усі ШІ-краулери, надаючи власникам більше контролю.
- За даними Cloudflare, краулери OpenAI та Anthropic скрейплять сайти значно частіше, ніж Google, надаючи менше переходів.
- Компанія вважає, що «справжній потенціал» Pay per Crawl розкриється в майбутньому, де ШІ-агенти відвідуватимуть сайти від імені користувачів.
Провайдер хмарної інфраструктури Cloudflare, який обслуговує 20% інтернету, у вівторок анонсував запуск нового маркетплейсу. Як повідомляє TechCrunch, ця платформа має на меті переосмислити відносини між власниками вебсайтів та ШІ-компаніями, надаючи видавцям більший контроль над своїм контентом.
Протягом останнього року Cloudflare активно розробляла інструменти, які допомагали видавцям боротися зі стрімким зростанням ШІ-краулерів, включаючи рішення для блокування ШІ-ботів одним кліком та дашборд для моніторингу їхньої активності. Генеральний директор Cloudflare Меттью Принс раніше зазначав, що ці продукти закладають основу для нового типу маркетплейсу, де видавці могли б поширювати свій контент серед ШІ-компаній та отримувати за це компенсацію. Тепер Cloudflare втілює цю ідею в життя.
Нова платформа називається Pay per Crawl, і Cloudflare запускає цей «експеримент» у закритій бета-версії. Власники вебсайтів, які беруть участь в експерименті, можуть на індивідуальній основі дозволяти ШІ-краулерам скрейпити їхні сайти за встановленою ціною – мікроплатіж за кожен «перегляд». Альтернативно, власники сайтів можуть дозволити ШІ-краулерам безплатний доступ до свого контенту або повністю їх блокувати. Cloudflare стверджує, що її інструменти дозволять власникам вебсайтів бачити, чи краулери збирають дані для навчання ШІ, для використання у ШІ-пошукових відповідях, чи для інших цілей.
У великих масштабах маркетплейс Cloudflare є значною ідеєю, яка може запропонувати видавцям потенційну бізнес-модель для ери ШІ. Це також ставить Cloudflare у центр цих процесів. Запуск маркетплейсу відбувається в той час, коли новинні видавці стикаються з екзистенційними питаннями щодо залучення читачів, оскільки трафік з Google Search зменшується, а популярність ШІ-чатботів зростає.
Немає однозначної відповіді на питання, як новинні видавці виживуть в еру ШІ. Деякі, як The New York Times, подали позови проти технологічних компаній за використання їхніх статей для навчання ШІ-моделей без дозволу. Тим часом інші видавці уклали багаторічні угоди на ліцензування свого контенту для навчання ШІ-моделей та для відображення їхнього контенту у відповідях ШІ-чатботів. Проте, лише великі видавці уклали такі ліцензійні угоди, і досі незрозуміло, чи вони забезпечують значні джерела доходу. Cloudflare прагне створити більш стійку систему, де видавці зможуть встановлювати ціни на своїх умовах.
У вівторок компанія також оголосила, що нові вебсайти, налаштовані через Cloudflare, тепер за замовчуванням блокуватимуть усі ШІ-краулери. Власники сайтів повинні будуть надати окремим ШІ-краулерам дозвіл на доступ до свого сайту. Cloudflare заявляє, що ця зміна надасть кожному новому домену «контроль за замовчуванням».
Декілька великих видавців, зокрема Condé Nast, TIME, The Associated Press, The Atlantic, ADWEEK та Fortune, вже підписалися на блокування ШІ-краулерів за замовчуванням у рамках підтримки ширшої мети Cloudflare щодо «дозволеного підходу до скрейпінгу».
Бізнес-модель, на яку багато цих видавців покладалися десятиліттями, поступово стає ненадійною. Історично онлайн-видавці дозволяли Google скрейпити їхні сайти в обмін на переходи з Google Search, що перетворювалося на трафік до їхніх сайтів і, зрештою, дохід від реклами. Однак нові дані від Cloudflare свідчать, що в епоху ШІ видавці можуть отримувати менше вигоди, ніж в епоху Google Search. Хоча деякі вебсайти вважають ChatGPT важливим джерелом трафіку, це не спостерігається повсюдно.
У червні Cloudflare повідомила, що краулер Google скрейпив її вебсайти в 14 разів більше, ніж надавав їм переходів. Водночас краулер OpenAI скрейпив вебсайти 17 000 разів на кожен перехід, а Anthropic — 73 000 разів на кожен перехід.
Тим часом OpenAI та Google розробляють ШІ-агенти, призначені для відвідування вебсайтів від імені користувачів, збору інформації та її прямої доставки користувачам. Майбутнє, де такі інструменти стануть мейнстримом, має величезні наслідки для видавців, які покладаються на відвідування читачами їхніх сайтів.
Cloudflare зазначає, що «справжній потенціал» Pay per Crawl може розкритися в «агентському» майбутньому. «Що, якби агентський платний доступ міг працювати на мережевому рівні, повністю програмовано? Уявіть, що ви просите свою улюблену програму глибокого дослідження допомогти вам синтезувати останні дослідження раку або юридичний бриф, або просто допомогти вам знайти найкращий ресторан у Сохо — а потім даєте цьому агенту бюджет для придбання найкращого та найактуальнішого контенту», — йдеться в блозі Cloudflare.
Для участі в експериментальному маркетплейсі Cloudflare, ШІ-компанії та видавці повинні мати облікові записи Cloudflare. У своїх облікових записах обидві сторони можуть встановлювати тарифи, за якими вони хотіли б купувати та продавати «скрейпінг» контенту видавця. Cloudflare виступає посередником у цих транзакціях, стягуючи плату з ШІ-компанії та розподіляючи доходи видавцю. Ріплі Парк, представник Cloudflare, повідомив TechCrunch, що наразі в Pay per Crawl не використовуються стейблкоїни або криптовалюта.
Маркетплейс Cloudflare видається сміливою візією майбутнього, яка вимагає залучення великої кількості видавців та ШІ-компаній. Проте немає гарантії, що видавці отримають вигідні умови, а переконати ШІ-фірми брати участь може бути складно, враховуючи, що наразі вони безплатно збирають контент. Тим не менш, Cloudflare, схоже, є однією з небагатьох компаній, здатних реалізувати подібний маркетплейс.
