Cloudflare blockerar nu AI-crawlers automatiskt för nya kunder och lanserar “Pay Per Crawl”, där du som sajtägare själv bestämmer om du vill blockera, ta betalt eller ge fri tillgång till AI-crawlers. Du sätter själv priset, det finns inga rekommenderade nivåer, minimi- eller maxbelopp och det är oklart om Cloudflare tar någon avgift. Exakt hur det fungerar är ännu inte offentligt, eftersom tjänsten är i privat beta och bara öppen för ansökan.
Bland de publicister som redan anslutit sig till Pay Per Crawl finns stora varumärken som TIME, BuzzFeed, Quora, Stack Overflow, The Atlantic och Webflow. Dessa aktörer får nu möjlighet att skydda sitt material och skapa nya intäktsströmmar samtidigt som de bestämmer själva hur deras innehåll får användas av AI-tjänster.
Cloudflares vd Matthew Prince motiverar förändringen med att det blivit betydligt svårare att vara innehållsskapare på nätet: ”Tio år sedan, för varje två sidor Google hämtade, fick du en besökare. Idag är det så att för varje 18 sidor Google tar från dig, får du en besökare.” (Översatt citat från intervjun med Axios, se videon nedan). Han pekar på att utvecklingen går snabbt åt fel håll, särskilt med AI-drivna sökresultat som ofta ger svaret direkt och därmed minskar trafiken till originalkällan.
För mindre aktörer kan det bli en utmaning att få betalt eller synas i AI-drivna sökresultat om de sätter höga priser, men det är fortfarande möjligt att tillåta fri tillgång och behålla synlighet. För företag som inte använder Cloudflare påverkar detta inte alls.
Tekniskt bygger lösningen på HTTP-statuskoden 402 Payment Required. När en AI-crawler försöker hämta innehåll får den antingen tillgång direkt, eller möts av en 402-sida med information om kostnaden. Crawlern kan då välja att acceptera priset och betala, eller avstå. All hantering av betalningar och loggning av crawl-händelser sköts av Cloudflare, som agerar Merchant of Record.
Tjänsten Pay Per Crawl är fortfarande i privat beta och du kan ansöka om tillgång här.
Cloudflare skriver även mer om uppdateringen i ett blogginlägg här.
Här hittar du likasinnade att växa med, oavsett om du är specialist, generalist eller ny i yrket.