Cloudflare, azienda leader nel settore della connectivity cloud, ha annunciato l'introduzione di nuove classificazioni, strumenti di analisi avanzati e partnership commerciali per favorire una collaborazione più equa tra proprietari di siti web e aziende di intelligenza artificiale. L'iniziativa mira a creare un ecosistema digitale più trasparente, in cui i contenuti online possano essere utilizzati dai sistemi di AI in modo sostenibile, rispettando al contempo i diritti di proprietà intellettuale e le esigenze di monetizzazione dei creatori.

La decisione di Cloudflare arriva in un momento in cui la natura del traffico Internet è profondamente cambiata. Oggi, oltre la metà di tutte le richieste al web è generata da agenti automatizzati e bot, e l'intelligenza artificiale sta diventando la nuova interfaccia principale per accedere alle informazioni e svolgere attività commerciali online. Questo ha modificato le regole con cui i contenuti vengono proposti e fruiti, creando tensioni tra chi produce contenuti e chi li utilizza per addestrare modelli di AI.

Secondo Cloudflare, la maggior parte dei proprietari di siti web desidera apparire nei risultati di ricerca ottenuti dai sistemi di AI, ma per le aziende che basano il proprio modello di business sulla pubblicità o sugli abbonamenti, il fatto che i sistemi di AI possano utilizzare i loro contenuti per l'addestramento senza alcun compenso rappresenta un serio problema. Per rispondere a questa esigenza, Cloudflare sta sperimentando nuove classificazioni predefinite, fornendo ai clienti informazioni più approfondite, rendendo più veloce la ricerca basata sull'AI e garantendo che i creatori vengano compensati quando i loro contenuti vengono utilizzati per generare una risposta.

Matthew Prince, cofondatore e CEO di Cloudflare, ha dichiarato: «Lo scorso anno abbiamo fornito ai proprietari dei siti web trasparenza e controllo su quali bot potessero accedere ai loro contenuti e siamo entusiasti dei benefici che questo ha portato all'intero ecosistema. Ora che la maggior parte del traffico su Internet non è più generata da esseri umani, dobbiamo fare un passo ulteriore e agire più rapidamente affinché possa emergere un ecosistema sostenibile».

Uno degli aspetti più innovativi dell'iniziativa riguarda la gestione dei cosiddetti crawler «a uso misto». Dopo migliaia di confronti con aziende di AI e proprietari di siti web, Cloudflare ha rilevato che la maggior parte dei proprietari desidera che i propri contenuti siano facilmente reperibili attraverso i sistemi di AI, ma per coloro che monetizzano tramite pubblicità e abbonamenti, massimizzare la visibilità non dovrebbe significare cedere gratuitamente la propria proprietà intellettuale. Le aziende di AI più trasparenti hanno reso possibile questo equilibrio separando chiaramente e identificando i propri bot in base alla finalità per cui operano.

I crawler «a uso misto», al contrario, penalizzano sia i proprietari dei contenuti sia le aziende di AI trasparenti, perché combinano in un unico bot attività di ricerca, utilizzo da parte degli agenti AI e addestramento dei modelli. Questo costringe i proprietari dei contenuti a scegliere tra essere visibili nell'era dell'Internet agentico oppure rinunciare gratuitamente ai propri contenuti più preziosi senza alcuna remunerazione. Attualmente Google ha accesso a circa il doppio delle informazioni rispetto alle principali aziende di AI, perché rende impossibile per i clienti continuare a comparire nei risultati di ricerca senza consentire contemporaneamente l'utilizzo dei propri contenuti anche per l'intelligenza artificiale.

Per affrontare questa situazione, Cloudflare ha fissato una scadenza al 15 settembre 2026. Nei prossimi due mesi, l'azienda collaborerà con l'intero ecosistema, raccoglierà feedback ed effettuerà test per definire le nuove impostazioni predefinite e le nuove classificazioni. Per i nuovi clienti e per i nuovi siti dei clienti già esistenti, dal 15 settembre 2026 le impostazioni predefinite consentiranno l'indicizzazione ai fini della ricerca, ma bloccheranno l'utilizzo dei contenuti per l'addestramento dei modelli di AI e per gli agenti AI nel caso delle pagine contenenti pubblicità.

I crawler a uso misto che non permettono ai proprietari dei siti di scegliere separatamente tra ricerca, utilizzo da parte degli agenti AI e addestramento saranno bloccati su tutte le pagine contenenti pubblicità. Questa misura garantisce che i contenuti che generano ricavi non possano essere sottoposti a crawling senza l'esplicita autorizzazione dei rispettivi proprietari. In qualsiasi momento queste impostazioni potranno essere modificate dai clienti attraverso il proprio pannello di controllo. Dal 15 settembre 2026, le stesse modifiche saranno applicate anche a tutti gli attuali clienti del piano gratuito che non avranno modificato le impostazioni nel proprio dashboard.

L'iniziativa di Cloudflare rappresenta un tentativo di bilanciare le esigenze di visibilità e monetizzazione dei creatori di contenuti con le necessità delle aziende di AI di accedere a dati per l'addestramento dei modelli. L'azienda si augura che le modifiche predefinite proposte incoraggino i crawler a uso misto a separare chiaramente le attività di ricerca da quelle legate agli agenti AI e all'addestramento dei modelli, creando così un ecosistema più equo e sostenibile per tutti gli attori coinvolti.