“This policy token is not a directive for crawling behavior.” La frase sta nella bozza tecnica depositata alla IETF da Kevin Kelley, ingegnere di Anthropic, e spiega già metà della storia. Il nuovo segnale non impedisce ai bot di visitare un sito. Dice soltanto se i contenuti possono essere usati per addestrare un modello di intelligenza artificiale.
Il segnale è un nome finto di robot, “__usage_ai-training”, da inserire nella riga User-agent del robots.txt, il file con cui i siti danno istruzioni ai crawler. Un Disallow sotto quel nome rifiuta l’addestramento, un Allow lo concede, e si può decidere cartella per cartella. Una testata potrebbe vietarlo su tutto il sito e permetterlo solo nell’area stampa, per esempio.
La novità è chi ha detto sì. Google, Microsoft, OpenAI e Anthropic si sono impegnate a rispettarlo. Meta lo ha definito “an important step”, per bocca del portavoce Andy Stone, ma non ha preso impegni.
I tempi sono diversi. Anthropic lo applica già. OpenAI parla dei prossimi mesi, senza una data. Microsoft lo rispetterà dal 1° febbraio 2027, Google nel corso del 2027.
Poi ci sono i limiti, e sono parecchi. Senza la riga nuova l’addestramento resta permesso: il silenzio vale come consenso. Il segnale non tocca i contenuti già raccolti. Accordi privati possono scavalcarlo, e il tutto funziona solo se i crawler scelgono di rispettarlo. Non governa nemmeno l’uso dei contenuti nelle risposte generate, come gli AI Overviews di Google o Copilot. Microsoft ha un’impostazione separata per questo, chiamata AI Grounding. Google tratterà il nuovo segnale come un blocco di Google-Extended, che però copre anche l’uso dei contenuti nelle app Gemini: secondo TechRadar, la documentazione di Google non offre un modo per tenere separate le due cose.
E non è ancora uno standard. La IETF lo registra come bozza individuale, senza approvazione formale, e la bozza scade il 3 maggio 2027 se non viene aggiornata. Google sostiene che il segnale è coerente con il codice di buone pratiche europeo per l’AI di uso generale, che riconosce il robots.txt come strumento leggibile dalle macchine per esprimere un opt-out.
Il contesto spiega perché le aziende si muovono adesso. Il New York Times ha fatto causa a OpenAI e Microsoft nel dicembre 2023, e le due aziende si difendono invocando il fair use. Anthropic ha accettato di pagare 1,5 miliardi di dollari per chiudere le cause degli autori sui libri piratati usati per l’addestramento. Cloudflare, dal luglio 2025, blocca di default i crawler AI per i nuovi clienti.
Per un piccolo editore, anche una testata locale come questa, la scelta pratica è semplice da fare e meno semplice da valutare. Vietare l’addestramento non toglie il sito da Google e da Bing. Ma non garantisce nemmeno che i propri articoli spariscano dalle risposte generate dall’AI.