“This policy token is not a directive for crawling behavior.” La frase aparece en el borrador presentado ante la IETF por Kevin Kelley, ingeniero de Anthropic, y resume el alcance de la novedad: la señal no impide que los bots visiten una web, solo indica si sus contenidos pueden usarse para entrenar modelos de IA.
Se escribe como un nombre de robot ficticio, “__usage_ai-training”, en la línea User-agent del robots.txt. Un Disallow bajo ese nombre rechaza el entrenamiento, un Allow lo permite, y se puede decidir carpeta por carpeta.
Google, Microsoft, OpenAI y Anthropic se han comprometido a respetarla. Meta, por boca de Andy Stone, la llamó “an important step”, sin comprometerse. Anthropic ya la aplica, OpenAI lo hará en los próximos meses, Microsoft desde el 1 de febrero de 2027 y Google en 2027.
Los límites pesan. Si no se añade la línea, el entrenamiento sigue permitido. No afecta a lo ya recopilado, los acuerdos privados pueden prevalecer y todo depende de que los rastreadores cumplan. Tampoco regula las respuestas generadas por IA: Microsoft tiene un ajuste aparte, AI Grounding, y Google tratará la señal como un bloqueo de Google-Extended, que según TechRadar también afecta a Gemini sin forma de separar ambos usos.
Es un borrador individual sin rango de estándar, que caduca el 3 de mayo de 2027 si no se renueva. Google dice que encaja con el código de buenas prácticas europeo para la IA de uso general.
Hay contexto: la demanda del New York Times contra OpenAI y Microsoft desde 2023, el acuerdo de 1.500 millones de dólares de Anthropic con autores y el bloqueo por defecto de Cloudflare desde julio de 2025. Para un medio pequeño, vetar el entrenamiento no lo saca de Google ni de Bing, pero tampoco garantiza que sus artículos desaparezcan de las respuestas de la IA.