Rastreadores de IA en robots.txt: GPTBot, ClaudeBot y otros

Los identificadores más importantes

• GPTBot (OpenAI): recopila contenidos, entre otros fines, para el entrenamiento de modelos.
• OAI-SearchBot (OpenAI): para la búsqueda en ChatGPT.
• ChatGPT-User (OpenAI): accede a páginas cuando los usuarios lo solicitan en el chat.
• ClaudeBot (Anthropic), así como Claude-User y Claude-SearchBot.
• PerplexityBot (Perplexity): para la búsqueda con IA.
• Google-Extended: controla el uso para los productos de IA de Google, pero no influye en la búsqueda normal de Google.
• Applebot-Extended (Apple) y CCBot (Common Crawl, base de datos de muchos modelos).

¿Permitir o bloquear?

Es una decisión entre visibilidad y control. Quien quiere aparecer en las respuestas de IA permite, como mínimo, los servicios de búsqueda y de respuesta. Quien no quiere que sus propios contenidos se usen para el entrenamiento bloquea de forma selectiva los rastreadores correspondientes. El reparto exacto de los servicios cambia; consulte las indicaciones de los proveedores.

Ejemplo de permiso

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

Separar entrenamiento y búsqueda: un ejemplo con números

Supongamos que un negocio artesanal quiere aparecer en las respuestas de IA, pero no quiere poner sus textos a disposición para el entrenamiento de modelos. Entonces el archivo robots.txt necesita dos grupos de entradas: un bloqueo para los rastreadores que recopilan sobre todo datos de entrenamiento y un permiso para los rastreadores de las funciones de búsqueda. El archivo quedaría así:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

La asignación de los identificadores a su finalidad procede de los proveedores y puede cambiar. Por eso, antes de cada ajuste, consulte la documentación actual de OpenAI, Anthropic, Perplexity y Google en lugar de fiarse de una lista antigua.

Errores típicos

• Bloqueo generalizado de todos los bots: User-agent: * con Disallow: / excluye también a los buscadores. Ocurre con frecuencia cuando una versión de prueba del sitio web no se ha limpiado tras el lanzamiento.
• Confundir Google-Extended con Googlebot: Google-Extended solo afecta al uso para los productos de IA de Google. Quien, en cambio, bloquea Googlebot desaparece de la búsqueda normal.
• Errata en el identificador: el identificador debe coincidir con el nombre que indica el proveedor. Con una errata, la entrada no surte efecto y el rastreador sigue accediendo.
• Pensar que robots.txt es el único bloqueo: el archivo es un acuerdo entre participantes educados. Quien necesite proteger contenidos de verdad necesita una protección de acceso en el servidor.

Pasos de comprobación tras cada cambio

1. Abra su-dominio.es/robots.txt en el navegador y compruebe que el archivo es accesible y muestra el contenido esperado.
2. Léalo grupo por grupo: ¿qué identificador figura sobre qué regla? Una regla siempre se aplica al identificador que está justo encima.
3. Consulte los registros del servidor para ver si los rastreadores siguen viniendo tras el cambio o dejan de hacerlo. Eso muestra si el permiso llega de verdad.
4. Anote la fecha del cambio. Si más adelante varían las menciones en las respuestas de IA, al menos podrá situar la relación.

Ayuda para decidir

Para las empresas que captan clientes mediante consultas, suele pesar más el beneficio de la visibilidad. En editoriales, agencias de imágenes o proveedores de contenidos de pago, la cuenta puede salir distinta: allí lo primordial es si los contenidos pueden aprovecharse sin contrapartida. Ambas posturas son legítimas; lo importante es que se elijan de forma consciente y se apliquen de forma comprobable en el archivo. En qué medida es jurídicamente vinculante una reserva de este tipo, por ejemplo conforme al derecho de autor, es una cuestión para el asesoramiento jurídico.

Diferencia entre acceso y entrenamiento

Si un asistente accede a una página porque un usuario acaba de preguntar por ella, es algo distinto de que un rastreador recopile en segundo plano grandes cantidades de texto para un modelo posterior. Justamente esta distinción es la que hacen posible los identificadores. Quien bloquea solo los rastreadores de entrenamiento puede seguir apareciendo en respuestas con indicación de la fuente. Que se aplique así en un caso concreto depende del proveedor, porque algunos servicios usan el mismo identificador para varios fines. Por eso, lea las indicaciones de los proveedores sobre cada identificador que incluya.

Importante

Una entrada en robots.txt es una petición, no un bloqueo. Los rastreadores serios la respetan. Fundamentos en robots.txt explicado.