robots.txt explicado: qué incluir y qué no

Qué hace el archivo

Los buscadores y otros rastreadores leen el archivo robots.txt antes de recorrer un sitio web. En él figura qué rutas deben evitar y dónde está el mapa del sitio.

Ejemplo sencillo

User-agent: *
Disallow: /intern/
Sitemap: https://example.de/sitemap.xml

Indicaciones importantes

• No es una medida de seguridad: quien no lo respeta puede acceder igualmente a la página. Los contenidos confidenciales deben estar detrás de un inicio de sesión.
• Bloquear no significa quedar fuera del índice: una página bloqueada puede aparecer igualmente en los resultados con su dirección. Para excluirla sirve un noindex.
• Bloqueo accidental: un «Disallow: /» bloquea todo el sitio web. Ocurre con más frecuencia de la que se piensa tras los rediseños.

Estructura en detalle

El archivo se compone de bloques. Un bloque comienza con una línea User-agent, que indica para qué rastreador vale, y contiene debajo líneas Disallow o Allow. El asterisco vale para todos los rastreadores. Un Disallow: sin ruta significa que no se bloquea nada. Las rutas son relativas al dominio y distinguen entre mayúsculas y minúsculas. El archivo debe estar en el directorio principal, es decir, en sudominio.es/robots.txt; en subcarpetas no se tiene en cuenta. Cada subdominio necesita su propio archivo.

Qué puede bloquear y qué no

• Tiene sentido: páginas de resultados de la búsqueda interna, carrito y caja, combinaciones de filtros con parámetros, áreas de prueba que de todos modos no deben encontrarse públicamente.
• No bloquear: hojas de estilo y scripts necesarios para la visualización. Google renderiza las páginas, y los recursos bloqueados pueden dificultar la comprensión.
• No confiar en robots.txt: para datos confidenciales. El archivo es de lectura pública y, por tanto, delata incluso las rutas que usted quería ocultar.

Bloquear o noindex: la decisión

El malentendido es frecuente: quien bloquea una página con robots.txt impide a Google visitarla, no que figure en el índice. Si Google conoce la dirección por enlaces externos, puede aparecer en el índice sin descripción. Si una página no debe aparecer, necesita un noindex en la cabecera o en la respuesta del servidor, y la página no debe estar bloqueada para ello, porque de lo contrario Google nunca verá el noindex. Si quiere ahorrar esfuerzo de rastreo, por ejemplo con miles de páginas de filtros, el bloqueo es el medio adecuado.

El error tras el rediseño

Durante el desarrollo, las agencias suelen bloquear por completo la versión de prueba. Si el archivo se copia al salir en vivo, el nuevo sitio web permanece invisible para los buscadores. Tras cada rediseño, compruebe lo primero el archivo robots.txt y el ajuste de noindex en el sistema de gestión de contenidos. Un indicio de ello son páginas que desaparecen de repente en el informe de la Search Console.

Pasos de comprobación

1. Abra sudominio.es/robots.txt en el navegador. Si aparece una página de error, no existe archivo, lo cual es admisible.
2. Busque «Disallow: /» sin ninguna ruta adicional.
3. Compruebe si la línea Sitemap es correcta.
4. Pruebe direcciones importantes con la inspección de URL de la Search Console.

Probar los cambios con cautela

Como una sola entrada errónea puede excluir grandes partes del sitio web, no modifique nunca el archivo sin comprobarlo. Guarde antes una copia de la versión anterior, pruebe después direcciones típicas en la inspección de URL de la Search Console y controle en los días siguientes el informe de indexación. Un descenso de páginas indexadas poco después de un cambio es una clara señal de alerta que debe investigar de inmediato.

Rastreadores de IA

También los sistemas de IA usan rastreadores propios, como GPTBot, ClaudeBot o PerplexityBot. Quien quiera que lo mencionen en las respuestas de IA no debería bloquearlos sin intención. Más información en Rastreadores de IA en robots.txt.