Qué es
robots.txt es un archivo de texto plano que vive en la raíz misma de una web (en una dirección como tudominio.com/robots.txt) y da instrucciones a los rastreadores de los buscadores — los programas automáticos que visitan webs para leer e indexar sus páginas. Normalmente dice cosas como "puedes rastrear toda esta web" o enumera secciones concretas que no deberían rastrearse, como un área interna de administración o una página de resultados de búsqueda que no necesita aparecer en Google.
Es un conjunto de peticiones educadas, no una barrera de seguridad — los rastreadores bien portados (como los de Google y Bing) lo respetan, pero en realidad no impide a nadie acceder directamente a una página si ya tiene la dirección.
En qué afecta
Sin un archivo robots.txt, la mayoría de rastreadores simplemente asumirá que son libres de rastrear todo en la web, lo cual suele estar bien en una web pequeña sin nada que excluir. Pero su ausencia también significa que no tienes ninguna voz en el asunto — si alguna vez hay una sección que no quieres que se rastree (una herramienta interna, un entorno de pruebas dejado público por error, contenido duplicado generado por el buscador interno de tu web), no hay ningún archivo que lo diga.
Los buscadores también revisan este archivo como una de las primeras cosas que hacen al descubrir una web nueva, y se usa habitualmente para señalar a los rastreadores dónde está tu sitemap, haciendo que tus demás páginas se encuentren e indexen más rápido.
Cómo solucionarlo
- Crea un archivo de texto plano llamado exactamente
robots.txt(todo en minúsculas). - Como mínimo, incluye
User-agent: *seguido deAllow: /para permitir explícitamente a todos los rastreadores acceder a toda tu web. - Si hay secciones concretas que no quieres que se indexen, añade una línea como
Disallow: /admin/por cada una. - Añade una línea que apunte a tu sitemap, por ejemplo
Sitemap: https://tudominio.com/sitemap.xml, para que los rastreadores encuentren tus otras páginas más rápido. - Sube el archivo a la carpeta raíz de tu web (no dentro de ninguna subcarpeta) para que sea accesible en
tudominio.com/robots.txt— la mayoría de creadores de webs tienen un campo de configuración dedicado para esto en lugar de requerir subir un archivo. - Visita esa dirección en un navegador después para confirmar que el archivo carga y muestra tus reglas como texto plano.