Dos archivos, dos roles complementarios

Cuando un buscador visita tu sitio, lo primero que hace es buscar instrucciones. El archivo robots.txt le dice qué puede rastrear y qué no. El sitemap.xml le entrega un índice con las URLs que quieres que conozca. No son lo mismo, pero se usan juntos y ambos viven en la raíz de tu dominio.

Qué es robots.txt

Es un archivo de texto plano ubicado en https://tusitio.com/robots.txt. Contiene directivas para los rastreadores (bots) que visitan tu web. No es obligatorio, pero si existe, los bots legítimos lo respetan.

Sintaxis básica

• User-agent: indica a qué bot aplica la regla. Usa * para todos.
• Disallow: ruta que el bot no debe rastrear.
• Allow: excepción dentro de un Disallow (permite una subruta).
• Sitemap: URL completa de tu sitemap.xml.

Ejemplo típico para un WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tusitio.com/sitemap.xml

Errores comunes que arruinan el SEO

• Bloquear todo por accidente. La línea Disallow: / le dice a los bots que no rastreen nada. Si se te cuela en producción, desapareces de los resultados.
• Bloquear CSS y JS. Google necesita renderizar la página para entenderla. Si bloqueas recursos estáticos, verá tu sitio roto.
• Confundir robots.txt con privacidad. Un Disallow no oculta la URL, solo pide que no se rastree. Para contenido realmente privado usa autenticación o noindex.
• Olvidar el Sitemap. Declararlo en robots.txt le ahorra trabajo al rastreador.

Qué es sitemap.xml

Es una lista en formato XML con las URLs importantes de tu sitio, su fecha de última modificación y, opcionalmente, su prioridad. Ayuda a los buscadores a descubrir páginas nuevas y a entender la estructura.

Cómo generarlo

• En WordPress: plugins como Yoast SEO, Rank Math o All in One SEO generan el sitemap automáticamente y lo actualizan cada vez que publicas contenido. Suele vivir en /sitemap_index.xml.
• Manualmente: puedes crear un XML siguiendo el protocolo sitemaps.org. Útil para sitios estáticos o personalizados.
• Partido en varios: si tu sitio supera las 50.000 URLs, divide el sitemap en varios archivos y enlázalos desde un índice.

Subirlo a Google Search Console

Entra a Search Console, selecciona tu propiedad, ve a Sitemaps en el menú lateral e introduce la URL de tu sitemap. Google leerá el archivo, procesará las URLs y te mostrará cuántas fueron descubiertas e indexadas. Hazlo también en Bing Webmaster Tools si te interesa Bing.

Verificación rápida

Visita tusitio.com/robots.txt en el navegador para confirmar que el archivo es accesible. Usa el probador de robots.txt de Search Console para validar reglas antes de subirlas. Y revisa el informe de cobertura para ver si el sitemap está devolviendo errores.