0 Comentarios
Si estás intentando averiguar dónde está el archivo robots.txt en WordPress, lo primero que conviene tener claro es esto: normalmente se consulta desde la raíz del dominio, escribiendo en el navegador algo como https://tudominio.com/robots.txt. Parece simple, y en parte lo es, pero en WordPress hay un pequeño matiz que suele liar bastante: a veces el archivo existe físicamente en el servidor y otras veces lo genera WordPress de forma virtual.
Vamos a verlo con calma, porque tocar este archivo sin entenderlo puede afectar al rastreo de Google, a la visibilidad SEO de tu web y, en casos extremos, dejar fuera de los buscadores páginas que sí querías posicionar. Y eso, sinceramente, no mola nada.
El archivo robots.txt es un archivo de texto que da instrucciones a los robots de los buscadores sobre qué partes de una web pueden rastrear y cuáles preferimos que no rastreen.
En WordPress, este archivo se utiliza sobre todo para orientar a Googlebot, Bingbot y otros rastreadores sobre zonas técnicas, parámetros, búsquedas internas o secciones que no aportan demasiado valor SEO. No es un botón mágico, pero sí una herramienta útil si se configura con cabeza.
Sirve para gestionar el rastreo, no directamente el posicionamiento. Es decir, ayuda a indicar qué URLs, carpetas o recursos pueden ser visitados por los bots.
Por ejemplo, podríamos impedir el rastreo de ciertas páginas internas de búsqueda o de parámetros que generan muchas URLs duplicadas. Esto puede ser interesante en webs grandes, tiendas online o sitios con filtros.
Este punto es clave: bloquear una URL en robots.txt no garantiza que no se indexe.
Si Google conoce esa URL por enlaces externos o internos, puede llegar a mostrarla en resultados aunque no pueda rastrear su contenido. Para evitar la indexación, lo adecuado suele ser usar una etiqueta noindex, una cabecera X-Robots-Tag o eliminar la URL si ya no debe existir.
Dicho rápido: robots.txt controla el acceso de los bots; noindex controla si una página debe aparecer en el índice.
En una web WordPress, el robots.txt se encuentra en la raíz del dominio. Al menos, desde el punto de vista público.
La forma más rápida de verlo es añadir /robots.txt al dominio. Si tu web es https://ejemplo.com, la URL sería:
https://ejemplo.com/robots.txt
Cuando hablamos de “raíz”, nos referimos al directorio principal desde el que se sirve la web. En muchos hostings se llama public_html, www, htdocs o algo parecido.
Si existe un archivo físico llamado robots.txt, debería estar ahí, al mismo nivel que carpetas como wp-admin, wp-content y wp-includes.
Esta es la prueba más sencilla. Abres el navegador y escribes:
https://tudominio.com/robots.txt
Si aparece un contenido parecido a esto, ya tienes respuesta:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://tudominio.com/sitemap_index.xml
Si ves una página en blanco, un error 404 o un contenido muy raro, toca revisar con más detalle.
Aquí viene la parte que confunde a mucha gente. WordPress puede generar un robots.txt virtual aunque no exista ningún archivo físico en el hosting.
Por eso, puedes visitar /robots.txt en el navegador y verlo correctamente, pero luego entrar por FTP y no encontrarlo por ninguna parte. No es magia negra ni nada por el estilo; WordPress lo está generando dinámicamente.
La diferencia principal es que el archivo virtual lo genera WordPress automáticamente, mientras que el físico es un archivo real que tú puedes editar desde el servidor.
Ambos se muestran en la misma URL pública, pero no se gestionan igual.
Si no hay un robots.txt físico, WordPress puede mostrar una versión básica con algunas instrucciones generales. Además, algunos plugins SEO añaden automáticamente la URL del sitemap o permiten modificar las reglas desde el panel.
Esto es práctico porque no necesitas crear el archivo desde cero para tener algo funcional.
Conviene crear un robots.txt manual cuando necesitas una configuración específica. Por ejemplo:
Bloquear búsquedas internas.
Controlar filtros en WooCommerce.
Añadir un sitemap personalizado.
Ajustar reglas para bots concretos.
Resolver problemas de rastreo detectados en Google Search Console.
Eso sí, si tu web es sencilla, muchas veces no hace falta complicarse.
La ventaja es clara: tienes control total. El riesgo también: puedes cometer un error y bloquear partes importantes de tu web.
Una línea como esta sería peligrosa:
User-agent: * Disallow: /
Eso indica a todos los bots que no rastreen nada. Y sí, pasa más de lo que parece, sobre todo después de migraciones o desarrollos en staging.
Si quieres comprobar si existe físicamente, necesitas entrar al hosting o servidor donde está alojado WordPress.
En muchos alojamientos, el directorio principal se llama public_html. Ahí deberías buscar un archivo llamado exactamente:
robots.txt
Debe estar en minúsculas y con extensión .txt.
Puedes acceder con un cliente FTP/SFTP como FileZilla, o desde el administrador de archivos del panel de hosting, por ejemplo cPanel, Plesk o el panel propio del proveedor.
Si lo editas desde ahí, haz una copia antes. Parece una tontería, pero nos ha salvado más de una vez de un “uy, ¿qué he tocado?”.
Si WordPress está instalado en una subcarpeta, por ejemplo:
https://tudominio.com/blog/
el robots.txt principal seguirá estando normalmente en:
https://tudominio.com/robots.txt
No en:
https://tudominio.com/blog/robots.txt
La raíz del dominio manda. Esto es importante si tienes varias instalaciones o una web corporativa con un blog en subdirectorio.
Otra forma cómoda de editarlo es usar plugins SEO. No siempre hace falta tocar el servidor.
Yoast SEO suele permitir editar archivos como robots.txt desde sus herramientas, siempre que el servidor permita escribir en esos archivos.
Desde ahí puedes crear o modificar el archivo sin entrar por FTP. Aun así, revisa bien cada directiva antes de guardar.
Rank Math también incluye opciones para visualizar y modificar el robots.txt desde el panel de WordPress. Es bastante útil si prefieres gestionar el SEO técnico desde una interfaz más amigable.
Como norma, evita tener varias herramientas intentando controlar lo mismo a la vez.
Algunos plugins de caché, seguridad o mantenimiento también pueden influir en cómo se sirve este archivo. Si algo no cuadra, revisa si hay reglas en el servidor, redirecciones, plugins de seguridad o configuraciones de caché metiendo mano.
Un robots.txt básico no tiene que ser larguísimo. De hecho, cuanto más simple y claro, mejor.
Para una web WordPress normal, podríamos partir de algo así:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://tudominio.com/sitemap_index.xml
Es una base sencilla. Permite rastrear lo importante y bloquea el acceso a una zona administrativa que no aporta valor SEO.
User-agent indica a qué bot se aplica la regla. Si usamos *, se aplica a todos.
Disallow indica qué ruta no queremos que se rastree.
Allow permite excepciones dentro de una zona bloqueada.
Sitemap señala la ubicación del sitemap XML para ayudar a los buscadores a descubrir URLs importantes.
La URL del sitemap debe ser absoluta, incluyendo protocolo y dominio:
Sitemap: https://www.tudominio.com/sitemap_index.xml
Si usas Yoast SEO, suele ser /sitemap_index.xml. Si usas Rank Math, también puede ser similar. Compruébalo siempre abriendo la URL en el navegador.
Aquí es donde conviene ir con cuidado. Un robots.txt mal configurado puede parecer inofensivo, pero tener consecuencias serias.
El error más típico es dejar esta regla activa:
User-agent: * Disallow: /
Esto bloquea el rastreo de todo el sitio. A veces se usa durante el desarrollo y luego se olvida al publicar la web. Y claro, depués vienen los sustos.
Google necesita acceder a recursos como CSS, JavaScript e imágenes para entender bien la página. Si bloqueas carpetas completas como /wp-content/, puedes impedir que Google renderice correctamente tu web.
Mucho ojo con bloquear directorios enteros sin saber qué contienen.
Lo repetimos porque es importante, importante: robots.txt no es lo mismo que noindex.
Si quieres que una página no aparezca en Google, usa noindex. Si solo quieres controlar el rastreo, entonces robots.txt puede tener sentido.
Cada web es un mundo. Copiar el robots.txt de otra página puede funcionar… o puede cargarse parte de tu rastreo.
Una tienda online, un blog pequeño y una web corporativa no necesitan las mismas reglas.
No basta con crearlo y olvidarse. Hay que comprobarlo.
Abre:
https://tudominio.com/robots.txt
Comprueba que carga, que no redirige raro y que las reglas son las esperadas.
Google Search Console es imprescindible para detectar problemas de rastreo e indexación. Desde sus informes puedes ver si Google tiene dificultades para acceder a URLs importantes.
También puedes usar la inspección de URLs para comprobar si Google puede rastrear una página concreta.
Haz una revisión de tus páginas clave: home, categorías, servicios, productos, artículos importantes y landings SEO.
Si alguna URL estratégica aparece bloqueada por robots.txt, hay que corregirlo cuanto antes.
No todas las carpetas técnicas deben bloquearse. Antes era habitual bloquear muchas rutas internas, pero hoy conviene ser más prudentes.
/wp-admin/ sí suele bloquearse, manteniendo permitida la ruta admin-ajax.php.
Pero con /wp-content/ y /wp-includes/ hay que tener cuidado. Ahí pueden estar temas, plugins, imágenes, CSS y JavaScript necesarios para que Google entienda la página.
Bloquear directorios completos puede ahorrar rastreo en algunos casos, pero también puede dejar inaccesibles recursos útiles.
En SEO técnico, menos es más. Mejor bloquear rutas concretas que meter un hachazo a toda una carpeta.
Antes de bloquear algo, revisa si esa carpeta sirve archivos visibles para el usuario o necesarios para renderizar la página. Si afecta al diseño, funcionalidad o contenido, mejor no bloquearlo a ciegas.
No hace falta tocarlo cada semana. Pero hay momentos en los que sí conviene revisarlo.
En migraciones, rediseños o cambios de dominio, revisa siempre el robots.txt antes de publicar. Muchas webs salen a producción con reglas de bloqueo heredadas del entorno de pruebas.
Y esto puede frenar el rastreo justo cuando más necesitas que Google entienda los cambios.
En WooCommerce o tiendas con muchos filtros, el robots.txt puede ayudar a controlar URLs con parámetros, búsquedas internas o combinaciones que generan contenido duplicado.
Pero aquí conviene hilar fino. No todo se arregla bloqueando.
Si tienes zonas privadas, resultados internos, páginas de baja calidad o secciones duplicadas, puede ser buena idea revisar qué deben rastrear los bots y qué no.
Aun así, si el contenido es privado de verdad, no dependas solo de robots.txt. Usa autenticación, restricciones reales o medidas de seguridad adecuadas.
Antes de editarlo, respira. No es complicado, pero tampoco conviene hacerlo con prisas.
Guarda una copia del archivo actual antes de tocar nada. Incluso puedes pegar el contenido en un documento aparte.
Así, si algo sale mal, puedes restaurarlo rápidamente.
No añadas reglas “por si acaso”. Cada línea debe tener un motivo.
Comprueba las rutas, revisa las barras finales y asegúrate de que no estás bloqueando secciones importantes.
Después de modificarlo, revisa Search Console durante los días siguientes. Mira si aparecen advertencias, caídas de cobertura o URLs importantes bloqueadas.
Y si no estás seguro, mejor contar con ayuda profesional. En Webtec podemos ayudarte a mantener tu WordPress seguro, actualizado y bien optimizado. Si quieres olvidarte de estos problemas técnicos, revisa nuestro servicio de mantenimiento web en WordPress.
Sí. Si no existe un archivo físico, WordPress puede generar un robots.txt virtual básico. Por eso puedes verlo en /robots.txt aunque no lo encuentres en el servidor.
Porque probablemente no existe como archivo físico. Puede estar siendo generado por WordPress o por un plugin SEO.
Sí, pero no siempre es recomendable. Si lo eliminas y WordPress genera uno virtual correcto, no pasa nada grave. Pero si tenías reglas importantes, podrías perderlas.
Google puede detectar cambios relativamente rápido, pero no siempre es inmediato. Depende de la frecuencia de rastreo de tu sitio. En webs activas puede ser cuestión de días; en sitios pequeños puede tardar algo más.
No es obligatorio, pero sí recomendable. Aunque sea básico, ayuda a los buscadores a entender mejor qué deben rastrear y dónde está tu sitemap.
En resumen: el archivo robots.txt en WordPress está en la raíz del dominio, aunque no siempre existe físicamente en el servidor. Puede ser virtual, puede estar gestionado por un plugin SEO o puede estar creado manualmente. Lo importante es saber qué reglas contiene y comprobar que no bloquea nada esencial para tu posicionamiento. Ahí está la clave.
¿Qué te ha parecido este artículo?