El “robots.txt” es un pequeño archivo, que al igual que el “.htaccess” es de gran ayuda para tu wordpress. Generalmente el robots.txt sirve para bloquear el acceso a carpetas y archivos específicos de tu wordpress, así como bloquear los bots o arañas.
Como el propio nombre lo dice, esta creado pensando en los Robots, o boots de los buscadores como Google o Bing.
Como crear un robots.txt?
El crear este archivo es muy facil, sólo tienes que abrir el bloc de notas (o un editor de texto en mac) y escribir el contenido dentro. Guardar y nombrarlo como robots.txt Bastará con subirlo al directorio raiz del wordpress (donde tenemos la página index) mediante tu Cpanel o por medio de ftp, y listo! ya estará funcionando.
Que debe incluir mi robots.txt?
El robots básico sería algo así:
User-agent: * Disallow:
Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web porque el comodín *especifica todos los robots:
Un archivo un poco mas elaborado, podría incluir esto:
User-agent: * Disallow: /wp-admin Allow: /wp-admin/admin-ajax.php
Este es el mínimo.Le estamos diciendo a las arañas que no visiten la carpeta de administración (wp-admin) excepto el de ajax que utiliza Google. A partir de aqui, existen muchas cosas adicionales a bloquear o restringir.
La indicaciones del archivo robots.txt son solo indicaciones
No por incluirlo en el archivo todos los buscadores nos harán caso. Ten en cuenta que solo damos indicaciones que Google y otros buscadores seguirán, pero no todos.