robots.txt

robots.txt para tu wordpress, que debes poner

El “robots.txt” es un pequeño archivo, que al igual que el “.htaccess” es de gran ayuda para tu wordpress. Generalmente el robots.txt sirve para bloquear el acceso a carpetas y archivos específicos de tu wordpress, así como bloquear los bots o arañas.

Como el propio nombre lo dice, esta creado pensando en los Robots, o boots de los buscadores como Google o Bing.

Como crear un robots.txt?

El crear este archivo es muy facil, sólo tienes que abrir el bloc de notas (o un editor de texto en mac) y escribir el contenido dentro. Guardar y nombrarlo como robots.txt Bastará con subirlo al directorio raiz del wordpress (donde tenemos la página index) mediante tu Cpanel o por medio de ftp, y listo! ya estará funcionando.

Que debe incluir mi robots.txt?

El robots básico sería algo así:

User-agent: *
Disallow:

Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web porque el comodín *especifica todos los robots:

Un archivo un poco mas elaborado, podría incluir esto:

User-agent: * Disallow: /wp-admin
Allow: /wp-admin/admin-ajax.php

Este es el mínimo.Le estamos diciendo  a las arañas que no visiten la carpeta de administración (wp-admin) excepto el de ajax que utiliza Google. A partir de aqui, existen muchas cosas adicionales a bloquear o restringir.

La indicaciones del archivo robots.txt son solo indicaciones

No por incluirlo en el archivo todos los buscadores nos harán caso. Ten en cuenta que solo damos indicaciones que Google y otros buscadores seguirán, pero no todos.