Los robots.txt son imprescindibles para las arañas de los buscadores, porque? muy sencillo es uno de los archivos que primero suelen acceder, para saber si en el denegamos el acceso a una carpeta o pagina que no queremos indexar o si por el contrario dejamos que acceda y indexe hasta las imágenes del diseño de un site.
- Creando robot.txt en el cual damos acceso a todas las paginas, imágenes, archivos.. de un site. Abriremos un editor de texto, por ejemplo el bloc de notas y en el escribiremos:
User-agent: *
Disallow:
- Creando robots.txt denegando el acceso a las arañas para que no indexen cierta pagina y carpeta:
User-agent: *
Disallow: pagina_a_denegar.php
Disallow: /carpeta/
- Creación de robots.txt denegando por completo a las arañas, para que no rastreen nuestro sitio y no indexen en sus buscadores el sitio.
User-agent: * (si fuera solo para una araña en concreto se cambiaría el * por el nombre de este)
Disallow: /
Creo que a raíz de esta explicación, queda mas o menos claro como crearlo, explicaciones:
User-agent: para especificar que arañas pueden rastrear
* : significa que pueden acceder todos
Disallow: Indica que pueden o no rastrear
/ : todo un site
/ seguido de un nombre/ : una carpeta en concreto y todas las paginas, imágenes, archivos.. que se encuentren en esta.
Los 3 mejores generadores de archivos Robots.TXT
El archivo Robots.txt es ideal tenerlo en cada uno de los sitios, ya que con él podremos indicar a los buscadores lo que queremos que indexe y lo que no, pudiendo decirle el tiempo máximo que puede estar por cada carpeta.
Veamos una lista de los tres mejores generadores de robots.txt
En Mcanerin nos presentan una aplicación para generar archivos para robots, en él nos permite especificar las carpetas que queremos que rastreen y el tiempo máximo que deben estar los robots en dicha carpeta/página.
Frobee.com nos permite validar nuestro archivo robots.txt, para ver si éste está correcto antes de mostrarlo a los robots.
En invision-graphics.com nos presentan a su herramienta de gestión de archivos robots.txt, en ella podremos decir qué acciones va a poder realizar cada uno de los robots y en qué carpetas va a poder acceder.
En definitiva, es mejor tener un archivo Robot.txt para que no tengamos problemas con los buscadores, ya que sin él podrían indexar hasta la carpeta de administración del sitio.
0 comentarios:
Publicar un comentario