25 de junio de 2014
White Paper: Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt
Los programas encargados de rastrear la información de las webs para indexar contenido en los buscadores son los denominados robots, también conocidos con el nombre de arañas (spiders). Es importante que les presentemos adecuadamente nuestro contenido para obtener un buen posicionamiento.
Pero hay veces que en los que nos puede interesar que no se indexe un determinado fichero, carpeta o url. Para conseguir esto es necesario hacer uso de los denominados archivos robots.txt, un texto plano que se coloca en el directorio raíz del sitio web y en el que podemos insertar una serie de códigos con instrucciones para las arañas.
Por ejemplo, si no quieres que un agregador de noticias incluya las de tu web debes indicarlo en robots.txt, puesto que por defecto las arañas visitan e indexan todo. Las principales ventajas de usar este archivo son:
- Denegar el acceso a nuestro sitio a determinados robots. Esto que puede parecer extraño no lo es si esos robots en vez de beneficiarnos lo que hacen es el efecto contrario.
- Mejorar el posicionamiento de nuestro sitio indicando a los spiders los sitios concretos que queremos indexar.
- Reducir la transferencia consumida en nuestro servidor, ya que al poder bloquear a ciertos robots o indicar aquellos sitios que no queremos que se indexen, estamos reduciendo el número de peticiones que se realiza a nuestro sitio.
- Impedir que se indexen archivos personales, archivos que pueden ser fotos, documentos, vídeos…
- Eliminar contenido duplicado. Con esto estamos impidiendo que los buscadores nos penalicen por encontrar en nuestro sitio distintas urls con la misma información.
Es de gran importancia saber cómo configurarlo de forma correcta, ya que una mala configuración de este archivo nos puede hacer perder indexación en los buscadores. En el siguiente libro blanco tienes más información.
Descargar White Paper: ‘Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt’
Aqui les dejo informacion complementaria de Google sobre el uso de robot.txt, como crearlo y como probar que esta hecho bien
https://support.google.com/webmasters/answer/156449?hl=es