Hostalia

Blog de Hostalia
25 de junio de 2014   |   Escrito por: Juan Hernández

White Paper: Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt

White Paper: Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt

Los programas encargados de rastrear la información de las webs para indexar contenido en los buscadores son los denominados robots, también conocidos con el nombre de arañas (spiders). Es importante que les presentemos adecuadamente nuestro contenido para obtener un buen posicionamiento.

Pero hay veces que en los que nos puede interesar que no se indexe un determinado fichero, carpeta o url. Para conseguir esto es necesario hacer uso de los denominados archivos robots.txt, un texto plano que se coloca en el directorio raíz del sitio web y en el que podemos insertar una serie de códigos con instrucciones para las arañas.

 

robots-txt-google-white-paper-hostalia-hosting

Por ejemplo, si no quieres que un agregador de noticias incluya las de tu web debes indicarlo en robots.txt, puesto que por defecto las arañas visitan e indexan todo. Las principales ventajas de usar este archivo son:

  • Denegar el acceso a nuestro sitio a determinados robots. Esto que puede parecer extraño no lo es si esos robots en vez de beneficiarnos lo que hacen es el efecto contrario.
  • Mejorar el posicionamiento de nuestro sitio indicando a los spiders los sitios concretos que queremos indexar.
  • Reducir la transferencia consumida en nuestro servidor, ya que al poder bloquear a ciertos robots o indicar aquellos sitios que no queremos que se indexen, estamos reduciendo el número de peticiones que se realiza a nuestro sitio.
  • Impedir que se indexen archivos personales, archivos que pueden ser fotos, documentos, vídeos…
  • Eliminar contenido duplicado. Con esto estamos impidiendo que los buscadores nos penalicen por encontrar en nuestro sitio distintas urls con la misma información.

 

Es de gran importancia saber cómo configurarlo de forma correcta, ya que una mala configuración de este archivo nos puede hacer perder indexación en los buscadores. En el siguiente libro blanco tienes más información.

 

Descargar White Paper: ‘Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt’

 

 

 

 

 

1 trackback para "White Paper: Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt"

  1. Sitemaps, qué son y cómo generarlos - Pressroom HostaliaPressroom Hostalia
    28 diciembre 2016

    […] archivos sirven de guía a los robots de los buscadores para realizar un rastreo optimizado de la web. Un archivo sitemap.xml generado correctamente, junto […]

Un comentario para “White Paper: Cómo ocultar partes de tu web a los buscadores con el archivo robots.txt”

  1. seo simple dice:

    Aqui les dejo informacion complementaria de Google sobre el uso de robot.txt, como crearlo y como probar que esta hecho bien

    https://support.google.com/webmasters/answer/156449?hl=es

Deja un comentario

* Campos obligatorios

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Leer condiciones

Oferta

Sobre este Blog

Escrito por el equipo de Comunicación de Hostalia, dirigido por Inma Castellanos, en el que conversamos sobre Hosting, Internet y Tecnología.

Archivo del blog

Artículos más populares

Pressroom

Visita nuestra web. www.hostalia.com Mejora tu posicionamiento con CloudSEO

Recibe nuestro boletín una vez al mes con las últimas noticias sobre hosting y tecnología

Subir