Investigamos sobre el archivos robots.txt y su personalización.
Podemos consultar la ayuda de webmasters de google en la siguiente dirección: Webmasters de google
El archivos de robots.txt sirve para bloquear ciertas páginas de mi sitio web a las arañas (pequeños programas que siguen los enlaces de una web saltando de un enlace a otro) esto puede sernos útil por ejemplo para bloquear la entrada de lo motores de busqueda a los perfiles de lo usuarios de tu página, la parte de administración del sitio o cualquier sitio que quieras que google no busque.
También nos puede servir para que un buscador en concreto no nos indexe, esto es útil si vemos que un buscador en concreto genera mucho tráfico bloqueando la entrada de lo usuarios (esto se produce cuando la araña esta mal diseñada y genera mucho tráfico en la red).
¿Cómo usar el robots.txt?
Para aprender como usar el robots.txt os dejare un enlace a una web que me ha parecido muy buena.
No hay comentarios:
Publicar un comentario
¡¡¡Gracias por comentar en mi blog!!!