Investigamos sobre el archivos robots.txt y su personalización.
Podemos consultar la ayuda de webmasters de google en la siguiente dirección: Webmasters de google
El archivos de robots.txt sirve para bloquear ciertas páginas de mi sitio web a las arañas (pequeños programas que siguen los enlaces de una web saltando de un enlace a otro) esto puede sernos útil por ejemplo para bloquear la entrada de lo motores de busqueda a los perfiles de lo usuarios de tu página, la parte de administración del sitio o cualquier sitio que quieras que google no busque.
