• No enlazar la página: no creas que sólo porque una página no tenga ningún link apuntándola no va a ser rastreada por los buscadores. Si tienes permisos de listar el directorio y no tienes index la pillarán, si alguien que sepa o pruebe a poner la URL entrará podrá verla, apuntarla desde una página suya y Google la verá....
  
  
• .htaccess: sin duda la mejor opción. Desde este archivo nosotros indicamos que tipo de usuarios aceptamos, si es necesario autentificarse... Es el archivo que busca el servidor desde el dominio raiz hasta la carpeta donde se encuentra el archivo que un usuario ha pedido por medio de la URL. Si en el archivo .htaccess no ponemos nada para restringir la entrada podrá verlo, pero si ponemos que el usuario debe estar autentificado no podrá entrar. Así es la mejor manera de asegurarte que un documento no pueda ser leído por un buscador.
  
  
• robots.txt: otro método para decirle a los bscadores qué archivos o directorios de nuestra web pueden rastrear y cuáles no. Los principales buscaores como Google, Yahoo o Live lo respetan, pero cualquier usuario u otros buscadores que no cumplan con los estándares pueden llegar a los documentos. Por eso tampoco es recomendable.
  
  
  
• noindex: un meta tag que le dice a los buscadores que ese archivo no quieres que sea incluído en sus índices. Pero lo mismo que en el caso anterior si un usuario sabe de la URL llegaría y otros buscadores también es posible que ignoren este meta tag.
  
  
• nofollow: según Google cuando hacemos enlaces con la propiedad nofollow, no los contará ni rastreará. Este atributo se ha sacado Google de la manga hace poco para que los links que son comprados no sean tenidos en cuenta por el buscador a la hora de posicionar una página y así no deteriorar sus resultados. Pero además de que casi sólo Google cumple con esto, no mimpedirá que si te apunta otra web sin nofollow sea indexado y mostrado en los resultados
  
  
• Borrar URL a través de Google Webmasters Tools: es una solución rápida para borrar páginas del índice de google que ya estan en sus serps. Pero en cualquier otro buscador podrás salir esa información que no querías.
  
  

Si quieres evitar que un buscador indexe contenido de tu web, usa el .htaccess y nunca podrán entrar. Si no, dependerás de la suerte.