El robot de Google pasa por nuestra página cada cierto tiempo dependiendo éste de varios factores como pueden ser los links externos hacia nuestra página (el más importante) la frecuencia de actualización del la página, la frecuencia marcada en el archivo Sitemaps que le enviamos a Google o la frecuencia que le marcamos desde las herramientas de Webmaster Tools.

Pero a veces convendría poder decirle cuándo NO pasar, porque en algunas ocasiones nuestro servidor está al límite en ciertas horas puntas en las que tenemos un pico de usuarios.

Estaría bastante bien que Google nos permitiese esta opción de decirle cuando no debe pasar para no tumbarnos el servidor si coincide con el pico de usuarios en nuestra web.

Por ejemplo si tienes una web de los oscars bien posicionada pues puede ser probable que el día de las nominaciones y los premiso tengamos muchos usuarios a la vez y si nuestro servidor no soporta mucho tráfico como pase el robot de Google y empiece a rastrear páginas como loco (a veces parece un rastreador maniático y compulsivo) nos dejará el servidor relentizado y sin cargar bien las páginas.