Decir a Google cuando no debe de pasar

Publicado el 26 de enero del 2010

Una de las cosas que no sabía cómo realizar es decir a Google cuando debe y cuando no debe pasar. Ayer gracias al test que han puesto (supongo que para motivar a los webmaster expertos a participar en el foro para liberarles trabajo, normal) hay una pregunta que me hizo dudar mucho. Bueno más que una hubo un par que me hicieron pensar.


29. Tu servidor dispone de un ancho de banda limitado y te gustaría que Google rastree tu sitio durante la noche. ¿Qué deberías hacer?
  • a) Enviar un correo electrónico a info@google.com
  • b) Añadir "Allow: 11pm-7am" a tu archivo robots.txt
  • c) Hacer que tu servidor responda con un código de estado HTTP 503 para todos los usuarios cuando no esté disponible
  • d) Cambiar dinámicamente el robots.txt para bloquear el rastreo durante el día
Dudé en si abrían actualizado el robots.txt para adoptar esta medida y así poder decir a Google cuando pasar. Pero si leemos la última, tenemos la solución, o eso creo.

Si queremos que Google no pase por nuestra página en una hora determinada del día porque por ejemplo somos una web con los picos de usuarios muy frecuentes a la misma hora y si entra a esa hora Google a rastrear puede poner en peligro el servidor, debemos modificar el robots.txt cuando no queramos que entre.

Parece que no pasa nada si impides el acceso todos los días a Google a una cierta hora en tu web, siempre que no sea demasiado supongo.

Así que haré una prueba con este post, a ver si pasa algo por impedir el paso a Google por medio de robots.txt que variará de 12 de la noche a 3 de la mañana, 3 horas al día. A ver si todo sigue igual.


 


jacasu (@)hace Hace más de 12 años y 162 días

Muy interesante ver que pasa, aunque tal y como se estan poniendo las cosas, a veces hay que dejarlo pasar y casi hacerle una mamada para que indexe rápido.


Un saludo

Errioxa (@)hace Hace más de 12 años y 162 días

@jacasu la verdad es que yo sólo he trabajado un caso como este, en el que es necesario impedir el paso en unas horas debido al pico de usuarios que tiene justo en ese momento.



Pero si no, lo mejor es cambiar de server ;)

Isaac (@)hace Hace más de 12 años y 160 días

También puede ir bien para cambiar el servidor

Errioxa (@)hace Hace más de 12 años y 157 días

Pues igual sí, pero depende de cómo lo hagas. Si ya tienes todo preparado y bien, no haría falta, no?



Lea otros artículos de Links y experimentos

Últimos posts

Últimos comentarios


iara erthal
10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
Post: Representación visual de que es un Googol y Googolplex

cristina
que ha pasado?
Post: Valor del Alt en la imagenes

María
Sí, he buscado el archivo robots.txt y todo está correcto. La última versión vista con error fue el 08/11/2021 y la última vez que el
Post: Errores críticos originados por el robots.txt

Lino
@María un placer verte por aquí :) Lo primero, a veces, con el robots.txt no se puede "forzar" a que lo rastree, si tu site no es muy p
Post: Errores críticos originados por el robots.txt

María
Hola Lino, tengo el mismo problema. El probador de robots de google me indica: "Error al obtener el archivo robots.txt Tienes un archivo ro
Post: Errores críticos originados por el robots.txt

Mario
Estoy tratando de vincular los datos en Google Data Studio y he combinado los datos de la tabla "Impresión del sitio" con "Impresión de UR
Post: Datos incoherentes y cálculo de la posición media en Search Console

José B. Moreno Suárez
Yo hace tiempo que agrupaba con stemmers. Ahora, además, comparo con un proceso las keywords que aportan impresiones a una URL determinada
Post: Clustering de keywords SEO en Google Search Console - Parte II

Lino
@Fernando LEns es por si acaso falla en algo, pero viendo tu feedback y que no he dicho nada de esa hoja, la borraré :)
Post: Clustering de keywords SEO en Google Search Console - Parte II

Fernando LEns
Tremendo. Ya bien testado, funciona muy bien. Incluso con muchos datos tira bien y no tarda mucho . La pestaña de Cluster sin raiz sale v
Post: Clustering de keywords SEO en Google Search Console - Parte II

Quentin
Very good list, thx !
Post: Expresiones regulares para SEO (Google Search Console)