Decir a Google cuando no debe de pasar

Publicado el 26 de enero del 2010

Una de las cosas que no sabía cómo realizar es decir a Google cuando debe y cuando no debe pasar. Ayer gracias al test que han puesto (supongo que para motivar a los webmaster expertos a participar en el foro para liberarles trabajo, normal) hay una pregunta que me hizo dudar mucho. Bueno más que una hubo un par que me hicieron pensar.


29. Tu servidor dispone de un ancho de banda limitado y te gustaría que Google rastree tu sitio durante la noche. ¿Qué deberías hacer?
  • a) Enviar un correo electrónico a info@google.com
  • b) Añadir "Allow: 11pm-7am" a tu archivo robots.txt
  • c) Hacer que tu servidor responda con un código de estado HTTP 503 para todos los usuarios cuando no esté disponible
  • d) Cambiar dinámicamente el robots.txt para bloquear el rastreo durante el día
Dudé en si abrían actualizado el robots.txt para adoptar esta medida y así poder decir a Google cuando pasar. Pero si leemos la última, tenemos la solución, o eso creo.

Si queremos que Google no pase por nuestra página en una hora determinada del día porque por ejemplo somos una web con los picos de usuarios muy frecuentes a la misma hora y si entra a esa hora Google a rastrear puede poner en peligro el servidor, debemos modificar el robots.txt cuando no queramos que entre.

Parece que no pasa nada si impides el acceso todos los días a Google a una cierta hora en tu web, siempre que no sea demasiado supongo.

Así que haré una prueba con este post, a ver si pasa algo por impedir el paso a Google por medio de robots.txt que variará de 12 de la noche a 3 de la mañana, 3 horas al día. A ver si todo sigue igual.


 


jacasuhace Hace más de 9 años y 323 días

Muy interesante ver que pasa, aunque tal y como se estan poniendo las cosas, a veces hay que dejarlo pasar y casi hacerle una mamada para que indexe rápido.


Un saludo

Errioxahace Hace más de 9 años y 323 días

@jacasu la verdad es que yo sólo he trabajado un caso como este, en el que es necesario impedir el paso en unas horas debido al pico de usuarios que tiene justo en ese momento.



Pero si no, lo mejor es cambiar de server ;)

Isaachace Hace más de 9 años y 321 días

También puede ir bien para cambiar el servidor

Errioxahace Hace más de 9 años y 318 días

Pues igual sí, pero depende de cómo lo hagas. Si ya tienes todo preparado y bien, no haría falta, no?



Lea otros artículos de Links y experimentos

Contacta

Lánzate y pregunta!


He leído y acepto la política de privacidad

Mecagoenlos.com te informa que los datos de carácter personal que nos proporciones rellenando el presente formulario serán tratados por Lino Uruñuela. como responsable de esta web.

La finalidad de la recogida y tratamiento de los datos personales que te solicitamos es para enviar un correo con los datos que introduzcas, sin guardarse en ninguna base de datos.

Legitimación: Al marcar la casilla de aceptación, estás dando tu legítimo consentimiento para que tus datos sean tratados conforme a las finalidades de este formulario descritas en la política de privacidad.

Como usuario e interesado te informamos que los datos que nos facilitas estarán ubicados en los servidores de Linode.com (proveedor de hosting de Mecagoenlos.com) cumpliendo la ley de protección de datos. Ver política de privacidad de Linode.com.

Podrás ejercer tus derechos de acceso, rectificación, limitación y suprimir los datos en info@mecagoenlos.com, así como el derecho a presentar una reclamación ante una autoridad de control. Más información aquí.

Últimos posts

Últimos comentarios


@funnelpunk

Última prueba de menciones en comentarios del blog.. este para @errioxa desde otra cuenta
Post: Google podria no querer el HTML de una URL

German

Hola amigo, lo cierto es que no me he enterado pajolera idea de lo que cuentas, aunque te felicito por aparecer en el Discovery de Google. M
Post: Google podria no querer el HTML de una URL

Lino

Una manera súper sencilla para comprobarlo: 1- Una URL, mirar un log de Googlrbot de esa UR cuando da 200 2- Comparar con otro log
Post: Google podria no querer el HTML de una URL

Jose Antonio Gil

En primer lugar agradecerte tus palabras, he sido alumno tuyo este año en el Máster de Webpositer en Alicante por lo que algo de culpa ten
Post: Google podria no querer el HTML de una URL

Lino

Uppsss cierto, la culpa es de tantas elecciones consecutiva... hacen remarketing en mi cerebro
Post: Google podria no querer el HTML de una URL

José

Buenas Lino! Sólo comentar que el apellido de Gastón es RIERA (no Rivera). Saludos y gracias por compartir!
Post: Google podria no querer el HTML de una URL

Fran Javietr

Hola Lino como podemos añadir a este código la identificación de la ip del bot, como sabes hay falsos bots y una forma de saber si son l
Post: Monotorizar GoogleBot con Google Analytics

Javier

Buenas Lino, ¿Alguna novedad sobre cómo considera Google los links en PDFs? Se me ocurre que, siguiendo con este experimento, se po
Post: Link building con PDF

Francisco

Flaco. Por lo general, no dejo comentarios pero, en tu caso, voy a hacer una excepción pues, sencillamente... ¡sos un genio!, Gracias.
Post: Cómo cargar css y js y no bloquear la carga de contenido

Juan Francisco Gancia

Excelente artículo, gracias! Te encuentro de casualidad por un post de hace 10 años.
Post: Diferencias entre url indexada y url accesible