Queremos poder decirle a Google cuando NO pasar.

Publicado el 7 de marzo del 2008

El robot de Google pasa por nuestra página cada cierto tiempo dependiendo éste de varios factores como pueden ser los links externos hacia nuestra página (el más importante) la frecuencia de actualización del la página, la frecuencia marcada en el archivo Sitemaps que le enviamos a Google o la frecuencia que le marcamos desde las herramientas de Webmaster Tools.

Pero a veces convendría poder decirle cuándo NO pasar, porque en algunas ocasiones nuestro servidor está al límite en ciertas horas puntas en las que tenemos un pico de usuarios.

Estaría bastante bien que Google nos permitiese esta opción de decirle cuando no debe pasar para no tumbarnos el servidor si coincide con el pico de usuarios en nuestra web.

Por ejemplo si tienes una web de los oscars bien posicionada pues puede ser probable que el día de las nominaciones y los premiso tengamos muchos usuarios a la vez y si nuestro servidor no soporta mucho tráfico como pase el robot de Google y empiece a rastrear páginas como loco (a veces parece un rastreador maniático y compulsivo) nos dejará el servidor relentizado y sin cargar bien las páginas.

 

Ayer me lo preguntaba Dictina y coincidí con ella tanto en su problema como en la solución y la comenté que haría un post pidiéndolo (como si me fuesen a hacer caso). Casualidades de la vida hoy en la parte final de un artículo de Google WemasterCentral dice que en un futuro lo harán, bienvenido sea!!

 


Jep Aribauhace Hace más de 11 años y 346 días

Pues no vas tener publicidad de Adsense, el robot "MediaPartner " de Google también te machaca con escaneos simultáneos a la navegación del usuario.

Creo que se soluciona con "If-Modified-Since" en las cabeceras y quitando el session_start() en páginas dinámicas.

Nota: Errioxa, pq no pones un avisador de comentarios?

Jep Aribauhace Hace más de 11 años y 346 días

Pues no vas tener publicidad de Adsense, el robot \"MediaPartner \" de Google también te machaca con escaneos simultáneos a la navegación del usuario.

Creo que se soluciona con \"If-Modified-Since\" en las cabeceras y quitando el session_start() en páginas dinámicas.

Nota: Errioxa, pq no pones un avisador de comentarios?

Errioxahace Hace más de 11 años y 345 días

@Jep Aribau ¿por qué dices que no voy a tener publicidad de AdSense? Google puede tumbar una web cuando le pasas el sitemaps no cuando los usuarios navegan por ella porque Google hace muchas peticiones simultaneas.



Lo del avisador de comentarios está dentro de mis planes pero es que ando con el tiempo al límite.

josehace Hace más de 10 años y 267 días

poque nocompendes las cosas que te decimos eres un a mierda!





Lea otros artículos de Sin clasificar

Últimos posts

Últimos comentarios


Lino

@errioxa probando desde comentarios del site :)
Post: El valor de los logs para el SEO

Lino

@Santy Jordi y Sergio muchas gracias! Irá mejorando, pero poco a poco :)
Post: Informes y gráficas usando la API de Google Search Console

sergio

Bravo! Gracias por compartir.
Post: Informes y gráficas usando la API de Google Search Console

Santy

Gracias Lino, muy útil para el día a día
Post: Informes y gráficas usando la API de Google Search Console

Jordi

Buenas tardes Lino, Felicidades por la herramienta, me parece algo espectacular y rápido de utilizar. Espero con muchas ganas ver las nue
Post: Informes y gráficas usando la API de Google Search Console

Joan marc

Muchísimas gracias @Lino!! Para acabar, sabes si con Varnish tendríamos problemas? Entiendo que al no hacerse siempre consultas al servid
Post: Monitorizar GoogleBot con Google Analytics

Lino

@Joan marc sí!, pero has de configurar el server para que cualquier URL que de 301 sea tratada por una única url del site (como la url de
Post: Monitorizar GoogleBot con Google Analytics

Joan marc

Excelento post Lino! Has podido trackear los 301 y 302?
Post: Monitorizar GoogleBot con Google Analytics

German

Hola amigo, lo cierto es que no me he enterado pajolera idea de lo que cuentas, aunque te felicito por aparecer en el Discovery de Google. M
Post: Google podria no querer el HTML de una URL

Lino

Una manera súper sencilla para comprobarlo: 1- Una URL, mirar un log de Googlrbot de esa UR cuando da 200 2- Comparar con otro log
Post: Google podria no querer el HTML de una URL