Como sigue Google las peticiones XMLHttpRequest

Publicado el 3 de noviembre del 2011, by

En el blog para webmaster de Google han anunciado un par de "novedades" en el rastreo de ciertos tipos de contenido.
  1. Google rastreará los formularios, emulando a un usuario haciendo un submit en el.
    Esto ya lo venía haciendo desde hace años y supongo que lo han mejorado algo.

    Lo importante en este punto es que si tenemos un formulario, lo creemos de tal manera que ya nos devuelva algún resultado al hacer click en el botón de enviar.

    Así que vamos a probar, aquí meto un formulario con una búsqueda por defecto, a ver si luego la muestra en los resultados.
    Como digo ya sabíamos que envia los formuarios tal como los ve, pero con este experimento quiero saber si es capaz de tener dos versiones de la misma url para distintas búsquedas. Ya que al enviar el formulario por POST la url no variará pero sí su contenido.

    La página a la que apunta el formulario ya está cacheada por Google desde hace tiempo, a ver si ahora es capaz de cachearla para otro resultado (lo dudo).




  2. Google ejecutrá las peticiones XMLHttpReques.
    Y vamos también a ver hasta que punto es capaz de seguirlas y cómo cachea los resultados.
    En algunos post ya dijimos que una buena manera de hacer pr sculpting es crear determinado contenido que no queremos que Google indexe mediante Ajax y decíamos que lo ideal para que google no se enterará de ese contenido era alojar el JS que ejecutaba el código en un directorio que esté restringido por el robots.txt, así Google nunca podría descubrirlo, y ahora ellos nos lo confirman :)

    "if hot-fudge-info.html is disallowed by robots.txt, Googlebot won't fetch it. More subtly, if the JavaScript code that issues the XMLHttpRequest is located in an external .js file disallowed by robots.txt, we won't see the connection between yummy-sundae.html and hot-fudge-info.html"


    El segundo experimento, vamos a crear un XMLHttpRequest a una página que antes no existía donde pondremos una palabra inventadoa por la cual Google no arrojaba ningún resultad, a ver si luego es capaz de mostrarla y qué página nos devuelve.


  3. La palabra resultante deberiais poder verla al hacer click en este enlace

Podéis ver el código fuenta para ver cómo he creado los ejemplos, a ver qué ocurre!!


 



Últimos posts

Últimos comentarios


Lino

@errioxa probando desde comentarios del site :)
Post: El valor de los logs para el SEO

Lino

@Santy Jordi y Sergio muchas gracias! Irá mejorando, pero poco a poco :)
Post: Informes y gráficas usando la API de Google Search Console

sergio

Bravo! Gracias por compartir.
Post: Informes y gráficas usando la API de Google Search Console

Santy

Gracias Lino, muy útil para el día a día
Post: Informes y gráficas usando la API de Google Search Console

Jordi

Buenas tardes Lino, Felicidades por la herramienta, me parece algo espectacular y rápido de utilizar. Espero con muchas ganas ver las nue
Post: Informes y gráficas usando la API de Google Search Console

Joan marc

Muchísimas gracias @Lino!! Para acabar, sabes si con Varnish tendríamos problemas? Entiendo que al no hacerse siempre consultas al servid
Post: Monitorizar GoogleBot con Google Analytics

Lino

@Joan marc sí!, pero has de configurar el server para que cualquier URL que de 301 sea tratada por una única url del site (como la url de
Post: Monitorizar GoogleBot con Google Analytics

Joan marc

Excelento post Lino! Has podido trackear los 301 y 302?
Post: Monitorizar GoogleBot con Google Analytics

German

Hola amigo, lo cierto es que no me he enterado pajolera idea de lo que cuentas, aunque te felicito por aparecer en el Discovery de Google. M
Post: Google podria no querer el HTML de una URL

Lino

Una manera súper sencilla para comprobarlo: 1- Una URL, mirar un log de Googlrbot de esa UR cuando da 200 2- Comparar con otro log
Post: Google podria no querer el HTML de una URL