Como sigue Google las peticiones XMLHttpRequest

Publicado el 3 de noviembre del 2011, by

En el blog para webmaster de Google han anunciado un par de "novedades" en el rastreo de ciertos tipos de contenido.
  1. Google rastreará los formularios, emulando a un usuario haciendo un submit en el.
    Esto ya lo venía haciendo desde hace años y supongo que lo han mejorado algo.

    Lo importante en este punto es que si tenemos un formulario, lo creemos de tal manera que ya nos devuelva algún resultado al hacer click en el botón de enviar.

    Así que vamos a probar, aquí meto un formulario con una búsqueda por defecto, a ver si luego la muestra en los resultados.
    Como digo ya sabíamos que envia los formuarios tal como los ve, pero con este experimento quiero saber si es capaz de tener dos versiones de la misma url para distintas búsquedas. Ya que al enviar el formulario por POST la url no variará pero sí su contenido.

    La página a la que apunta el formulario ya está cacheada por Google desde hace tiempo, a ver si ahora es capaz de cachearla para otro resultado (lo dudo).




  2. Google ejecutrá las peticiones XMLHttpReques.
    Y vamos también a ver hasta que punto es capaz de seguirlas y cómo cachea los resultados.
    En algunos post ya dijimos que una buena manera de hacer pr sculpting es crear determinado contenido que no queremos que Google indexe mediante Ajax y decíamos que lo ideal para que google no se enterará de ese contenido era alojar el JS que ejecutaba el código en un directorio que esté restringido por el robots.txt, así Google nunca podría descubrirlo, y ahora ellos nos lo confirman :)

    "if hot-fudge-info.html is disallowed by robots.txt, Googlebot won't fetch it. More subtly, if the JavaScript code that issues the XMLHttpRequest is located in an external .js file disallowed by robots.txt, we won't see the connection between yummy-sundae.html and hot-fudge-info.html"


    El segundo experimento, vamos a crear un XMLHttpRequest a una página que antes no existía donde pondremos una palabra inventadoa por la cual Google no arrojaba ningún resultad, a ver si luego es capaz de mostrarla y qué página nos devuelve.


  3. La palabra resultante deberiais poder verla al hacer click en este enlace

Podéis ver el código fuenta para ver cómo he creado los ejemplos, a ver qué ocurre!!


 



Últimos posts

Últimos comentarios


María
Sí, he buscado el archivo robots.txt y todo está correcto. La última versión vista con error fue el 08/11/2021 y la última vez que el
Post: Errores críticos originados por el robots.txt

Lino
@María un placer verte por aquí :) Lo primero, a veces, con el robots.txt no se puede "forzar" a que lo rastree, si tu site no es muy p
Post: Errores críticos originados por el robots.txt

María
Hola Lino, tengo el mismo problema. El probador de robots de google me indica: "Error al obtener el archivo robots.txt Tienes un archivo ro
Post: Errores críticos originados por el robots.txt

Mario
Estoy tratando de vincular los datos en Google Data Studio y he combinado los datos de la tabla "Impresión del sitio" con "Impresión de UR
Post: Datos incoherentes y cálculo de la posición media en Search Console

José B. Moreno Suárez
Yo hace tiempo que agrupaba con stemmers. Ahora, además, comparo con un proceso las keywords que aportan impresiones a una URL determinada
Post: Clustering de keywords SEO en Google Search Console - Parte II

Lino
@Fernando LEns es por si acaso falla en algo, pero viendo tu feedback y que no he dicho nada de esa hoja, la borraré :)
Post: Clustering de keywords SEO en Google Search Console - Parte II

Fernando LEns
Tremendo. Ya bien testado, funciona muy bien. Incluso con muchos datos tira bien y no tarda mucho . La pestaña de Cluster sin raiz sale v
Post: Clustering de keywords SEO en Google Search Console - Parte II

Quentin
Very good list, thx !
Post: Expresiones regulares para SEO (Google Search Console)

Javier
Gracias Lino!
Post: Expresiones regulares para SEO (Google Search Console)

Lino
Hola Marcos, muy buena observación y sí, es tal como dices, o al menos yo percibo eso. El otro día lo comenté en el evento de ClickSeo
Post: Links y experimentos