Link desde Gmail

Desde hace ya unos años venimos viendo cómo Google es capaz de cargar e indexar ciertos contenidos via javascript, en este blog hemos hecho muchos experimentos sobre  cómo Google rastrea e indexa el contenido cargado mediante JavaScript.

Los últimos experimentos sobre Google e indexación de javascript fueron encaminados a intentar saber si Google era capaz de ejecutar funciones javascript "complejas" y si era capaz de acceder e indexar el contenido cargado mediante llamadas Ajax y hemos comprobado cómo Google accedía e indexaba estos contenidos por muy ofuscados que hiciéramos esas llamadas JavaScript, siempre y cuándo este código se ejecutara en el onLoad o en el onReady.

Definiciones previas

Lo primero vamos a definir un par de términos para poder referirnos más adelante a ellos:

1. URL de origen:
   Es la url que escribimos o vemos en el navegador. En este artículo la url de origen es
   
       /Posicionamiento/interpreta-google-el-javascript.php
   
   que es la url del anterior experimento.
   
   
2. URLs cargadas via JavaScript:
   URLs llamadas desde JavaScript para cargar contenido, en este artículo son las siguientes urls, y cada una carga un contenido diferente:
   
   
   • /metodos-javascript-cargaContenido .php
   • /metodos-javascript-cargaContenido .php?opcion=conMiniEspera
   • /metodos-javascript-cargaContenido .php?opcion=conEspera
   • /metodos-javascript-cargaContenido .php?opcion=conEspera10
3. URLs de recursos
   URLs de las hojas de estilo y ficheros js que se requieren para el renderizado completo del DOM. Por ejemplo:
   
   
   • /includes/script_el-valor-de-los .js
   • /Posicionamiento/assets/pages/css/components .css
   • /Posicionamiento/assets/corporate/css/style .css
   • /Posicionamiento/assets/corporate/css/custom .min.css
   • /menu/css/component .css

Breve resumen sobre el experimento anterior

1. Google es capaz de interpretar y ejecutar el javascript que se ejecuta de manera automática (siempre que no necesite de la interacción del usuario para ejecutarse), por ejemplo código en el onReady u onLoad.
   
2. Por consiguiente, Google accede a todas las urls que cargan contenido mediante JavaScript si este código no necesita de la interacción del usuario para ejecutarse y obtener este contenido externo (en otra url). Por ejemplo contenido cargado con el evento onready o el evento onLoad.
   
3. Google esperará, hasta más de 10 segundos (por lo menos) para cargar ese contenido y lo indexará. Por lo que podríámos eliminar el mito de que debe cargarse antes de 5 segundos... aunque aquí hay que hacer más pruebas para estar al 100% seguro, pero por lo que voy viendo así es.
   
4. Google accede tanto a la url de origen (llamemos url de origen a la url que pone el usuario en la barra de direcciones del navegador) como a las url que son cargadas via JavaScript en esa url de origen.
   
5. Google también accede a los recursos requeridos por un "navegador normal" como css, js, etc. No siempre carga todos los recursos que el DOM solicita, habrá que investigar si coincide con el tiempo de caché para ese tipo de recursos
   
6. Google no accede a ninguna url que cargue contenido mediante eventos que lanza el usuario, por ejemplo onClick, onScroll, etc 
   
7. Google solo indexará el HTML FINAL, por lo que si un contenido es sustituido por otro mediante javascript Google indexará solamente el contenido final y no indexará el contenido que desaparece.

Ahora podemos entender mejor por qué Google solo indexaba el contenido cargado tras más de 10 segundos, porque es el HTML resultado del renderiazado completo del DOM. El HTML renderizado es lo que vemos cuando hacemos click en botón derecho del navegador y seleccionamos "Inspeccionar elemento". Este código HTML generado tras la renderización es el HTML final que Google valorará en esta segunda oleada.

Analizando los logs del servidor podemos sacar algunos puntos que se dan en  todos los casos;

1. Cuando Google accede a la url de origen, lo hace con el campo referer vacío.
   
   
   
   
2. Los recursos cargados desde esa url de origen por parte del navegador, ya sean urls de contenido ajax, hojas de estilo o ficheros js llevan todas en el campo referer la url de origen.
   
   
   
   
3. Los accesos a la url de origen y a las urls o recusos cargados en el renderizado se dan en un pequeño periodo de tiempo, podemos decir casi al 100% que en un periodo de tiempo menor a  un minuto.
   
   
   
   
4. El User Agent con el que accede contiene "Googlebot", tanto para la url de origen como para las urls javascript o recursos cargados.

Y de forma menos general, pero que se suele dar cuándo Google renderiza una url

1. Google a veces espera el tiempo definido en el setTimeout de JavaScript, pero a veces se salta ese tiempo de espera y ejecuta el javascript casi inmediantemanete.
   
2. No siempre que accede a una url de origen la renderiza, la mayoría de las veces accede a la url pero no hay un renderizado posterior. 
   
3. No siempre carga todos los recursos o urls de contenido, a veces carga solo un css, a veces carga todos los recursos, a veces solo una url de contenido... deberemos investigar mejor este comportamiento y saber que no siempre carga todo ni siempre lo mismo.

Ejemplo SQL para saber las urls que Google renderiza

Si tenemos los logs en una base de datos con los siguientes campos, Fecha, path, Status, Referer, User Agent podriamos obtener las urls que han sido renderizadas obteniendo el valor del campo referer de las urls que cumplen estas dos condiciones;

1. El User Agent contiene "Googlebot", por supuesto debemos comprobar que realmente sea Google, esto se puede hacer con un reverse DNS.
   
2. El campo referer no está vacío, esto querrá decir que la url de este log ha sido cargada desde la url que aparece en e campo referer. En nuesto caso el valor de este campo es https://www.mecagoenlos.com/Posicionamiento/interpreta-google-el-javascript.php

Representando esto en SQL sería:

SELECT 
fecha, 
referer
FROM Logs 
WHERE (UA LIKE '%Googlebot%') AND ((fecha >= '2018-03-01') 
AND (fecha <= '2018-07-01')) AND (referer != '-')
GROUP BY 
fecha, 
referer

Y nos devolvería los siguientes resultados, dónde el campo "Referer" es la url de origen.