Otro META nuevo unavailable_after

Publicado el Viernes 27 de Julio de 2007 a las 4 de la mañana despés de salir de juerga

Pues sí, unas cuantas neuronas mas ocupadas en mi cerebro por tener que memorizar otro META. Éste para decirle a Google cuando quremos que expire nuestro contenido y lo borre de sus resultados, !!está loco¡¡ con lo que cuesta crearlos. Yo no lo haría. Supongo que habrá casos muy puntuales en que les venga bien.

Ya soltaron en una conferencia hace poco en Inglaterra que iban a crear el unavailable_after, y hoy lo han publicado.

¿y por qué tienen interés en quitar páginas de sus servidores? igual es que andan escasos de espacio con tantas webs nuevas cada día...

También han anunciado que disponen de un método para que podamos decir a Google que archivos como Pdf, Word, XLS, etc.. no sean indexados o no sean mostrados en los resultados del buscador. En HTML ya podíamos usar un META para esto.

<meta name="robots" content="noindex,nofollow">

Pero en cualquier otro tipo de documento  que no fuese HTML no podías decŕselo y Google que lo quiere todo, lo indexaba y mostraba si no le restringías el acceso por medio del robots.txt o por medio de contraseña en el directorio donde estuviera.

Ahora hay una nueva directiva en la cabecera Header que debemos enviársela si no queremos que algún documento sea indexado, por ejemplo así:

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST


Esto supone que tenemos que tener acceso a la configuración de nuestro servidor (archivo .htaccess) para poder controlar las solicitudes a determinadas extensiones de archivos.

Un ejemplo para enviar estas cabeceras para todos los documentos .doc .pdf sería escribir esto en el .htaccess de tu servidor: (no lo he probado porque parece que el .htaccess de mi hosting debo hacerlo desde el panel, otro día lo haré, pero debería fucionar)

<FilesMatch "\.(doc|pdf)$">
      Header set X-Robots-Tag "noindex"
</FilesMatch>

Para hacerlo solamente para un fichero en concreto así:

<FilesMatch "nombre_archivo.doc$">
       Header set X-Robots-Tag "noindex"
</FilesMatch>

Pero con este método no impedimos el que alguien teclee la ruta en la barra de direcciones y se descargue cualquier archivo. Para hacer esto en Apache estoy investigando.

En .Net hice algo parecido hace poco para que no se pudiesen descargar archivos por medio de la URL si no estaban autentificados por medio de un formulario y además tenías los permisos necesarios sobre ese archivo que yo comprobaba en mi base de datos, de esta manera aunque supieran o probaran suerte por medio de la URL no podían descargarlo. Por supuesto si no estaban logueados no podían descargarlo tampoco. Más o menos era así;

Primero tenías que configurar el servidor diciéndole que determinados archivos los tratase como archivos  aspx. Entonces el servidor cada vez que haya una peticion http  mirará por si ese tipo de archivo debe ser tratado como un aspx. Si es así, iría al Web.config donde pondremos

<httpHandlers>

<addverb="GET,POST"path="*.doc"
type="objeto.HttpHandler.downloadHandler,
objeto.MiHttpHandler/>
</httpHandlers>

y verá que DLL debe usar para tratar ese tripo de ficheros. Y si has llegado hasta aquí, no necesitarás enviar nada a Google porque si tu no quieres no le das acceso.

Aquí teneis una perfecta explicación para manejar los HttpHandlers con .Net

Pero en Apache no sé cómo hacerlo, no me sale Yell . No lo necesito porque documentos privados la verdad que no tengo, esto ya es cabezonería. Pero puede ser muy importante para muchas páginas de hospitales, ayuntamietos, etc, que guardan datos confidenciales y deberían hacerlo todas, sin embargo la mayoría no lo hace y puedes descargarte, si sabes o adivinas la ruta, todos sus documentos.

Lo ideal y lógico es no depender de Google para tener seguros tus datos confidenciales, y en este caso Google no lo pone tan fácil, porque hay que saber de programación y tener control sobre tu servidor.

Espero poder probarlo mañana y publico cómo es. También voy a hacer una prueba haciendo lo que dicen y poniendo un link para ver si lo lee.

Si alguien sabe como hacerlo en Apache que me lo diga, si no seguiré investigando. Creo que habría que modificar el .htaccess y poner algo así para  redirigir las peticiones http cuando es a un archivo doc, mp3 o pdf

RewriteEngine on
RewriteCond %{QUERYSTRING} !^$
RewriteCond %{QUERYSTRING} !^http://([-a-z0-9]+\.)?mecagoenlos\.com[NC]
RewriteRule .*\.(doc|mp3|pdf)$ https://www.mecagoenlos.com/ [R,NC,L]

Pero a mi no me sale....

 




Posts anteriores en Google


Space Needle
Publicado el 14 de julio del 2017 por Lino Uruñuela El otro día, buscando algo con lo que entretenerme mientras estaba en el baño (sí, los botes de champú ya me los he leído todos.... tres veces) estaba inetntando resolver un reto lanzado por Gary Ullyes

Seguir leyendo
Space Needle
Publicado el 19 de enero del 2015 por Lino Uruñuela Este es el primer post del 2015, y vaticino que este año va a ser un año muy movido para los SEOs!! El segundo semestre del 2014 ha sido una auténtica locura, sobretodo a partir de Octubre y sin descanso por Navida

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 7 de marzo del 2014, by Lino Uruñuela Ya sabemos que la gente de Google es muy visionaria y es capaz de adelantarse en el tiempo a muchas cosas, pero esta vez se han equivocado.... Hoy día 7 de Marzo nos ofrece un Doodle reivindicativo, un vídeo como homenaje

Seguir leyendo
Space Needle
Publicado por Errioxa el 24 de enero del 2014 Desde hace un tiempo se viene viendo como Google usa cada vez más su Knowledge Graph para insertar determinados resultados específicos para el tipo  de búsqueda que se haya hecho. Por ejemplo si realizamos una búsqu

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 6 de abril del 2013 by Lino Uruñuela Hoy leo una noticia, o más bien debería llamarlo una opinión, sobre la tasa que se quiere imponer a Google por parte de algunos medios de comunicación europeos sobretodo los grandes periódicos. Des

Seguir leyendo
Space Needle
Publicado el 29 de enero del 2013 por Lino Uruñuela El otro día Google modificó el inteface de Google Images. El cambio es bastante significativo debido a que ahora no carga la url original de la imagen al hacer el primer click en la imagen de los resultados.

Seguir leyendo
Space Needle
Publicado el 21 de octubre del 2012 ACTUALIZACIÓN: Este experimento ha sido un total fracaso por mi parte ya que tengo un puñetero canonical en la landing page... así que no vale para nada. Volveré a repetirlo en cuanto vuelva de VACACIONES!!!! Esta sema

Seguir leyendo
Space Needle
Publicado el 21 de mayo del 2012 Como muchos ya saben la palabra Google que da nombre a nuestro Dios en la red proviene de Googol, que es el término que se le da a un uno seguido de cien ceros 1 googol = 10100 Vamos a escribirlo aquí 10 000 000 000 000 000 000 000 000 000 000

Seguir leyendo
Space Needle
Publicado el 10 de mayo del 2011, by Errioxa Parece que Google Analytics ha decidido aclarar a Joaquin Sabina quien le robó el mes de abril, Google Analytics. Prueba a hacer esto en Analytics, pon las fechas desde el 1 de marzo hasta la de hoy (por ejemplo...) y ve a fuentes de traf

Seguir leyendo
Space Needle
Publicado el jueves 5 de mayo del 2011, by Errioxa No sé si esto le ocurrirá a todo el mundo o si sólo me pasa a mi con la nueva interface de Google Analytics. Si vamos a Fuentes de Tráfico -> Fuentes de ingresos -> Organico    (por ejemplo) nos

Seguir leyendo
Space Needle
Publicado el miércoles 4 de mayo del 2011, by Errioxa Google ha lanzado con fuerza su nuevo servicio de comparación de precios, poniéndolo muy visible en su web y con bastantes productos disponibles... y sospechosamente sus competidores han sido afectados brutalemte por las &

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 9 de septiembre del 2010 Ya hemos visto todos lo que es Google Instant, así que ¿cuales son las implicaciones que puede tener esto para el SEO? Sin duda muchas, pero intentaré poner las que yo ahora mismo y sin ver datos (algo muy important

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 12 de mayo del 2010 Siempre tuve interés en cómo se escucharía MeCagoEnLos.com en Griego y ya puedo hacerlo! Google ha sacado como parte de su traductor un sistema que le pone voz a las palabras. Así que si vemos esta búsqueda y le damos al i

Seguir leyendo
  • 0000-00-00 00:00:00

Pues eso, Google recueda el 11M con una vela roja. He pillado esta captura de pantalla el día 10 de marzo a las 23:55 a veces sale y a veces no, supongo que a las 00:00 saldrá a todos en Google.es

Seguir leyendo
  • 0000-00-00 00:00:00

Google ha anunciado que quitará la autocensura que tenía en China y que le permitía operar en ese país. Bien por Google. Esto lo hace porque ha detectado ataques del gobierno chino a su servicio de correo Gmail, en un intento de sutraer información de personas p

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 13 de enero del 2010 Una de las cosas que más tiempo lleva rumoreándose por la web es la de un servicio de Google llamado GDrive, el cual sería un disco duro virtual para los usuarios en los servidores de Google para el almacenamiento de cualquier tipo de documen

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 30 de noviembre del 2009 Pues si queréis examinar cómo se podría ver en Google cuando apliquen las mejoras en su algoritmo, a las cuales las han llamado caffeine, se puede hacer a través de este data center de Google 209.85.225.103 aunque la verdad yo no m

Seguir leyendo
  • 0000-00-00 00:00:00

El otro día Google anunció que el formato de los sitemaps de Google News han cambiado y que tenemos 6 meses para modificarlos. Si aún tienes el formato viejo te salrá un icono de advertencia en webmsater tools, pero según Google hasta dentro de 6 meses seguir&aa

Seguir leyendo
Space Needle
Publicado el 21 de octubre del 2008 Se están viendo algunos nuevos diseños en el aspecto de los resultados de Google. Ahora en vez de salir como máximo 2 resultados de cada dominio, pueden aparecer bien si estás el posicionamiento es sólido. Podemos ver un ej

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 17 de agosto del 2009 Google ha realizado otra mejora en Webmaster Tools, se trata del organizador de parámetros y sirve para ignorar determinados paramatros. Está en "Organización -> Organización de parámetros" Por ejemplo si tenemo

Seguir leyendo

Últimos posts

Últimos comentarios


Lino Uruñuela

Hola Ana! Si esas urls no tenían tráfico orgánico, o este es despreciable yo usaría un 410. Si no hay más enlaces hacia estas urls p
Post: Ofuscando enlaces para mejorar Link Juice

Ana

Muy interesante el artículo, pero tengo una cuestión. ¿Qué se haría con todos esos enlaces que desaparecen si ya han sido indexados por
Post: Ofuscando enlaces para mejorar Link Juice

Lino Uruñuela

@Javier Lorente mañana te contesto poco a poco, de momento la sugerencia de "Pon algo para enterarnos de las respuestas de los comentarios
Post: Cuando restringes por robots.txt puedes aumentar el número de URLs indexadas

Javier Lorente

Siempre sospeché de https://www.seroundtable.com/amp/google-long-term-noindex-follow-24990.html tiene toda la lógica. En alguno de tus exp
Post: Meta Robots Noindex

Javier Lorente

Creo que deberíamos empezar a diferenciar ya de una vez por todas "indexadas" y "en el index server". Personalmente por indexadas entien
Post: Cuando restringes por robots.txt puedes aumentar el número de URLs indexadas

Javier

Bueenas Lino! Gracias por tu respuesta! Efectivamente, cogiendo texto de una página hecha con javascript y poniéndolo en Google entre comi
Post: Meta Robots Noindex

Lino Uruñuela

Hola @Javier repondiendo a tu pregunta "¿significa eso que google no está viendo el contenido en texto y no lo posicionará?" con el mismo
Post: Meta Robots Noindex

Lino Uruñuela

@Alex R , lo primero graciias por a ti por participar :) Sobre tu prebunta ¿Dentro de un mismo artículo o entrada podemos hacer que no s
Post: Meta Robots Noindex

Javier

Buenas Lino Mecagoenlos! (vaya apellido tienes...) Tu artículo me ha dado mucho que pensar... acaban de hacerme una web en una agencia y
Post: Meta Robots Noindex

Alex R

Hola Lino! Te leo desde hace algún tiempo (genial el cambio de look) y casualmente he venido aquí con una duda sobre indexación. Lo
Post: Meta Robots Noindex

Contacta

Lánzate y pregunta!

Nos gustan los robots, pero no tanto
7 + 3