Otro META nuevo unavailable_after

Publicado el Viernes 27 de Julio de 2007 a las 4 de la mañana despés de salir de juerga

Pues sí, unas cuantas neuronas mas ocupadas en mi cerebro por tener que memorizar otro META. Éste para decirle a Google cuando quremos que expire nuestro contenido y lo borre de sus resultados, !!está loco¡¡ con lo que cuesta crearlos. Yo no lo haría. Supongo que habrá casos muy puntuales en que les venga bien.

Ya soltaron en una conferencia hace poco en Inglaterra que iban a crear el unavailable_after, y hoy lo han publicado.

¿y por qué tienen interés en quitar páginas de sus servidores? igual es que andan escasos de espacio con tantas webs nuevas cada día...

También han anunciado que disponen de un método para que podamos decir a Google que archivos como Pdf, Word, XLS, etc.. no sean indexados o no sean mostrados en los resultados del buscador. En HTML ya podíamos usar un META para esto.

<meta name="robots" content="noindex,nofollow">

Pero en cualquier otro tipo de documento  que no fuese HTML no podías decŕselo y Google que lo quiere todo, lo indexaba y mostraba si no le restringías el acceso por medio del robots.txt o por medio de contraseña en el directorio donde estuviera.

Ahora hay una nueva directiva en la cabecera Header que debemos enviársela si no queremos que algún documento sea indexado, por ejemplo así:

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST


Esto supone que tenemos que tener acceso a la configuración de nuestro servidor (archivo .htaccess) para poder controlar las solicitudes a determinadas extensiones de archivos.

Un ejemplo para enviar estas cabeceras para todos los documentos .doc .pdf sería escribir esto en el .htaccess de tu servidor: (no lo he probado porque parece que el .htaccess de mi hosting debo hacerlo desde el panel, otro día lo haré, pero debería fucionar)

<FilesMatch "\.(doc|pdf)$">
      Header set X-Robots-Tag "noindex"
</FilesMatch>

Para hacerlo solamente para un fichero en concreto así:

<FilesMatch "nombre_archivo.doc$">
       Header set X-Robots-Tag "noindex"
</FilesMatch>

Pero con este método no impedimos el que alguien teclee la ruta en la barra de direcciones y se descargue cualquier archivo. Para hacer esto en Apache estoy investigando.

En .Net hice algo parecido hace poco para que no se pudiesen descargar archivos por medio de la URL si no estaban autentificados por medio de un formulario y además tenías los permisos necesarios sobre ese archivo que yo comprobaba en mi base de datos, de esta manera aunque supieran o probaran suerte por medio de la URL no podían descargarlo. Por supuesto si no estaban logueados no podían descargarlo tampoco. Más o menos era así;

Primero tenías que configurar el servidor diciéndole que determinados archivos los tratase como archivos  aspx. Entonces el servidor cada vez que haya una peticion http  mirará por si ese tipo de archivo debe ser tratado como un aspx. Si es así, iría al Web.config donde pondremos

<httpHandlers>

<addverb="GET,POST"path="*.doc"
type="objeto.HttpHandler.downloadHandler,
objeto.MiHttpHandler/>
</httpHandlers>

y verá que DLL debe usar para tratar ese tripo de ficheros. Y si has llegado hasta aquí, no necesitarás enviar nada a Google porque si tu no quieres no le das acceso.

Aquí teneis una perfecta explicación para manejar los HttpHandlers con .Net

Pero en Apache no sé cómo hacerlo, no me sale Yell . No lo necesito porque documentos privados la verdad que no tengo, esto ya es cabezonería. Pero puede ser muy importante para muchas páginas de hospitales, ayuntamietos, etc, que guardan datos confidenciales y deberían hacerlo todas, sin embargo la mayoría no lo hace y puedes descargarte, si sabes o adivinas la ruta, todos sus documentos.

Lo ideal y lógico es no depender de Google para tener seguros tus datos confidenciales, y en este caso Google no lo pone tan fácil, porque hay que saber de programación y tener control sobre tu servidor.

Espero poder probarlo mañana y publico cómo es. También voy a hacer una prueba haciendo lo que dicen y poniendo un link para ver si lo lee.

Si alguien sabe como hacerlo en Apache que me lo diga, si no seguiré investigando. Creo que habría que modificar el .htaccess y poner algo así para  redirigir las peticiones http cuando es a un archivo doc, mp3 o pdf

RewriteEngine on
RewriteCond %{QUERYSTRING} !^$
RewriteCond %{QUERYSTRING} !^http://([-a-z0-9]+\.)?mecagoenlos\.com[NC]
RewriteRule .*\.(doc|mp3|pdf)$ https://www.mecagoenlos.com/ [R,NC,L]

Pero a mi no me sale....

 




Posts anteriores en Google


Space Needle
Publicado el 14 de julio del 2017 por Lino Uruñuela El otro día, buscando algo con lo que entretenerme mientras estaba en el baño (sí, los botes de champú ya me los he leído todos.... tres veces) estaba inetntando resolver un reto lanzado por Gary Ullyes

Seguir leyendo
Space Needle
Publicado el 19 de enero del 2015 por Lino Uruñuela Este es el primer post del 2015, y vaticino que este año va a ser un año muy movido para los SEOs!! El segundo semestre del 2014 ha sido una auténtica locura, sobretodo a partir de Octubre y sin descanso por Navida

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 7 de marzo del 2014, by Lino Uruñuela Ya sabemos que la gente de Google es muy visionaria y es capaz de adelantarse en el tiempo a muchas cosas, pero esta vez se han equivocado.... Hoy día 7 de Marzo nos ofrece un Doodle reivindicativo, un vídeo como homenaje

Seguir leyendo
Space Needle
Publicado por Errioxa el 24 de enero del 2014 Desde hace un tiempo se viene viendo como Google usa cada vez más su Knowledge Graph para insertar determinados resultados específicos para el tipo  de búsqueda que se haya hecho. Por ejemplo si realizamos una búsqu

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 6 de abril del 2013 by Lino Uruñuela Hoy leo una noticia, o más bien debería llamarlo una opinión, sobre la tasa que se quiere imponer a Google por parte de algunos medios de comunicación europeos sobretodo los grandes periódicos. Des

Seguir leyendo
Space Needle
Publicado el 29 de enero del 2013 por Lino Uruñuela El otro día Google modificó el inteface de Google Images. El cambio es bastante significativo debido a que ahora no carga la url original de la imagen al hacer el primer click en la imagen de los resultados.

Seguir leyendo
Space Needle
Publicado el 21 de octubre del 2012 ACTUALIZACIÓN: Este experimento ha sido un total fracaso por mi parte ya que tengo un puñetero canonical en la landing page... así que no vale para nada. Volveré a repetirlo en cuanto vuelva de VACACIONES!!!! Esta sema

Seguir leyendo
Space Needle
Publicado el 21 de mayo del 2012 Como muchos ya saben la palabra Google que da nombre a nuestro Dios en la red proviene de Googol, que es el término que se le da a un uno seguido de cien ceros 1 googol = 10100 Vamos a escribirlo aquí 10 000 000 000 000 000 000 000 000 000 000

Seguir leyendo
Space Needle
Publicado el 10 de mayo del 2011, by Errioxa Parece que Google Analytics ha decidido aclarar a Joaquin Sabina quien le robó el mes de abril, Google Analytics. Prueba a hacer esto en Analytics, pon las fechas desde el 1 de marzo hasta la de hoy (por ejemplo...) y ve a fuentes de traf

Seguir leyendo
Space Needle
Publicado el jueves 5 de mayo del 2011, by Errioxa No sé si esto le ocurrirá a todo el mundo o si sólo me pasa a mi con la nueva interface de Google Analytics. Si vamos a Fuentes de Tráfico -> Fuentes de ingresos -> Organico    (por ejemplo) nos

Seguir leyendo
Space Needle
Publicado el miércoles 4 de mayo del 2011, by Errioxa Google ha lanzado con fuerza su nuevo servicio de comparación de precios, poniéndolo muy visible en su web y con bastantes productos disponibles... y sospechosamente sus competidores han sido afectados brutalemte por las &

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 9 de septiembre del 2010 Ya hemos visto todos lo que es Google Instant, así que ¿cuales son las implicaciones que puede tener esto para el SEO? Sin duda muchas, pero intentaré poner las que yo ahora mismo y sin ver datos (algo muy important

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 12 de mayo del 2010 Siempre tuve interés en cómo se escucharía MeCagoEnLos.com en Griego y ya puedo hacerlo! Google ha sacado como parte de su traductor un sistema que le pone voz a las palabras. Así que si vemos esta búsqueda y le damos al i

Seguir leyendo
  • 0000-00-00 00:00:00

Pues eso, Google recueda el 11M con una vela roja. He pillado esta captura de pantalla el día 10 de marzo a las 23:55 a veces sale y a veces no, supongo que a las 00:00 saldrá a todos en Google.es

Seguir leyendo
  • 0000-00-00 00:00:00

Google ha anunciado que quitará la autocensura que tenía en China y que le permitía operar en ese país. Bien por Google. Esto lo hace porque ha detectado ataques del gobierno chino a su servicio de correo Gmail, en un intento de sutraer información de personas p

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 13 de enero del 2010 Una de las cosas que más tiempo lleva rumoreándose por la web es la de un servicio de Google llamado GDrive, el cual sería un disco duro virtual para los usuarios en los servidores de Google para el almacenamiento de cualquier tipo de documen

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 30 de noviembre del 2009 Pues si queréis examinar cómo se podría ver en Google cuando apliquen las mejoras en su algoritmo, a las cuales las han llamado caffeine, se puede hacer a través de este data center de Google 209.85.225.103 aunque la verdad yo no m

Seguir leyendo
  • 0000-00-00 00:00:00

El otro día Google anunció que el formato de los sitemaps de Google News han cambiado y que tenemos 6 meses para modificarlos. Si aún tienes el formato viejo te salrá un icono de advertencia en webmsater tools, pero según Google hasta dentro de 6 meses seguir&aa

Seguir leyendo
Space Needle
Publicado el 21 de octubre del 2008 Se están viendo algunos nuevos diseños en el aspecto de los resultados de Google. Ahora en vez de salir como máximo 2 resultados de cada dominio, pueden aparecer bien si estás el posicionamiento es sólido. Podemos ver un ej

Seguir leyendo
  • 0000-00-00 00:00:00

Publicado el 17 de agosto del 2009 Google ha realizado otra mejora en Webmaster Tools, se trata del organizador de parámetros y sirve para ignorar determinados paramatros. Está en "Organización -> Organización de parámetros" Por ejemplo si tenemo

Seguir leyendo

Últimos posts

Últimos comentarios


Javier Galán

Este post es una auténtica genialidad. Muy útil.
Post: Medir cuántos usuarios hacen click para ampliar la imagen en Google Imágenes, aunque no entren en nuestra web

Antonio

Hola Lino, Sabes si añadiendo como robot Googlebot ya incluye tanto al robot de desktop como de mobile? O se tendria que añadir Googlebot
Post: Monotorizar GoogleBot con Google Analytics

unoquepasa

Que pasaria si haces varias paginas y cambias el orden de las palabras en los titulos ¿cual se mostrara primero? las que esten mas cerca de
Post: ¿Cuántas palabras valorará Google en el title?

Alex Rodríguez

Muy buenas Lino! Me pasaba por aquí por casualidad a ver si encontraba algo de info de lo que pasó estos días y bueno... Parece que al
Post: Google comienza el año con dos updates

Lino Uruñuela

@Javi sí, sobre que hay mucho cafre por ahí, tienes razón, pero es como el robots.txt es "peligroso" en manos inadecuadas, igual que el n
Post: Nuevo Google Search Console ¿qué información nos ofrecerá?

Javier Lorente

Gracias Lino! Para "ocultar" errores en plan de andar por casa tiro de robots. Por otro lado, estamos ante una genial actualización que
Post: Nuevo Google Search Console ¿qué información nos ofrecerá?

Lino Uruñuela

Hola Ana! Si esas urls no tenían tráfico orgánico, o este es despreciable yo usaría un 410. Si no hay más enlaces hacia estas urls p
Post: Ofuscando enlaces para mejorar Link Juice

Ana

Muy interesante el artículo, pero tengo una cuestión. ¿Qué se haría con todos esos enlaces que desaparecen si ya han sido indexados por
Post: Ofuscando enlaces para mejorar Link Juice

Lino Uruñuela

@Javier Lorente mañana te contesto poco a poco, de momento la sugerencia de "Pon algo para enterarnos de las respuestas de los comentarios
Post: Cuando restringes por robots.txt puedes aumentar el número de URLs indexadas

Javier Lorente

Siempre sospeché de https://www.seroundtable.com/amp/google-long-term-noindex-follow-24990.html tiene toda la lógica. En alguno de tus exp
Post: Meta Robots Noindex

Contacta

Lánzate y pregunta!


He leído y acepto la política de privacidad

Mecagoenlos.com te informa que los datos de carácter personal que nos proporciones rellenando el presente formulario serán tratados por Lino Uruñuela. como responsable de esta web.

La finalidad de la recogida y tratamiento de los datos personales que te solicitamos es para enviar un correo con los datos que introduzcas, sin guardarse en ninguna base de datos.

Legitimación: Al marcar la casilla de aceptación, estás dando tu legítimo consentimiento para que tus datos sean tratados conforme a las finalidades de este formulario descritas en la política de privacidad.

Como usuario e interesado te informamos que los datos que nos facilitas estarán ubicados en los servidores de Linode.com (proveedor de hosting de Mecagoenlos.com) cumpliendo la ley de protección de datos. Ver política de privacidad de Linode.com.

Podrás ejercer tus derechos de acceso, rectificación, limitación y suprimir los datos en info@mecagoenlos.com, así como el derecho a presentar una reclamación ante una autoridad de control. Más información aquí.