Como hemos dicho, la etiqueta robots, dentro de las posibles etiquetas con Metainformaciones acerca de un documento web, sirve para llevar un control exhaustivo de lo que puede o no puede hacer un robot de indexación cuando visita nuestro sitio web. Los comportamientos más típicos que podemos definir son permitir o no indexar una página y seguir o no sus enlaces.
Ahora veamos cómo se define esta etiqueta META de robots.
<META name=»robots» content=»NOINDEX»>
Como se puede ver, se define el etiqueta META y se acompaña de dos atributos esenciales:
Name: que para la etiqueta META que controla los comportamientos en motores de indexación el valor es «robots».
Content: se indica las directivas que queremos que apliquen los motores de indexación cuando visitan la página.
Valores posibles de la etiqueta META ROBOTS
En el atributo Content de la etiqueta meta debemos colocar las directrices que deseemos para buscadores, tantas como deseemos, separadas por comas. Las distintas directrices a aplicar son las siguientes:
INDEX / NOINDEX
Sirve para indicar si se desea o no permitir la indexación de la página por los motores de búsqueda.
FOLLOW / NOFOLLOW
Con esta directriz se indica si se debe o no permitir a los motores de búsqueda recorrer o seguir recorriendo la web a través de los enlaces que encuentre en el cuerpo del documento.
ARCHIVE / NOARCHIVE
Esto permite decir si deseamos o no que el motor de búsqueda archive el contenido del sitio web en su caché interna. Como habremos podido ver, buscadores como Google tienen una caché y podemos ver las páginas web tal como las tiene cacheadas el buscador. Para ello, en los resultados de las búsquedas aparece un enlace que pone caché. Si decimos que no archive la página, no debería mostrar ese enlace de caché. Esto en realidad, según Google, no evita que se guarde en caché la página, sino que no permite verla a los usuarios del buscador y por lo tanto no muestra el enlace.
SNIPPET / NOSNIPPET
Esta directriz en principio no resulta muy útil, al menos a primera vista. Sirve para que el motor de búsqueda no muestre ninguna descripción de un sitio, sólo su título. Si utilizas NOSNIPPET automáticamente defines un NOARCHIVE, por lo que la página tampoco se mostrará en caché.
ODP / NOODP
Sirve para decirle al buscador que debe, o no, mostrar el título y descripción de la página iguales a los que se encuentra en el Open Directory Project. En algunos casos, algunos buscadores muestran como título y descripción de una web los que se han publicado en el ODP (ENLACE A http://www.dmoz.org/).
YDIR / NOYDIR
Es básicamente lo mismo que ODP / NOODP, con la diferencia que es para que no se pueda, o si, mostrar la descripción y título que aparece en el directorio de Yahoo.
Cuando no existe esta etiqueta los buscadores interpretan las condiciones más favorables para ellos, es decir, que pueden hacer todo lo que suelen hacer con otras páginas a la nuestra, como indexarla, seguir sus enlaces, archivarla, etc.
Ejemplos de etiquetas META ROBOTS
A la hora de utilizar la META ROBOTS básicamente lo que podemos hacer es restringir las posibilidades de los motores de búsqueda, puesto que las posibilidades por defecto son las menos restrictivas.
Esto quiere decir que una etiqueta como la siguiente es irrelevante, porque el buscador siempre va a indexar la página y seguir sus enlaces de manera predeterminada:
<META name=»robots» content=»INDEX,FOLLOW»>
Podemos definir entonces casos más restrictivos como estos:
<META name=»robots» content=»INDEX,NOFOLLOW»>
Para indicar que se desea que se indexe la página, pero no se sigan los enlaces. Dada que la opción INDEX es la que se sobreentiende por defecto, esta etiqueta tendría el mismo valor que la siguiente:
<META name=»robots» content=»NOFOLLOW»>
Para indicar que no queremos que se sigan los enlaces de la página.
<META name=»robots» content=»NOINDEX,NOFOLLOW»>
Para indicar que no queremos que se indexe la página ni se sigan los enlaces que pueda contener.
<META name=»robots» content=»NOARCHIVE»>
Lo único que indicamos es que no se muestre el enlace para ver la página en la caché del buscador.
<META name=»robots» content=»NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET»>
Con esta restrictiva etiqueta forzamos para que no se indexe la página, no se sigan los enlaces, no se muestre el link de caché, no se muestre el título y descipción del Open Directory Project y sólo se muestre el título de la página en los resultados de las búsquedas.
Vía: desarrolloweb.com
