Cómo Agregar un Mapa del Sitio a tu blog - (Archivo robots.txt personalizado)

Un "Mapa del sitio XML" es como un directorio de todas las páginas web que existen en un blog o sitio web. Los motores de búsqueda como Google y Bing, utilizan esos archivos del mapa del sitio XML, para descubrir páginas que no hayan podido ser rastreadas durante el proceso de búsqueda regular.

Esa es la explicación que ofrece Amit Agarwal en Digital inspiration sobre cómo funciona un mapa de sitio XML, quién también explica cuál es la limitación de los blogs de Blogger en lo que respecta a dicho mapa del sitio, y además ofrece una solución. Veamos de qué se trata. 

El problema con los archivos del mapa del sitio de Blogger

Un mapa del sitio completo, comprende "todas las páginas" del blog o sitio web. 

Los blogs de Blogger sólo muestran los últimos 26 posts en el archivo del mapa del sitio XML predeterminado, aquí puede verse un ejemplo. Esto trae como concecuencia que los posts antiguos que no están contemplados en el archivo del mapa del sitio XML predeterminado, pudieran no ser indexados por los motores de búsqueda. Afortunadamente hay una solución para esto, ofrecida en la página mencionada y de la que a continuación hablaremos. 

La solución consiste en crear un sitemap XML completo y agregarlo desde la opción de preferencias de búsqueda, opción que recientemente dispuso Blogger en nuestro panel. De ese modo le permitiremos a los motores de búsqueda que puedan rastrear nuestro sitio más inteligentemente.

Cómo generar un mapa del sitio XML completo para el Blog

Ve a este generador, que Digital Inspiration facilita, y teclea la dirección web de tu blog. Se aplica para blogs de Blogger, o dominios propios alojados en Blogger. En mi caso sería: "http://www.compartidisimo.com". 

Haz click en "Create Sitemap", y copia el texto generado. En la imagen abajo puedes ver el texto generado cuando puse la dirección de mi blog. El texto generado empieza con User-agent: * y lo he resaltado con el fondo verde.

Desde el panel de Blogger, vas a Configuración > Preferencias de búsqueda, y en la opción que dice: "Archivo robots.txt personalizado" habilita el contenido del archivo robots.txt personalizado seleccionando "Sí", luego, pega el texto que copiaste en el campo y guarda los cambios.
1. 

¡Y listo!, hecho lo anterior, los motores de búsqueda descubrirán automáticamente los archivos del sitemap XML, vía robots.txt. Aunque es importante considerar que hacer lo anterior, proporciona "sugerencias" a los rastreadores para mejorar el trabajo al rastrear nuestro sitio, esto no garantiza que las páginas del sitio o blog aparezcan en los resultados de búsqueda. La buena noticia es que si lo hacemos, facilitamos el trabajo a los motores de búsqueda, para que las páginas de nuestro blog sean rastreadas.

Créditos: Via | Digital Inspiration
+ informacion sobre el tema
Acerca de los mapas del sitio (Información de Google)
Diferencia entre un mapa del sitio y un mapa del sitio XML
Robots.txt: Todo lo que deberías saber
Qué es un Google sitemap
Información sobre robots.txt (en inglés)
Nota:  No confundir con el mapa de sitio web o mapa de sitio que comprende la lista del contenido por títulos, para que puedan verla los lectores y explorar el contenido. 

Publicado por Karla Castañeda