¿Cuándo y cómo el robot de Google revisa un sitio en busca de contenido nuevo?

Cada vez son más las personas que publican contenido en internet, en un blog, como blogger invitado, en un directorio de artículos o tienen un sitio web propio.
Unas de las preguntas que más se formulan todos, es de que manera Google revisa nuestras páginas, si es necesario enviar un sitemap o algún otro aviso cundo publicamos contenido reciente y novedoso.
En este artículo tratamos de dar respuestas a muchas preguntas de nuestros lectores. Vamos a hacer mención a Google ya que es el principal buscador de internet, pero todo se aplica igualmente a los otros buscadores más relevantes como Bing o Yahoo.
Para que nuestras páginas aparezcan en los buscadores dependemos de unos robots o arañas, uno de ellos es conocido como GoogleBot.

¿Qué es GoogleBot?

El robot de Google, conocido como GoogleBot es una enorme computadora que escanea constantemente toda la red en busca de información reciente.
Los sitios más visitados regularmente son los que Google utiliza para extraer información para ser mostrada en su servicio de noticias.
Al hacer su recorrido el bot puede detectar referencias que apunten a nuestras páginas en otros sitios de internet, por ejemplo páginas de Facebook donde los usuarios usen el botón Me Gusta, sitios de participación como Yahoo Respuestas, Retweets hechos en Twitter, o cualquier otro sitio donde se inserte un link que nos vincule.
Todas estas referencias se van guardando en la cesta de tareas pendientes, hasta que el robot se decide a visitarnos.

Al acceder a nuestro sitio escanea todas las URL que trae pendientes y lee dos archivos muy importantes de nuestro sitio, el archivo SITEMAP y el robot.txt.
Estos datos serán confrontados con la base de datos de Google y si alguna página muestra una fecha más reciente, será escaneada completamente y agregada al índice de Google, por supuesto de cumplir con ciertos parámetros técnicos.
Debido a todo lo anterior se razona que el archivo SITEMAP es de extrema importancia, para asegurar que todo el contenido modificado recientemente sea descubierto por los buscadores y agregado a su índice.

¿Tengo que crear un archivo SITEMAP en mi sitio web?

Si tus paginas las creas usando un CMS como WordPress, el archivo sitemap existe y es actualizado automáticamente.
Si creas tus paginas usando programas de edición en la PC y las subes manualmente a tu sitio, necesitas crear un archivo sitemap manualmente y actualizarlo regularmente.
Otra opción es usar servicios en la red para ese propósito.
Lee toda la información necesaria para crear un sitemap: Como crear un sitemap o mapa del sitio para usar en un sitio web

¿Cómo saber cuándo el robot de Google revisa mis páginas?

Si usas algún servicio de monitoreo como Google Analytics (es gratis) o Piwik (gratis y software libre) sabrás fácilmente cunado tus paginas son revisadas por el robot de Google y también por muchos otros que escanean constantemente la red (incluyendo los robots de los spammer).
En los logs (informes) verás entre otros los siguientes robots:

¿Las imágenes también son agregadas al índice de Google?

Las imágenes incluidas en una página también serán revisadas y en caso de considerarse aptas se mostrarán en los resultados de las búsquedas de Google Imágenes.
Esto es muy conveniente porque podremos recibir muchas visitas provenientes de este servicio de búsqueda.
Para eso hay varios factores que son determinantes como son:
En caso de imágenes vinculadas a la página, pero que solo se puede acceder mediante formularios HTML o funciones en Javascript, es necesario incluirlas en el archivo SITEMAP del sitio o en uno dedicado solo a las imágenes.

---

¿Es necesario enviar archivos sitemap a Google u otros buscadores?

Como se comprenderá leyendo lo explicado anteriormente, es innecesario completamente enviar un sitemap a cualquier buscador de internet, así como usar servicios de hacer PING.
Quizás hace unos años ayudaba, en la actualidad los buscadores son lo suficiente inteligentes, solo se necesita que el sitio tenga cierta interacción en la red.

¿Cómo conocer las páginas de un sitio que están en el índice de Google?

Actualmente Google ha hecho su índice de páginas completamente transparente, es decir es posible obtener información sobre las páginas de un sitio que están indexadas.
Para eso es necesario registrarse en el servicio de https://www.google.com/webmasters/tools/Herramientas para Webmasters, es gratis.
Lee más información detallada en otra página de este sitio: Como agregar tu página o blog al índice de Google

Páginas relacionadas