Cómo funciona un motor de búsqueda

Todos tenemos más o menos una vaga idea de cómo funciona Google. Pero ¿qué procesos se dan dentro del buscador? ¿Podemos aprovecharlos para optimizar nuestros sitios, o posicionarnos mejor en el ranking de resultados?

La respuesta es afirmativa. Entonces, para entenderlo mejor, podríamos dividir el proceso en tres partes: el Crawling (recorrido que hacen los spider-robots por nuestro sitio), la Indexación y los resultados de búsqueda. Estas partes trabajan solas y en conjunto.

Saber cómo funcionan las tres partes de este proceso puede explicar por qué algunos sitios son indexados y otros no.

Respecto del Crawling, tiene diferentes prioridades, como recorrer e indexar cuantas páginas se encuentren en un mismo directorio web, en vez de seguir todos los links de un sitio enorme. Además puede organizar el crawling de manera que no sature el servidor.

Además, el rol en el PageRank determina la prioridad del crawling, de cómo convertirá archivos PDF y postcript a texto antes de enviarlos a otro programa que los indexe.

Esto quiere decir que sitios grandes, con un PR alto, como por ejemplo AOL, serán indexados antes y con más regularidad, porque su servidor soportará simultáneos robots que hagan la tarea.

De esta manera tenemos un dato muy importante, que es el efecto que tiene nuestro PageRank y servidor sobre la frecuencia y rapidez con la que Google indexa nuestro sitio.

Fuente: Seo by the Sea