Spiders de la web

Ok, lo prometido es deuda, había mencionado anteriormente que iba a hablar de los spiders o arañas, todos saben lo que es una araña, y sino pegense una vuelta por google, en realidad su definición o la definición que le han puesto sus creadores es crawler, es un pequeño programa que se encarga de visitar cada una de las paginas web, como? ok esto es lo mas interesante, cuando se creo el programa se agrego una URL como base de inicio, la araña fue a esta url recorrió toooda la pagina y almaceno todas las url que esa pagina poseía (o links) esa pagina de modo que cuando recorría todo una url pasaba a la siguiente url que había almacenado en una lista, es mas o menos un grafo, visita una url (seria el vértice principal) recoge todos los links (serian los vértices adyacentes al vértice principal) y avanza a la siguiente dirección (avanza al siguiente nodo).

Y así es como funcionan los crawlers, como esta recorriendo siempre, es difícil que pare puesto que la Internet es un lugar lleno de direcciones. Ok pero para que querría hacer eso un programa? pues bien, es para indexar los links, es decir para que un motor de búsqueda  sea google o yahoo o bing, etc pueda traerte resultados, cuando tu introduces algo en este. Apuesto a que no lo sabias?

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s