ARAÑAS DISTRIBUIDAS. ASIGNACIÓN EFECTIVA DE TRABAJO. Búsqueda de Información y documentos en Internet evitando duplicidad de esfuerzos

La computación desde sus inicios, como en la actualidad, es utilizada como una herramienta que le ayuda al hombre a resolver problemas de su vida diaria. En este trabajo nos enfocamos a hallar y recuperar documentos que yacen en la Web, por medio de programas que los localizan y los recuperan, a texto completo. Estos programas (llamados arañas, o crawlers en inglés) pueden ser instalados en una o varias máquinas. En este último caso se coordinan entre sí para evitar duplicar (o sextuplicar, si se instalaran en seis máquinas) esfuerzos. Un documento se recupera una sola vez, aunque varias arañas se “topen” con él. Un Web crawler es un programa que inspecciona de manera metódica y automatizada las páginas de la Internet. Para un Web crawler es sumamente importante no duplicar trabajo, pues una dirección URL duplicada puede originarle perder varias horas o incluso días de trabajo ya que otra de sus tareas es extraer direcciones URL incluidas dentro de ella y procesarlas de igual manera. El presente trabajo muestra la definición de una arquitectura que resuelve el problema de duplicidad y optimiza el espacio asociando a cada página web 4 de los principales temas de los que trata.