Módem «

Vea también:

Buscadores de dólares

Enlaces

Robots con Martijn Koster
http://info.webcrawler.com/
mak/projects/robots/
robots.html

Human search http://www.humansearch.w1.com/
humansearch/cgi-bin/Limit.txt

Answer
http://www.answers.com

The Mining Company http://miningco.com

Naturaleza de los buscadores
Robots y humanos se proyectan hacia el ciberespacio para recopilar información. En medio de la abundancia, máquinas construidas con software surcan Internet a toda velocidad realizando un registro del inmenso catálogo, con el cual se alimentan luego servicios de búsqueda esenciales para la navegación. Pero una nueva tendencia plantea retornar hacia los seres de carne y cerebro, con el argumento de que son agentes más confiables, precisos y naturales.

En el principio, que fue en el amanecer de los 90, la World Wide Web era un sitio difícil de recorrer, los usuarios debían ser verdaderos especialistas en computación para moverse de un lugar a otro. Después, una universidad comenzó a difundir Mosaic, que fue el primer navegador o browser diseñado para comunes mortales. Pero aún no estaba claro hacia dónde orientar las travesías... hasta que hacia mediados de 1994, aparecieron los buscadores.
Estamos en 1999 y los browsers están convertidos en poderosas maquinarias de navegación, pero siguen dependiendo de los sistemas de búsqueda como los barcos lo hacen de una brújula. Por esa razón los buscadores abundan, se habla de centenares en todo el mundo, algunos con más de 30 millones de páginas revisadas, otros tan especializados como para entregar información de un solo producto.
¿Cómo se construyen estas maravillas? Aunque no todos los buscadores son tan maravillosos, casi todos se elaboran mediante el uso de robots. No son, por cierto, las estructuras de metal que protagonizan la ciencia ficción desde hace décadas y que comienzan a plagar las fábricas contemporáneas. En la Red son programas de software que viajan a través del ciberespacio revisando archivos.
Seres artificiales que construyen enormes bases de datos automáticas... Pero cuya efectividad para brindar información de utilidad al usuario final comenzó a ser cuestionada por una nueva tendencia que gana adherentes en el ciberespacio, según la cual el encargado de encontrar las rutas ciberespaciales debe ser un humano.
En medio del boom de Internet esto significó la aparición, en el mundo real, de algunos servicios de corredores de información procedente de la Red. Pero ahora también se está notando la proliferación de nuevos tipos de buscadores que a primera vista son similares a los automáticos, aunque están manejados por personas.
Por esa razón no son tan rápidos, aunque resultan mucho más precisos: en un lugar desbordante de información, es muy fácil recibir altas dosis de basura cuando uno anda en busca de algunos simples datos.

Robots

Karel Capek, el checo que inventó la palabra "robot", e Isaac Asimov, el ruso-estadounidense que elaboró unas leyes de la robótica, no consideraron la existencia de este nuevo tipo de seres de software. Pero la palabra ya está incorporada al léxico de los programadores de Internet, que cuando buscan información sobre el tema pueden pasar, por ejemplo, por un sitio especialmente dedicado a este tipo de robots de Red, mantenido por Martijn Koster en Webcrawler, un buscador que fue de los primeros en utilizar un ente programado para recorrer la Telaraña Mundial.
Koster tiene una larga lista de nombres que identifican a algunos de los robots que atraviesan la Red, aunque no incluye todos los existentes, pues estos programas se pueden comprar, copiar y por supuesto crear mediante el uso de lenguajes de programación, para cumplir con la misión de alimentar a un buscador.
El programa robot está capacitado para recorrer en forma automática el universo hipertextual de la World Wide Web, donde puede registrar un documento, y después hacer lo mismo con aquellos a los cuales acceda desde allí mediante enlaces.
Los movimientos de estos robots están determinados por información contenida en la programación que realizó su creador, pero una vez lanzados hacia el ciberespacio se mueven con bastante autonomía, lo cual constituye una diferencia esencial con los browsers, que deben ser permanentemente operados por un humano y no están capacitados para recuperar documentos en forma automática.
También son distintos a los virus, pues estos acarrean infecciones que se producen mediante la autoreplicación del software que se va copiando a donde llega, mientras el robot actúa como un visitante que pasa y se va, tras haber consultado algunos documentos. Como lo haría un navegante común, sólo que a toda velocidad y, cuando están bien construidos, con eficiencia.
"Arañas", "gusanos", "orugas", "vagabundo", "hormiga", son palabras que se usan para denominar a los robots. Ciertos nombres ya tienen fama, como el "Scooter" de Alta Vista, que ha registrado decenas de millones de sitios.
Lanzados en busca de sitios para aumentar los registros de los buscadores, los robots manifiestan comportamientos diversos, que dependerán de las características de su programación. Pero en general suelen iniciar su tarea a partir de una lista de direcciones que suelen dar frutos: las de lugares de "lo mejor", "lo más nuevo", "lo más cool", y otros por el estilo.
Además, reaccionan ante páginas que son propuestas por los propios usuarios de la Red, quienes pueden inscribir sus páginas web para que sean visitadas por un robot, y por lo tanto catalogadas en los sistemas de búsqueda, un paso importante para adquirir visibilidad en Internet. Pero aunque uno no cumpla con esta rutina, siempre existe la posibilidad de que el sitio sea visitado por una "araña", mientras ésta realiza una travesía de rutina a lo largo y ancho de las redes.
Por otro lado, los programadores de los sitios web pueden introducir en el servidor algunas indicaciones para evitar que los robots los visiten o toquen ciertas zonas que deseen mantener privadas. Pero esta tarea es más complicada y está reservada a quienes se entienden con las máquinas.
Entretanto, en Internet han comenzado a ganar popularidad programas denominados "agentes", que están a disposición de los usuarios como cualquier otro software de computación (se habla de "agentes inteligentes"), cuya operación es similar a la de los robots porque buscan información en forma automática. Pero en este caso siguen instrucciones muy precisas según los parámetros que les han sido fijados por quienes les asignan esta tarea. Y sus resultados no están destinados a alimentar servicios de búsqueda, sino a captar datos para los navegantes.

Humanos

"Piensen en su potencial... al fin un servicio de búsqueda inteligente", dice uno de los primeros mensajes que se encuentran al ingresar en un buscador que pertenece a una nueva estirpe dentro de Internet. "Hemos considerado el factor más importante: los humanos", precisa el sitio de Human Search, que recibe consultas las 24 horas, los 365 días del año.
El servicio de búsqueda es gratuito y personalizado, pero puede demorar unas 48 horas, según se dice en el web. ¿Tiene sentido que exista un lugar así, en una época en la cual se le da tanta importancia a la rapidez?
Quienes proponen un retorno a los humanos en la joven pero vertiginosa World Wide Web aseguran que es necesario un filtro, no para censurar ni para controlar, sino justamente para mantener a la gente a salvo de una avalancha de datos que puede terminar produciendo el efecto contrario al esperado, es decir la desinformación.
El problema ya es detectable en buscadores de gran tamaño como AltaVista o Excite, que arrojan millares de resultados. Periódicamente se añaden nuevas herramientas para acotar las exploraciones, con la finalidad que la gente no se vea abrumada por una gran cantidad de información inútil, recopilada y entregada por robots hechos con software, pero aún así los datos aumentan cada día.
Algunos servicios potentes, como el de Yahoo!, tienen clasificadores humanos que analizan y categorizan los sitios registrados. Sin embargo, hay quienes proponen ir aún más allá.
Los partidarios de colocar buscadores humanos en el ciberespacio argumentan que la receta ya es antigua: las revistas y los diarios filtran la mayor parte de la información de nuestro mundo y entregan un resumen. Cada uno, al menos en teoría, elige el medio que mejor satisface sus necesidades de información.
En la World Wide Web los nuevos servicios basados en buscadores humanos aún no compiten en el campo de la línea editorial, sino que buscan presentarse con ventajas frente a la indiferencia y frialdad de los sistemas automáticos.
En Human Search se entrega un informe con los enlaces que conducen a sitios donde se trata el tema solicitado y se propone una búsqueda que sea "tan fácil como preguntarle a un bibliotecario", lo cual por cierto a veces resulta más complicado que lidiar con los robots de la Red.
El servicio es parecido en Answers.com, aunque en este caso se cobra una tarifa entre 1,7 y 11,9 dólares por el servicio, de acuerdo con la complicación de la consulta.
Y se buscan fórmulas novedosas para ofrecer estos servicios. Una propuesta bastante ambiciosa en el campo de los humanos como vectores de búsqueda, pautada para mediados de año en el sitio de The Mining Company, es la de construir un gigantesco directorio que será revisado por personas para entregar la información a otras personas, los navegantes.
"Dentro de tres años será imposible usar los motores de búsqueda", argumenta el director de esta empresa, Scott Kurnit, quien propone el uso de "poder humano" para hacer frente a la avalancha de información.
En el sitio web se sugiere quienes podrían ser los solicitantes de un servicio así: "¿no puede localizar un servidor, está yendo hacia ninguna parte?".
The Mining Company (ahora About.com), que quiere decir "la empresa minera", tiene algunos empleados a tiempo completo, pero además cuenta con muchísimos guías de web, que están a cargo de mantener sitios especializados por temas. Son buscadores del web, pero también se espera que envíen información a los visitantes más frecuentes, que mantengan actualizada la lista de webs, que dispongan de la información allí mismo en la mayoría de los casos.

Nota: este artículo fue escrito en 1999