Un día del verano pasado, el motor de búsqueda de Google alcanzó un hito sin que prácticamente nadie se enterara. Añadió un billón de direcciones a su lista de páginas de Internet. Pero por increíblemente elevado que parezca ese número, representa sólo una fracción de la totalidad de la Red.
Más allá de ese billón de páginas está una Red todavía más grande de datos ocultos: información financiera, catálogos de compra, billetes de avión, investigación médica y cualquier otra información que se haya guardado en las bases de datos que resultan invisibles en muchos casos para los buscadores.
Los problemas con los que tropiezan los motores de búsqueda más importantes al penetrar en la llamada Red profunda contribuyen de manera esencial a explicar por qué todavía no pueden dar una respuesta satisfactoria a la pregunta de "Cuál es la mejor tarifa para viajar de Nueva York a Londres el jueves". Las respuestas a estas preguntas se podrían obtener fácilmente... si los motores de búsqueda supieran cómo hallarlas.
Actualmente está cobrando forma un nuevo tipo de tecnologías que extenderá el alcance de los motores de búsqueda para que puedan llegar hasta los rincones ocultos de la Red. Cuando eso ocurra, no sólo mejorará la calidad de los resultados de la búsqueda, sino que también cambiará la forma en que numerosas empresas hacen negocios en Internet.
"La Red rastreable es la punta del iceberg", explica Anand Rajaraman, cofundador de Kosmix, una nueva empresa de búsqueda en la Red profunda. Kosmix ha desarrollado programas que asocian las búsquedas con las bases de datos que tienen más probabilidades de ofrecer información relevante, y luego ofrecen una visión general del tema obtenida de múltiples fuentes.
"La mayoría de los buscadores te ayudan a encontrar una aguja en un pajar" dice Rajaraman, "pero lo que nosotros tratamos de hacer es ayudar a la gente a explorar el pajar".
Ese pajar es inmensamente grande. Con millones de bases de datos conectadas a la Red, e infinitas posibilidades de combinar los términos de búsqueda, resulta sencillamente imposible para cualquier motor de búsqueda cribar todas las combinaciones
posibles de datos. Para extraer información significativa de la Red profunda, los motores de búsqueda tienen que analizar los términos empleados por los usuarios para la búsqueda y determinar el modo en que formularán esas consultas en bases de datos determinadas.
La profesora Juliana Freire de la Universidad de Utah está trabajando en un ambicioso proyecto llamado DeepPeep [Ojeada Profunda] que tiene como objetivo rastrear e indexar todas las bases de datos que están en la Red pública. La extracción de contenidos en ubicaciones de datos tan ocultas requiere un sofisticado juego informático de adivinanzas.
DeepPeep empieza por hacer un pequeño número de consultas "de forma que luego podamos usarlas para avanzar en nuestro conocimiento de las bases de datos y elegir qué palabras buscamos".
Más allá del reino de las búsquedas de los consumidores, las tecnologías de la Red profunda podrían finalmente permitir que las empresas usasen la información de un modo diferente. Por ejemplo, una página web de noticias locales podría ampliar su información si permitiera a los usuarios entrar en los archivos públicos almacenados en bases de datos del Estado
http://www.elpais.com/articulo/internet/Explorar/rincones/ocultos/Internet/elpeputec/20090404elpepunet_1/Tes
