Web
Superficial y Web Profunda
La
Web Superficial o visible comprende todos aquellos sitios cuya información puede ser
indexada por los robots de los buscadores convencionales y recuperada casi en
su totalidad mediante una consulta en sus formularios de búsqueda.
Las
características principales de los sitios de la Web visible son:
su información no está contenida en bases de
datos
es de libre acceso
no se requiere la realización de un proceso
de registro para acceder a la información.
mayoritariamente está formada por páginas Web estáticas, es decir páginas o
archivos con una URL fija y accesibles desde otro enlace.
La Web Profunda o invisible es el término utilizado
para describir toda la información disponible en Internet que no se recupera
interrogando a los buscadores convencionales. Generalmente es información
almacenada y accesible mediante bases de datos. Parte de la información es
"invisible" a los robots de los buscadores convencionales, ya que los
resultados se generan en la contestación a una pregunta directa mediante
páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija
y que se construyen en el mismo instante (temporales) desapareciendo una vez
cerrada la consulta.
Sherman y Price
identifican cuatro tipos de contenidos invisibles en la Web:
- La Web opaca está compuesta por archivos que, si
bien podrían estar incluidos en los índices de los buscadores, no lo están por
alguno de los siguientes motivos:
Extensión
de la indización: a veces, por economía, no todas las páginas de un sitio son
indizadas en los buscadores.
Frecuencia
de la indización: los buscadores no poseen la capacidad de indizar todas las
páginas existentes; a diario se agregan y modifican muchas y la indización no
se realiza al ritmo que permita incluirlas a todas.
Número máximo de resultados visibles: aunque los motores
de búsqueda arrojan a veces un gran número de resultados, generalmente limitan
el número de documentos que se muestran (entre 200 y 1000).
URL desconectadas: las generaciones
más recientes de buscadores, presentan los documentos por relevancia basada en
el número de veces que aparecen referenciados en otros. Si un documento no
tiene un link a él, desde otro documento, será imposible que la página sea
encontrada, pues no se encuentra indizada.
- La Web privada consiste en las
páginas Web que podrían estar indizadas en los buscadores pero son excluidas
deliberadamente por alguno de estos motivos:
Las páginas están protegidas por
contraseñas.
Contienen un archivo “robots.txt” para
evitar ser indizadas.
Contienen un campo “noindex” para
evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la
página.
Este
segmento de la Web contiene, en general, documentos excluidos deliberadamente
por su falta de utilidad. Ya que son los dueños de la información que contienen,
los que deciden que no se encuentre disponible, por lo que difícilmente se
podrán encontrar mecanismos legítimos para franquear esa barrera.
- La Web propietaria incluye aquellas páginas en las
que es necesario registrarse para tener acceso al contenido, ya sea de forma
gratuita o arancelada.
- La Web realmente invisible se
compone de páginas que no pueden ser indizadas por limitaciones técnicas de los
buscadores, programas ejecutables y archivos comprimidos, páginas generadas
dinámicamente, es decir, que se generan a partir de datos que introduce el
usuario, información almacenada en bases de datos relacionales, que no puede
ser extraída a menos que se realice una petición específica.
Respecto a los recursos de búsqueda en
la Web Profunda, aunque los sitios están
desarrollados en idioma inglés, las búsquedas pueden realizarse en español,
utilizando los cuadros de texto.
The WWW Virtual Library (http://vlib.org/) se
considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee,
el creador de la web.
Academia.edu (https://www.academia.edu) es una red
social 2.0 para investigadores que cuenta con un directorio de más de 12.000
publicaciones científicas de todo el mundo, facilitando la tarea de los que
buscan artículos para sus trabajos. Lanzado en septiembre de 2008, se convirtió
en uno de los mayores sitios de redes sociales para universitarios en el año
2010. Actualmente tiene 830.000 visitantes mensuales y cuenta con más de
191.000 académicos de todo el mundo.
Reefseek.com (http://www.refseek.com/) es un motor
de búsqueda en Internet para estudiantes e investigadores que tiene como
objetivo hacer que la información académica sea de fácil acceso para todos.
Busca en más de un billón de documentos, incluyendo páginas web, libros,
enciclopedias, revistas y periódicos, intentando eliminar cualquier resultado
no relativo a ciencia e investigación.
Jurn (http://www.jurn.org) es otro motor de
búsqueda que permite buscar en millones de artículos libres académicos,
capítulos y tesis de múltiples disciplinas (Artes, Historia, Humanidades,
Negocios, Economía, Ecología, Ciencia y más).
Microsoft
Academic Search (http://academic.research.microsoft.com/) el buscador
académico de Microsoft.
TechXtra (http://techxtra.tradepub.com/) centra su
información, en ingeniería, matemáticas e informática. Es posible navegar a
través de una extensa lista de revistas gratuitas especializadas de ingeniería,
documentos técnicos, descargas y podcasts.
Ciencia (http://ciencia.science.gov/)
es la versión en español del portal Science.gov (http://www.science.gov/ ) para
la búsqueda de información científica e investigación del gobierno de los
Estados Unidos de América. Puede indexar más de 60 bases de datos y 200
millones de páginas con información científica para mostrar los resultados por
subtemas, autores o fechas. También ofrece la posibilidad de búsqueda avanzada
y búsqueda de imágenes.
Según
Lluis Codina: Debería denominarse la web "no indizable"
ya que se refiere al sector de sitios y de páginas web que no pueden indizar
los motores de búsqueda de uso público”.
