HABLEMOS
SOBRE LA WEB SUPERFICIAL Y LA WEB PROFUNDA
Los buscadores tradicionales sólo ofrecen acceso a una
pequeña parte de lo que existe online, lo que se ha comenzado a llamar la Web
superficial o visible. La Web profunda o invisible, es un amplio banco de
información ubicado en catálogos, revistas digitales, blogs, entradas a
diccionarios y contenido de sitios que demandan un login (aunque sea gratuito)
y otros tipos de contenido que no aparecen entre los resultados de una búsqueda
convencional.
LA WEB SUPERFICIAL
- Su información no está contenida en bases de
datos
- Es de libre acceso
- No se requiere la realización de un proceso de
registro para acceder a la información.
- Mayoritariamente está formada por páginas Web
estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro
enlace.
LA WEB PROFUNDA
Web invisible es el término utilizado para
describir toda la información disponible en Internet que no se recupera
interrogando a los buscadores convencionales. Generalmente es información
almacenada y accesible mediante bases de datos. Parte de la información es
"invisible" a los robots de los buscadores convencionales, ya que los
resultados se generan en la contestación a una pregunta directa mediante
páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija
y que se construyen en el mismo instante (temporales) desapareciendo una vez
cerrada la consulta.
- La Web opaca está compuesta por
archivos que, si bien podrían estar incluidos en los índices de los buscadores,
no lo están por alguno de los siguientes motivos:
- Extensión de la indización: a veces, por economía,
no todas las páginas de un sitio son indizadas en los buscadores.
- Frecuencia de la indización: los buscadores no
poseen la capacidad de indizar todas las páginas existentes; a diario se
agregan y modifican muchas y la indización no se realiza al ritmo que permita
incluirlas a todas.
- Número máximo de resultados visibles: aunque los
motores de búsqueda arrojan a veces un gran número de resultados, generalmente
limitan el número de documentos que se muestran (entre 200 y 1000).
- URL desconectadas: las generaciones más
recientes de buscadores, presentan los documentos por relevancia basada en el
número de veces que aparecen referenciados en otros. Si un documento no tiene
un link a él, desde otro documento, será imposible que la página sea encontrada,
pues no se encuentra indizada.
La Web privada consiste en las páginas Web que
podrían estar indizadas en los buscadores pero son excluidas deliberadamente
por alguno de estos motivos:
- Las páginas están protegidas por
contraseñas.
- Contienen un archivo “robots.txt” para evitar
ser indizadas.
- Contienen un campo “noindex” para evitar que el
buscador pueda indizar la parte correspondiente al cuerpo de la página.
La Web propietaria incluye aquellas páginas en las
que es necesario registrarse para tener acceso al contenido, ya sea de forma
gratuita o arancelada.
La Web realmente invisible se compone de páginas
que no pueden ser indizadas por limitaciones técnicas de los buscadores,
programas ejecutables y archivos comprimidos, páginas generadas dinámicamente,
es decir, que se generan a partir de datos que introduce el usuario,
información almacenada en bases de datos relacionales, que no puede ser
extraída a menos que se realice una petición específica.
Ejemplos de recursos de búsqueda en la Web Profunda:
