Evaluación de un Sistema de Recuperación de Información: Exhaustividad y Precisión.

Para evaluar un Sistema de Recuperación de Información es necesario tener en cuenta variables como la exhaustividad y la precisión y una vez sean tomado estas dos variables se podrá determinar si un determinado Sistema de Recuperación de Información puede llegar a cubrir una determinada necesidad de información.

Las formulas para medir estas dos variables, son:

Número de documentos relevantes recuperados

Exhaustividad =      ________________________________________________   X 100

      Número total de documentos relevantes presentes en el fondo documental

                                                       Número de documentos relevantes recuperados

Precisión =                               ______________________________________   X 100

          Número total de documentos recuperados

Ejemplo Exhaustividad: supongamos que hacemos una búsqueda de un tema X, sobre una colección de 100 documentos, y como resultado de esta búsqueda obtenemos solo 6 documentos, quiere decir que si aplicamos la formula que acabamos de ver, entonces el índice de exhaustividad es del 6%.

Ejemplo precisión: Supongamos que la búsqueda es sobre 1000 documentos, caso en el que como respuesta solo se obtuvieron 100 documentos pro únicamente 20 responden directamente a los que se solicito, es decir relevantes, entonces el índice de precisión es del 20%.

En este sentido es claro que el índice de exhaustividad proporciona una medida del sistema para recuperar documentos que puedan ser relevantes para el usuario, el índice de precisión muestra la habilidad de sistema para evitar el ruido.

Es claro que el objetivo es llevar a la construcción de un sistema que brinde 100% de exhaustividad y precisión, en otras palabras sistemas que recuperen documentos relevantes y solo los relevantes. Teóricamente esto suena muy sencillo, pero en la práctica estos dos se comportan de forma antagónica, puesto que para aumentar el nivel de exhaustividad se requiere disminuir la precisión y viceversa,  y la razón es que si se quiere asegurar la precisión del sistema se hace necesario tomar medidas para hacer mas especifica la indización, es decir su un documento trata sobre archivos, entonces tendremos que diseñar un sistema de indización que tienda a indizar el documento con el descriptor archivos, y no con el descriptor gestión documental o archivistas, archivística, etc. Y así lograremos tener un sistema preciso, aunque si alguien llegase a buscar documentos sobre archivística, dejara de recuperar documentos relevantes sobre el tema general.

En la práctica se puede observar que los buscadores más usados en internet, como Google o AltaVista, Proporcionan buenas tasas de exhaustividad y esto lo podemos comprobar fácilmente en la cantidad de resultados que se nos entregan, pero es claro que la precisión es poco, pues de los cientos y miles de resultados que obtenemos, solo unos pocos nos van a servir para satisfacer la necesidad de información. 

En cambio existen sistemas muy especializados como ADAM o Cercador, los cuales usan un sistema de indización automatizado e intelectual, pueden brindar menor exhaustividad, pues los resultados que estos ofrecen son pocos, pero es seguro que la precisión esta casi en el 100%.

Fuentes.

GOMEZ DIAZ, Raquel. La evaluación en recuperación de la información [on line]. "Hipertext.net", núm. 1, 2003. <http://www.hipertext.net> [Consulta: 01/11/10]. ISSN 1695-549.

GARCÍA GÓMEZ, Juan Carlos. Aproximación a la evaluación cuantitativa de los Sistemas de Recuperación de Información de la prensa en Internet: Exhaustividad y precisión. [on line] <ibersid.eu/ojs/index.php/scire/article/download/1145/1127>. [consulta: 01/11/2010].

ADAM. Disponible en: http://www.adam.ac.uk/. [consulta: 01/11/2010].

Relevancia – Dimensiones.

El concepto de relevancia, no solo es objeto de estudio en la recuperación de información, este también es analizado en áreas como la lógica, la filosofía, sociología, psicología y lingüística, pero es claro que el campo de acción de esta, y en el cual nos vamos a concentrar, es el relacionado con la recuperación de información.

el punto en el que nos vamos a fijar, y eso lo haremos teniendo en cuenta las diferentes concepciones que se tienen sobre la relevancia en la recuperación de información, en este sentido Mizarro plantea algunos tipos de relevancia que han sido promovidos a lo largo de la historia, teniendo para esto cuatro dimensiones de la relevancia, que son:

-          Una primera dimensión, que es formada por los recursos de información, es decir, información, documento y representación del documento.

-          Una segunda dimensión que está conformada por la representación del problema usuario: necesidad de información real, necesidad de información percibida, petición (es decir, expresada en lenguaje natural) y consulta (representación de la necesidad de información en lenguaje del sistema de recuperación de información)

-          La tercera dimensión que vamos a nombrar es que está conformada por tres elementos en cada una de las entidades descritas en las anteriores dimensiones, en primer lugar está el tema, es decir, el área temática sobre la cual el usuario desea obtener información, la tarea,  que en este caso viene siendo lo que usuario realizara con los documentos que recupere y por último el contexto, que básicamente es todo lo que no está directamente relacionado con el tema consultado, pero que de una u otra forma influye en cómo se realiza la búsqueda y en los resultados que obtendré de la misma.

-          La ultima dimensión que se mencionara es la que esta representada por el intervalo de tiempo que pasa desde que surge la necesidad de información hasta que esta es solucionada.

Las relaciones posibles entre las diferentes entidades de las cuatro dimensiones quedan reflejadas sutilmente en la grafica que mostraremos a continuacion, donde se intenta mostrar que la relevancia es un punto en un espacio de cuatro dimensiones y al mismo tiempo los tipos de relevancia que pueden existir.

Teniendo en cuenta todo esto, es preciso aclarar que todo puede llegar a complicarse cuando es necesario considerar también quien evalúa la relevancia (es decir, quien determina que es o no relevante), caso en el cual puede llegar a ser, el usuario, sistema, experto en el tema o intermediario. En este caso quien este encargado de evaluar puede limitar también los tipos de relevancia que se pueden medir o utilizar, por ejemplo, solo el usuario puede llegar a determinar que un documento es o no relevante para satisfacer su necesidad de información, para este caso Lancaster usa el termino pertinencia para definir la relación existente entre un documento y una necesidad de información basados en la decisión del usuario, mientras que usa (Lancaster) el termino relevancia para referirse a la relación entre un documento y una petición basada en el juicio subjetivo  de uno o varios individuos.

Fuente.

- Martínez Méndez, Francisco Javier. Recuperación de Información: Modelos, Sistemas y Evaluación. Ed. JMC Kiosko.  2004.< http://digitum.um.es/xmlui/handle/10201/4316>

- Recuperación de la información José Antonio Salvador Oliván



Relevancia en la RI

Creo que ya hemos hablado de esto, pero en este artículo lo detallaremos un poco más, intentando responder a la pregunta ¿Cuándo un documento es relevante?

Según la RAE  el termino relevancia significa “cualidad o condición de relevante, importancia, significación”, por otra parte el termino relevante se define como “sobresaliente, destacado, importante o significativo”, en tal sentido, se considera relevante un documento recuperado cuando el contenido de esto tiene una significación o importancia respecto a la pregunta realizada por el usuario, es decir, con la necesidad de información del usuario.

Conocer y más importante aún, entender este término, nos brinda una ayuda muy importante, puesto que al momento de determinar exactamente cuando un documento se puede considerar relevante o no, surgen muchos problemas estrechamente relacionados con la naturaleza cognitiva de este proceso.

Como se había mencionado anteriormente, un documento se puede considerar relevante o no, en función de los motivos que dan origen a la necesidad de información, o del grado de conocimiento que se posea sobre el tema al momento de hacer la pregunta, es decir, el documento que para una persona es relevante, puede no ser relevante para otra persona que tiene una necesidad de información idéntica a la del primer sujeto.

Para finalizar basta con decir que

puede resultar aventurado calificar un documento como relevante con un tema, o por el contrario, calificarlo como no relevante de igual manera. Puesto que es común encontrar documentos que en alguno de sus apartados contienen información que puede resultar relevante para el usuario, pero que en el resto de su contenido no contiene información relevante. Para algunos autores, surge entonces el concepto de “relevancia parcial”, puesto  que, la relevancia no puede medirse en términos binarios (sí/no), sino que puede adquirir muchos valores intermedios, es decir, una especie de escala de medición, (muy relevante, relevante, escasamente relevante, mínimamente relevante, etc.), lo que propicia que la relevancia pueda medirse en términos de función continua en lugar de una función binaria, la cual admite dos estados únicamente.

Fuentes:

Ontología sobre economía y recuperación de información. Disponible en: http://www.hipertext.net/web/pag259.htm. [Consultado 17 de septiembre de 2010].

Relevancia. Real Academia Española RAE. Disponible en: http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=relevancia [Consultado 17 de septiembre de 2010].

Directorio de enlaces

LA PRECISIÓN EN LA RECUPERACIÓN DE INFORMACIÓN

"En consecuencia a la búsqueda de un usuario, se puede decir que cuando se conoce la necesidad de información, Se sabe qué es lo que se está buscando"

Una de las cualidades que deben poseer las notaciones o los conceptos de un lenguaje documental, de modo de proporcionar el mayor ajuste posible con la terminología y la temática de los documentos. // 2. En Terminología, uno de los atributos más importantes que debe tener un término, para reflejar los caracteres esenciales que están presentes en su definición. // 3. En Recuperación de la Información, correspondencia entre la ecuación de búsqueda y el grado de relevancia del documento recuperado, o, dicho de otra manera, la capacidad mensurable de un sistema de almacenamiento y recuperación, de no recuperar documentos no relevantes.

Tomado de http://www.eubca.edu.uy/diccionario/letra_p.htm

Captar información – R.I

Selección manual o automática de información relevante o de interés que realizamos las personas al buscar algún tema específico. Es una selección natural de información en la que de toda la información que existe acerca de algún tema tomamos solo la que nos es de interés dependiendo de nuestra necesidad de información.

La Relevancia en la Recuperación de Información.

La relevancia es una de las propiedades más interesantes de los documentos y, por esta razón una de las más difíciles de definir,

de forma Intuitiva, se puede afirmar que un documentos es mas relevante en la medida que permita solucionar de forma eficiente una necesidad de información. Ahora bien, teniendo en cuenta esto. se evidencia que la relevancia no es una propiedad exclusiva de los documentos, sino que es una realidad, una coproducción triangular entre las características del documento, las características de la necesidad de información y las características de la persona que hace la pregunta. Es decir, la relevancia es subjetiva, en tanto que depende del criterio de quien tiene la necesidad de información para definir lo que es o no relevante, en otras palabras, "los documentos que para un usuario son relevantes, es posible que para otro usuario con la misma necesidad de información, no lo sean".

Por otro lado, la relevancia tiene grados,  puesto que un documento no se limita a ser relevante o a no serlo, sino que la relevancia de un documento (como hemos visto en el ejemplo anterior) puede situarse en cualquier punto de un continuo de entre, por ejemplo, 0 y 1, en el cual el 0 representa la ausencia total de relevancia y el 1 la relevancia absoluta. Entre esos puntos, un documento muy semejante respecto a la pregunta podría tener una relevancia del 0.8, mientras que otro menos similar podría tener un relevancia del 0.5, etc. Naturalmente nada impide utilizar escalas de 0 a 10 en lugar de 0 a 1 o de tantos por ciento para representar el grado de relevancia de cada al usuario.

lo realmente importante aquí es si diferentes documentos tienen un grado de relevancia diferente respecto a una pregunta, entonces no tiene nada sentido que se entreguen estos documentos de forma aleatoria o bajo un orden poco eficiente como por ejemplo el título o la fecha de entrada en el fondo documental o la base de datos,  en este sentido, es claro que este principio está muy claro para la mayoría de los motores de búsqueda de internet, pero aún está muy descuidado en algunos sistemas de Gestión Documental de las organizaciones.

En conclusión, lo que hacen la mayoría de los mejores Sistemas de Recuperación de Información,  es intentar determinar la forma mas eficiente posible para determinar lo que es o no relevante para un usuario que presenta una necesidad de información, es decir si la respuesta a una pregunta incluye una lista de mil documentos, y estos documentos están distribuidos de forma aleatoria, no es lógico que el usuario tenga que revisar uno a uno esos mil documentos; lo lógico y lo que se busca es que el Sistema de Recuperación de Información, le entregue únicamente los documentos relevantes para este usuario, esto tendiendo en cuenta la pregunta que formuló, es decir, su necesidad de información.

Fuentes.

OLVERA LOBO, Mª Dolores Evaluacion de sistemas de recuperacion de informacion: aproximaciones y nuevas tendencias. disponible en:http://www.elprofesionaldelainformacion.com/contenidos/1999/noviembre/evaluacion_de_sistemas_de_r

ecuperacion_de_informacion_aproximaciones_y_nuevas_tendencias.html. [consultado 15 de septiembre de 2010 ]

Criterios de relevancia en los buscadores. disponible en: http://fabianperez.blogspot.com/2008/07/criterios-de-relevancia-en-los.html. [consultado 15 de septiembre de 2010 ]

HARVEST

Software de indización, surgido a finales de 1993. Es un paquete integrado de herramientas gratuitas para recoger, extraer, organizar, buscar, y duplicar información relevante en Internet. La arquitectura de recolección de Harvest consta de varios puntos de recolección y de índices en cascada. Uno de sus componentes, denominado gatherer, se encarga de crear un fichero de términos de indización para cada servidor web. 

 Colino Tomé, Adriana. Glosario de Recuperación de Información Web. En <http://www.um.es/gtiweb/adrico/#Consulta> Septiembre de 2010.

La recuperación de Información y los Sistemas de Recuperación de información SRI

Tramullas. J, ve la recuperación de información como una serie de actividades ejecutadas por el usuario para localizar y acceder recursos informativos “pertinentes”, la pertinencia y la relevancia de información es un factor diferenciador entre las acciones de cada sistema de recuperación de información. La diferencia entre google, ask, lycos, yahoo, gigablast y otros motores de búsqueda radica en la categorización o ranking asignado a los documentos puestos por los usuarios en red, también radica en la forma en que maneje la semántica y sus ontologías estén lógicamente organizadas para arrojar resultados acordes a las estructuras mentales del usuario que busca sin que este tenga que realizar un exhaustivo proceso manual de data mining (minería de datos).

Los algoritmos empleados nos facilitan la búsqueda y recuperación pero estos deben ir acompañados de un proceso realizado por el investigador de información que parte de una necesidad informativa definida a partir de la cual hace una búsqueda y posteriormente selecciona recursos de información. La consulta a estos recursos encontrados, la evaluación y la presentación que la herramienta hace al usuario determinan el curso de acción y la satisfacción de la necesidad informativa de este, La Universidad de La Salle a través de su cátedra de recuperación de información dictada en el programa de sistemas de información y documentación ha adoptado un enfoque orientado a rellenar estos vacios en los usuarios, en los procesos y en los sistemas de recuperación de información, SRI.

Memorias de Clase ¿QUÉ ES RECUPERACION DE INFORMACIÓN?

En esta clase definiremos que es Recuperación de Información, pero antes de que se de esta definición, es necesario definir el término “Necesidad de Información”, el cual se puede definir como un vacio cognitivo, es decir, en el momento en el que no hay claridad en un determinado concepto da origen a una necesidad de Información, el problema de esto, es que es muy complejo saber cuáles son y cuántos son los conceptos que podrían solucionar esta necesidad de Información.

La necesidad de Información se puede dividir en dos:

- Necesidad de información concreta: Es una necesidad de información bien rara, pues es muy específica y fácil de solucionar y se puede intuir que documentos pueden satisfacer esa necesidad. El hecho que exista un vacio conceptual bien definido permite establecer preguntas concretas que van a solucionar esa necesidad de información, es decir, a una necesidad concreta, una respuesta concreta.

- Necesidad de información orientada al problema: no hay una frontera temática definida, y por tanto no hay una conceptualización en la búsqueda, es decir, no hay una pregunta claramente definida, por tanto no hay una respuesta acertada o que satisfaga esa necesidad de información.

Mencionado esto podemos decir que: La necesidad de información es un problema de la Gestión de Conocimiento y por tanto la Recuperación de Información es un proceso de gestión del conocimiento, es decir, un proceso para satisfacer una necesidad de información (mas allá de and, or y not), que involucra el proceso para disminuir el problema de espacio conceptual, debido a que por lo general las preguntas están orientadas a un problema. Todo esto asociado a la gestión del conocimiento.
“La RI permite pasar de un estado actual del conocimiento a un estado necesario del conocimiento”. Ingerwersen.
Por tanto y teniendo en cuenta lo anteriormente mencionado, Recuperación de Información es el proceso de comparar una pregunta contra un conjunto de índices o comparar los términos de una pregunta contra los términos de un índice que son sacados de un conjunto de documentos, en otras palabras compara términos contra términos, teniendo en cuenta la Relevancia que presentan los términos dentro de estos índices y dentro de la pregunta.

Como todo este proceso no lo puede hacer un humano es necesario un Sistema de Recuperación de Información, que involucra procesos automatizados, manejo de Sistemas de Información, Hardware y Software, y colecciones de documentos electrónicos, es decir que estos últimos estén codificados electrónicamente.

Los Sistemas de Recuperación de Información tienen como finalidad almacenar, procesar, recuperar y difundir la información. Generalmente utiliza índices y compara las preguntas y ordena los resultados de acuerdo a la Relevancia del término que se está buscando.

Los Sistemas de Recuperación de Información están enfocados a recuperar contenidos no importa el soporte en el que estos se encuentren almacenados, por ejemplo, audio, video, texto, etc.… puesto que como lo manifestó el profesor, al comienzo de este curso, “documento es cualquier cosa que contenga información” por lo menos en el ámbito electrónico.

Un Sistema de Recuperación de Información es parte de la informática que estudia la Recuperación de Información (no datos) que pertenecen a una colección de documentos (documentos recuperados) para satisfacer una necesidad de información.

Recuperación de Información desde los Sistemas de Recuperación de Información: el conjunto de tareas proceso y procedimientos automatizados mediante los cuales los usuarios localizan y acceden a recursos de información relevantes o pertinentes que ayudan a resolver una necesidad de información.

Pero ¿qué es relevante y qué pertinente?
Relevantes: Importantes.
Pertinentes: Utiles.

Una maquina tiene la capacidad de inferir que documentos pueden ser importantes o útiles, es decir, relevantes o pertinentes, aunque ahí que aclara que la utilidad de un documento es subjetiva, pues está atado a la necesidad de cada persona, es decir, que no para todo el mundo es útil o inútil determinada información.

Algunos Conceptos Sobre la Recuperación de Información.

En este artículo, básicamente, mostraremos algunos conceptos que se han dado sobre la Recuperación de Información, se hará un análisis muy somero de los mismos con el fin de comprobar si existe una única definición de este término y saber si este ha variado desde la vez que fue formulado por Calvin N. Moors. Adicionalmente se buscara la identificación de aquellas variables que intervienen en este campo y finalmente desenmarañar las relaciones que existen entre la Recuperación de Información y otras disciplinas. Vale la pena aclarar que muchos de los términos acá mostrados provienen originalmente de lo que muchos llamaron “Information Retrieval”, la cual ha sido la base para la construcción del término Recuperación de Información, tal como lo mencionamos en un artículo pasado.

El primer concepto que deseamos presentar, y no quiere decir esto que sea más o menos importante que los demás, es el que da Peter Ingwersen, para quien la Recuperación de Información está relacionada con los procesos asociados a la representación, almacenamiento, búsqueda e identificación de información relevante para la necesidad de información de un usuario humano.

Por otra parte Van Rijsbergen, dice que “la Recuperación de Información está relacionada con la recuperación de aquellos documentos que sean probablemente relevantes para la necesidad de información del usuario expresada en una petición”. En su libro el destaca tres principales puntos de investigación en Recuperación de Información: Análisis de Contenido, Estructuras de Información y evaluación.

Para Charles Meadow, es un proceso de comunicación. Es el medio por el cual los usuarios de un sistema o servicio de información tienen la posibilidad de recuperar o encontrar los documentos, registros, imágenes, o registros de sonido que satisfagan sus necesidades o intereses. Más adelante este mismo autor continua afirmando que la Recuperación de Información implica encontrar información deseada en un gran banco de información o base de datos. Este proceso de buscar información en una Base de Datos, básicamente arranca desde dos puntos distintos, uno es el usuario que presenta una necesidad de información, y otro en la persona u organización que decide recoger, organizar y almacenar la información para que posteriormente sea buscada y recuperada.

Para Frederick W. Lancaster, la Recuperación de Información, tal como la podemos ver hoy día, es para el sinónimo de búsqueda de literatura; es decir, es buscar en una colección de documentos, para identificar aquellos que tratan sobre un cierto de tema, o más específicamente, que traten sobre el tema del termino de búsqueda que se ingreso. Posteriormente este mismo autor dice que la Recuperación de Información Convencional, es la búsqueda en línea, es decir haciendo uso de una conexión a internet, de datos electrónicos, haciendo este proceso de forma interactiva y en tiempo real. Por lo general esto significa, por una parte, que el usuario construye una estrategia de búsqueda, en la cual hace uso de términos con distintas relaciones lógicas y que, por otra parte, el programa divide la base de datos en dos conjuntos: elementos recuperados y elementos no recuperados, teniendo en cuenta en este caso que se puede considerar que un sistema avanzado viene siendo el que se desvía de esta norma y que permite plantear el termino o la petición de búsqueda de una forma diferente a la booleana y que arroga como resultado un producto poco convencional, como por ejemplo que los resultados aparezcan ordenados teniendo en cuenta su relevancia o que no sea referencias bibliográficas.

Karen Sparck Jones y Peter Willet, señalan que la Recuperación Información puede llegar a ser considerada como sinónimo de Recuperación de Documentos, y actualmente como Recuperación de texto, y esto implica dos actividades que están relacionadas, pero son diferentes: indización, que se refiere a la representación de los documentos y de la petición de información, y búsqueda.

Por otra parte, Stephen Harter nos da una visión muy diferente y más restringida de la Recuperación de Información, al tener en cuenta solamente a los Sistemas de Recuperación de Información Online accesibles públicamente, y así, la Recuperación de Información Online, es un proceso en el cual un ser humano que hace uso de un terminal informático para interactuar con un servicio de búsqueda, en un intento de satisfacer una Necesidad de Información.

Por último, Robert R. Morfare indica que Almacenamiento y Recuperación de Información son dos caras de la misma moneda, pues si una persona desea buscar información, es necesario que esa información haya sido almacenada de alguna manera, y termina diciendo que buscar en una colección de documentos puede ser más fácil o más complicado dependiendo de cómo se haya organizado la información.

Del análisis de estos conceptos y luego de hacer una revisión bibliográfica que permitiera entender más a fondo los mismos, se han sacado las siguientes conclusiones:

• En la bibliografía consultada no existe una definición clara sobre el término Information Retrieval.

• Sobre la Recuperación de Información y lo que esta abarca no hay un único concepto sobre el significado. Todos los conceptos acá mencionados están basados en sus caractecteristicas funcionales o estructurales.

• Existe una coincidencia total en que el objetivo de la Recuperación de Información es proporcionar información relevante al usuario para satisfacer su Necesidad de Información.

• En esto es posible encontrar dos corrientes o tendencias que se pueden considerar representativas del pensamiento de los diferentes estudiosos de este campo: por una parte, aquellos que consideran la Recuperación de Información como un proceso de búsqueda y los que la consideran en un contexto más amplio, es decir que este incluye tanto la búsqueda como representación y almacenamiento de la Información.

Fuentes.

RODRÍGUEZ PEROJO, Keilyn. RONDA LEÓN, Rodrigo. Organización y Recuperación de Información: Un enfoque desde la perspectiva de automatización. 2007. Disponible en:http://site.ebrary.com/lib/bibliounisallesp/docDetail.action?docID=10179567&p00=peter%20ingwersen.

SALVADOR OLIVAN, Jose A. ARQUERO, Rosario. Una aproximación al concepto de recuperación de Información en el Marco de la Ciencia de la Documentación. Disponible en: http://www.ejournal.unam.mx/ibi/vol20-41/IBI002004101.pdf.

RODRÍGUEZ PEROJO , Keilyn y RONDA LEÓN Rodrigo. Organización y recuperación de la información: un enfoque desde la perspectiva de la automatización. Disponible en: http://bvs.sld.cu/revistas/aci/vol14_1_06/aci04106.htm.

PINTO MOLINA, Maria. Búsqueda y Recuperación de Información. Disponible en: http://www.mariapinto.es/e-coms/recu_infor.htm

Indización y recuperación por materias en los opacs de las bibliotecas españolas: ¿dos décadas de evaluación?. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2006/marzo/2.pdf