Evaluación de un Sistema de Recuperación de Información: Exhaustividad y Precisión.

Para evaluar un Sistema de Recuperación de Información es necesario tener en cuenta variables como la exhaustividad y la precisión y una vez sean tomado estas dos variables se podrá determinar si un determinado Sistema de Recuperación de Información puede llegar a cubrir una determinada necesidad de información.

Las formulas para medir estas dos variables, son:

Número de documentos relevantes recuperados

Exhaustividad =      ________________________________________________   X 100

      Número total de documentos relevantes presentes en el fondo documental

                                                       Número de documentos relevantes recuperados

Precisión =                               ______________________________________   X 100

          Número total de documentos recuperados

Ejemplo Exhaustividad: supongamos que hacemos una búsqueda de un tema X, sobre una colección de 100 documentos, y como resultado de esta búsqueda obtenemos solo 6 documentos, quiere decir que si aplicamos la formula que acabamos de ver, entonces el índice de exhaustividad es del 6%.

Ejemplo precisión: Supongamos que la búsqueda es sobre 1000 documentos, caso en el que como respuesta solo se obtuvieron 100 documentos pro únicamente 20 responden directamente a los que se solicito, es decir relevantes, entonces el índice de precisión es del 20%.

En este sentido es claro que el índice de exhaustividad proporciona una medida del sistema para recuperar documentos que puedan ser relevantes para el usuario, el índice de precisión muestra la habilidad de sistema para evitar el ruido.

Es claro que el objetivo es llevar a la construcción de un sistema que brinde 100% de exhaustividad y precisión, en otras palabras sistemas que recuperen documentos relevantes y solo los relevantes. Teóricamente esto suena muy sencillo, pero en la práctica estos dos se comportan de forma antagónica, puesto que para aumentar el nivel de exhaustividad se requiere disminuir la precisión y viceversa,  y la razón es que si se quiere asegurar la precisión del sistema se hace necesario tomar medidas para hacer mas especifica la indización, es decir su un documento trata sobre archivos, entonces tendremos que diseñar un sistema de indización que tienda a indizar el documento con el descriptor archivos, y no con el descriptor gestión documental o archivistas, archivística, etc. Y así lograremos tener un sistema preciso, aunque si alguien llegase a buscar documentos sobre archivística, dejara de recuperar documentos relevantes sobre el tema general.

En la práctica se puede observar que los buscadores más usados en internet, como Google o AltaVista, Proporcionan buenas tasas de exhaustividad y esto lo podemos comprobar fácilmente en la cantidad de resultados que se nos entregan, pero es claro que la precisión es poco, pues de los cientos y miles de resultados que obtenemos, solo unos pocos nos van a servir para satisfacer la necesidad de información. 

En cambio existen sistemas muy especializados como ADAM o Cercador, los cuales usan un sistema de indización automatizado e intelectual, pueden brindar menor exhaustividad, pues los resultados que estos ofrecen son pocos, pero es seguro que la precisión esta casi en el 100%.

Fuentes.

GOMEZ DIAZ, Raquel. La evaluación en recuperación de la información [on line]. "Hipertext.net", núm. 1, 2003. <http://www.hipertext.net> [Consulta: 01/11/10]. ISSN 1695-549.

GARCÍA GÓMEZ, Juan Carlos. Aproximación a la evaluación cuantitativa de los Sistemas de Recuperación de Información de la prensa en Internet: Exhaustividad y precisión. [on line] <ibersid.eu/ojs/index.php/scire/article/download/1145/1127>. [consulta: 01/11/2010].

ADAM. Disponible en: http://www.adam.ac.uk/. [consulta: 01/11/2010].