Consulta de imágenes mediante ejemplo

Esquema general content-based image retrieval (CBIR)

La Consulta de imágenes mediante ejemplo (Content-based Image Retrieval) es un sistema de búsqueda para recuperar imágenes basándose en su contenido, refiriéndose en su contexto a colores,figuras , texturas o cualquier otra información que pueda derivarse de la propia imagen.

CBIR está basado en los sistemas de consulta mediante ejemplo (Query by Example) y también son conocidos como QBIC, ya que es la tecnología más utilizada hoy en día para la búsqueda de imágenes en grandes bases de datos.

Historia

Los sistemas CBIR surgieron a comienzos de la década de los ’90 para solucionar los problemas de la indexación manual, que consistente en la asociación de términos a las imágenes. Estos problemas eran, y siguen siendo, una gran inversión en tiempo debido a la inconsistencia entre indicadores humanos, así como la dificultad de expresar mediante palabras las cualidades gráficas y las sensaciones estéticas que proporciona la percepción de una representación visual.

El uso de búsquedas automáticas a través de un conjunto de imágenes sobre su base de forma, tono, color, textura o ubicación espacial ha sido durante largo tiempo y sigue siendo un área de investigación floreciente, donde cada año, aparecen documentos en foros científicos y técnicos.

Progreso técnico

Hay un creciente interés en CBIR debido a las limitaciones inherentes a los sistemas basados en metadatos, así como la amplia gama de posibles usos para la recuperación de la imagen de forma eficiente. La información textual acerca de las imágenes puede ser buscado fácilmente utilizando la tecnología existente, pero requiere de personal para describir cada imagen en la base de datos. Esto es poco práctico para bases de datos muy grandes, o para imágenes que se generan de forma automática, por ejemplo, de las cámaras de vigilancia. También es posible perder imágenes que utilizan sinónimos diferentes en sus descripciones. Los sistemas basados en la clasificación de las imágenes de forma semántica, como "gato" como una subclase de "animales" evitan este problema, pero todavía se enfrentan a los problemas a gran escala.

Las características visuales más extensamente manejadas por estos sistemas se refieren al Color, Textura, y Formas genéricas, aunque en ocasiones también se trabaja con la posición espacial de un determinado objeto en una imagen o las diferencias tonales. Dichos atributos se extraen y se representan automáticamente a través de estructuras de datos numéricas, de modo que no necesitamos expresar nuestra búsqueda mediante términos sino empleando, por ejemplo, paletas de colores, dibujando o seleccionando imágenes a partir de las cuales el sistema devolverá otras visualmente similares. No obstante, los sistemas CBIR de carácter mixto suelen combinar estas opciones de consulta también con la tradicional expresión lingüística de lo que buscamos.

Sistemas de software CBIR y técnicas

Muchos son los sistemas CBIR desarrollados, pero el problema de la recuperación de las imágenes en base al contenido de sus píxeles sigue, en gran medida, sin resolver.

Técnicas de consulta

Distintas implementaciones de CBIR hacen uso de diferentes tipos de consultas de los usuarios.

Consulta por ejemplo

La consulta por ejemplo (Query by example) es una técnica de consulta que implica dotar al sistema CBIR con una imagen de ejemplo, donde ésta servirá para realizar la búsqueda. Los algoritmos de búsqueda subyacente pueden variar dependiendo de la aplicación, pero las imágenes resultado comparten elementos comunes con el ejemplo proporcionado.

Las opciones para proporcionar imágenes de ejemplo al sistema incluyen:

• Una imagen preexistente puede ser suministrada por el usuario, o bien escoger un conjunto aleatorio.
• El usuario dibuja una aproximación de la imagen que está buscando, por ejemplo, con manchas de color o formas generales.

Esta técnica de consulta elimina las dificultades que pueden surgir cuando se trata de describir las imágenes con las palabras.

(Véase también Sistemas de consulta por ejemplo)

Recuperación semántica

El sistema CBIR ideal, desde la perspectiva del usuario, implicaría lo que se conoce como recuperación semántica, donde el usuario hace una petición como "encontrar fotos de perros" o incluso "encontrar fotos de Abraham Lincoln". Este tipo de composición abierta, es una tarea tediosa para ser llevado a cabo por los ordenadores. Los sistemas CBIR actuales, generalmente, hacen uso de funciones de menor nivel como la textura, color y forma, aunque algunos sistemas se aprovechen de características comunes de alto nivel como pueden ser las caras (véase el sistema de reconocimiento facial).

Por otro lado, no todos los sistemas CBIR son genéricos. Algunos sistemas están diseñados para un dominio específico, por ejemplo, la búsqueda por forma se puede utilizar para encontrar las piezas dentro de una base de datos de CAD-CAM.

Otros métodos de consulta

Otros métodos de consulta incluyen la navegación por imágenes de ejemplo, navegación personalizada o categorías jerárquicas, consulta por regiones de la imagen (en lugar de toda la imagen), por múltiples imágenes de ejemplo, por esbozo, consulta directa por especificación de las características de la imagen y las consultas multimodal (por ejemplo, la combinación de tacto, voz, etc.).

Los sistemas CBIR también pueden hacer uso de la retroalimentación pertinente, donde el usuario refina progresivamente los resultados de búsqueda mediante el marcado de las imágenes en los resultados como "relevante", "no relevante" o "neutral" a la consulta de búsqueda, luego repetir la búsqueda con la nueva información.

Técnicas de comparación de contenido

Color

La recuperación de imágenes basada en la similitud de color se consigue mediante el cálculo de un histograma de color para cada imagen que identifica la proporción de píxeles de una imagen que contienen valores específicos en este caso, colores. Las investigaciones actuales están tratando de dividir segmentos de color por región y por la relación espacial entre dos regiones de colores diferentes.

Examinar imágenes basándose en los colores que contienen es una de las técnicas más ampliamente usadas porque no depende del tamaño de la imagen o de su orientación. La búsqueda basada en el color se ejecuta comúnmente comparando los histogramas de color de las imágenes.

Textura

La medida de las texturas busca patrones visuales en las imágenes y trata de encontrar la manera en que se define el espacio. La textura se representa mediante texels que luego se colocan en una serie de conjuntos dependiendo en cuantas texturas se han detectado en la imagen. Estos conjuntos no sólo definen las texturas, sino también cuándo en esa imagen (en qué punto) se encuentra esa textura.

Formas

La forma no se refiere a la forma de una imagen sino a la forma de una región en particular. Las formas a menudo se determinan aplicando primero segmentación o detección de bordes a la imagen. En algunos casos, una detección precisa de las formas requiere intervención humana porque los métodos tales como la segmentación son muy difíciles como para automatizarlos completamente.

Determinación de la relevancia de las imágenes

Para la determinación de la relevancia de las imágenes los sistemas CBIR constan de:

• Funciones de similitud entre imágenes:

• La distancia euclidiana sobre características normalizadas
• La distancia de intersección, diferencia entre histogramas
• La distancia de Mahalanobis, Haussdorff, Minkowski, etc.

• Ponderación de la influencia de los distintos tipos de características. Los sistemas CBIR constan de una base de datos de características que pueda tener una imagen.
• Interpretación semántica de las imágenes, este punto requiere la interacción del usuario, y con ello que éste conozca el funcionamiento del sistema.

Aplicaciones

• Bancos de imágenes en museos (cuadros, esculturas, etc), ya que mediante la búsqueda de las formas, podemos encontrar la imagen de una obra de arte. Este tipo de consulta ya está disponible en algunos web sites como por ejemplo, el del State Hermitage Museum en St. Petersburgo [1]. Sin embargo, hay que decir que el reto de la utilización de estas técnicas en el contexto de la historia del arte y la investigación arqueológica presenta lo que las personas que trabajan en el campo han llamado la "brecha semántica". Se trata de la búsqueda de características definibles y actualmente la imposible tarea de la automatización de la búsqueda de lo esencial en el arte, es decir, la emoción, la personalidad, la ironía y un número de otros estados o modos de interpretación ampliamente representados en todo el ámbito del arte.
• Registro de imágenes médicas (radiografías, ecografías, mamografías, etc.). Disponiendo de una imagen de un paciente con una determinada patología, se puede acceder a un registro de imágenes de otros casos dados en otros pacientes, para encontrar, mediante el contenido visual, la imagen de la misma patología en un paciente distinto y consultar qué tipo de tratamiento puede resultar más eficaz. Hay que tener en cuenta en estos casos la precisión y la calidad que han de tener estas imágenes, ya que cuentan con un gran contenido visual, de color y por lo tanto requieren un gran espacio en la base de datos. Este tipo de sistemas, necesitan una gran precisión y un muy bajo porcentaje de error. Ejemplos de bases de datos de imágenes médicas en IRMA (Image Retrieval in Medical Applications)
• Registro de imágenes policiales. Es algo que hemos visto muchas veces en el cine o en la televisión. Mediante los sistemas de consulta de imágenes por contenidos se puede encontrar la fotografía de un sospechoso dentro de los archivos policiales y así consultar sus datos personales. En estos casos se utiliza la detección de rasgos faciales, ojos nariz y boca, para realizar la búsqueda más eficientemente. También se utiliza para encontrar huellas dactilares entre un registro de éstas, pertenecientes a sospechosos fichados por la policía.

• Otras aplicaciones CBIR:

• Militar
• Propiedad intelectual
• Diseños arquitectónicos y de ingeniería
• Información geográfica y sistemas de teledetección

Véase también

• Búsqueda inversa de imágenes
• Buscador visual

Referencias

• “Interfaz Gráfica de Usuario para la búsqueda de Imágenes basada en Imágenes“, Silvia Cortés Yuste, Universitat Politécnica de Catalunya [2] (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).

• “Base de Dades Fotogràfica del Museu de Badalona”, Roger Cervantes Guillamat, Universitat Politécnica de Catalunya. [3]

• “Base de Dades Fotogràfica del Museu de Badalona”, Roger Trias Comas, Universitat Politécnica de Catalunya. [4]

• “Feature Integration, Multi-image Queries and Relevance Feedback in Image Retrieval”, Qasim Iqbal y J. K. Aggarwal. [5]

• “Searching for images by similarity online”, Jacsó, P. [6]

• “¿Cómo atopa-la imaxe desexada?”, Dra. Eva Cernadas, Universidade de Vigo Escola Superior de Enxeñería Informática. [7]

• “Recuperación de Imágenes Médicas por contenido: arquitectura, técnicas y aproximaciones”, Juan Carlos Caicedo Rueda. [8] Archivado el 30 de mayo de 2009 en Wayback Machine.

• “CBIR: Interaction & Evaluation”, Georgy Gimel , University of Auckand. [9]

• “Bases de datos para Multimedia: Recuperación por Contenido”, Manuel Agustí i Melchor, Jose Miguel Valiente González, Universidad Politécnica de Valencia. [10]