LA IMAGEN TOMA LA PALABRA: CONSTRUCCIÓN DE UN VOCABULARIO VISUAL

Abstract

[EN] Conflict between writing and image is ancient. At present, there are many evidences that a return to the image is needed. To find analogies between language and visual information is important. If it has been possible to decompose language in elements and structures, why not with images? The opportunity offered by digital image to describe lines and shapes in mathematical terms provides us the ability to decipher the problem of meaning contained in image. The objective of our research is to develop a series of computer vision programs to search for analogies in large datasets—in this case, collections of images of abstract paintings— based solely on their visual content without textual annotation. We have programmed an algorithm based on a specific model of image description used in computer vision. This approach involves placing a regular grid over the image and selecting a pixel region around each node. Dense features computed over this regular grid with overlapping patches are used to represent the images. Analysing the distances between the whole set of image descriptors we are able to group them according to their similarity and each resulting group will determines what we call “visual words”. Considering the whole collection of images, the total collection of “visual words” will define his “visual vocabulary”. This model is called Bag-of-Words representation of an image because does not contain information concerning the spatial relationships among the visual words which make it up. Given the frequency with which each visual word occurs in each image, we apply the method pLSA (Probabilistic Latent Semantic Analysis), a statistical model that classifies fully automatically, without any textual annotation, images according to their formal patterns. In this way, the researchers hope to develop a tool both for producing and analysing works of art.

[ES] Es secular la pugna entre escritura e imagen. En la actualidad existen numerosos indicios de que es necesario un retorno hacia la imagen: es importante encontrar analogías con el lenguaje que puedan aplicarse a la información visual. Si ha sido posible descomponer el lenguaje en elementos y estructuras ¿sería posible hacerlo también con las imágenes? La imagen digital nos brinda la oportunidad de describir las formas en términos matemáticos y así pone a nuestro alcance la posibilidad de descifrar el problema del significado contenido en la imagen. Nuestra investigación propone la búsqueda de analogías formales en grandes colecciones de imágenes de obras de artista abstractas, basada únicamente en su contenido visual y sin poyo de anotación textual alguna. Se ha programado un algoritmo de descripción de imágenes utilizado en visión artificial cuyo enfoque consiste en colocar una malla regular de puntos de interés en la imagen y seleccionar alrededor de cada uno de sus nodos una región de píxeles para la que se calcula un descriptor que tiene en cuenta los gradientes de grises encontrados. Los descriptores de toda la colección de imágenes se pueden agrupar en función de su similitud y cada grupo resultante pasará a determinar lo que llamamos. El total de “palabras visuales” de la colección de imágenes genera un vocabulario visual. El método se denomina Bag-of-Words (bolsa de palabras) porque representa una imagen como una colección desordenada de características visuales locales. Teniendo en cuenta la frecuencia con que cada “palabra visual” ocurre en cada imagen, aplicamos el pLSA (Probabilistic Latent Semantic Analysis), un modelo estadístico que clasificará de forma totalmente automática las imágenes según su categoría formal.