Generación de imagen sintética en tiempo real basada en muestras de sonido digitalizado en el campo del arte digital

Abstract

[EN] The present research is framed within the field of sound visualization, which within the context of fine art examines the synthesis between image and sound, the physical and graphical representations of sound and its evolution in contemporary art. When sound is structured with an artistic purpose, as in music, in addition to physical or psycho-acoustic properties such as intensity and frequency, we perceive aesthetic and conceptual qualities. In this case, a visual interpretation should at least gather some of those physical, aesthetic and conceptual qualities, whilst the merger process should allow for innovative ideas. In this context, the research focuses on real-time image production drawn from the sound; proposing a sound visualization method based on numerical samples obtained as a result of digitisation. This method is designed for an environment in which music and image production are developed in real time, and are perceived jointly, being suitable for audiovisual live events. If we consider that a digitised sound is nothing but a set of numbers arranged in time, called samples, and an image is nothing more than a collection of numbers arranged in space, so-called pixeles, the method we propose takes the numerical values of the sound samples and then spatially locates them to create the pixels of an image. Over time it will generate a sequence of images. Depending on the employed strategy of the spatial placement of the samples, the number of samples (past and present) and the number of sound sources to be embedded, we obtain different families of visualization algorithms with their own aesthetic properties. The objective of our display method is to uncover visual interpretations that developing in real time allow to collect part of the physical, aesthetic and conceptual properties of sound, under the hypothesis that the internal structure of the sound signal contains perceptual properties that are independent of the sensory channel. In order to achieve this objective and seeking to corroborate the hypothesis, we have developed software to create images from sound samples and we have analyzed the results in the field of digital art. The proposed display method is based on the fact that from the data-processing point of view sound and moving images are sequences of numbers and therefore we simply suggest creating the images in accordance with the numbers of the sound. Through the design of case studies we have experimented with different sound compositions and with different strategies of spatial placement of the sound samples. After the analysis we have been able to conclude that even under the conditions of a very simple algorithms placement a close correlation between sound and image can be appreciated. When the sound lines divide into colour channels or images, the instruments can be clearly seen. The more periodical is the sound the more structured and organized is the resulting image, even with placement algorithms that do not strictly maintain the sequential order of the sound samples. In general, the aesthetic result can be framed within the context of abstract art, confirming the essentially abstract nature of sound. Future work will consider the possibility of expanding the subject of algorithms of spatial location, providing them with artificial intelligence, as well as of the further study of hybridization of these algorithms, the possibility of incorporating transformed maths based on the frequency domain and the extension of the investigation into more general data visualization.

[ES] Este trabajo de investigación se enmarca dentro del campo de la visualización del sonido, que en el contexto del arte explora la síntesis entre imagen y sonido, las representaciones físicas y gráficas del sonido y su evolución en el arte contemporáneo. Cuando el sonido se estructura con una finalidad artística, como en la música, además de las propiedades físicas o psicoacústicas, como intensidad y frecuencia, percibimos cualidades estéticas y conceptuales. Una interpretación visual en este caso debería al menos recoger parte de esas cualidades físicas, estéticas y conceptuales y aportar nuevas ideas obtenidas de su fusión. En este contexto, la investigación la hemos centrado en la generación en tiempo real de imagen a partir del sonido; proponiendo un método de visualización de sonido basado en las muestras numéricas, obtenidas como resultado de su digitalización. Este método está ideado para un entorno en el que la música y la generación de imágenes se desarrollan en tiempo real, y se perciben de forma conjunta, siendo adecuado para eventos audiovisuales en directo. Si tenemos en cuenta que un sonido digitalizado no es más que un conjunto de números ordenados en el tiempo, denominados muestras y una imagen no es más que un conjunto de números ordenados en el espacio, denominados pixeles, el método que proponemos toma las muestras de sonido y las ubica espacialmente generando los pixeles de la imagen. Con el paso del tiempo se irá construyendo una secuencia de imágenes. En función de la estrategia de ubicación espacial de muestras, el número de muestras (presentes y pasadas) y el número de fuentes sonoras a incorporar, obtenemos diferentes familias de algoritmos de visualización con características estéticas propias. El objetivo que perseguimos con el método de visualización es encontrar interpretaciones visuales, generadas en tiempo real, que recojan parte de las propiedades físicas, estéticas y conceptuales del sonido, bajo la hipótesis que la estructura interna de la señal sonora contiene propiedades perceptuales independientes del canal sensorial. Para alcanzar este objetivo y corroborar la hipótesis, hemos desarrollado una aplicación informática para generar las imágenes a partir de las muestras del sonido y hemos analizado los resultados dentro del campo del arte digital. El método de visualización propuesto se fundamenta en el hecho que desde el punto de vista informático el sonido y la imagen en movimiento son secuencias de números y simplemente lo que planteamos es construir las imágenes en función de los números del sonido. A través del diseño de unos casos de estudio, hemos experimentado con diferentes composiciones sonoras y con diferentes estrategias de ubicación espacial de las muestras de sonido. Del análisis efectuado hemos concluido que incluso con algoritmos de ubicación muy sencillos se aprecia la estrecha correlación que se produce entre el sonido y la imagen. Cuando se dividen las líneas de sonido en canales de color o en imágenes, se ven claramente los instrumentos. Cuanto más periódico es el sonido más estructurada y ordenada es la imagen resultante, incluso con algoritmos de ubicación que no mantienen estrictamente el orden secuencial de las muestras de sonido. En general el resultado estético lo podemos enmarcar en la corriente de arte abstracto, corroborando la naturaleza esencialmente abstracta del sonido. Como futuros trabajos se plantea profundizar más en los algoritmos de ubicación espacial, dotándolos de inteligencia artificial, en la hibridación de dichos algoritmos, en la posibilidad de incorporar transformadas matemáticas basadas en el dominio de la frecuencia, y en la extensión de la investigación a un ámbito más general de visualización de datos.

[CA] Aquest treball de recerca s'emmarca dins el camp de la visualització del so, que en el context de l'art explora la síntesi entre imatge i so, les representacions físiques i gràfiques del so i la seua evolució en l'art contemporani. Quan el so s'estructura amb una finalitat artística, com en la música, a més de les propietats físiques o psicoacústiques, com intensitat i freqüència, percebem qualitats estètiques i conceptuals. Una interpretació visual en aquest cas hauria almenys de recollir part d'aquestes qualitats físiques, estètiques i conceptuals i aportar noves idees obtingudes de la seua fusió. En aquest context, la investigació l'hem centrat en la generació en temps real d'imatge a partir del so; proposant un mètode de visualització de so basat en les mostres numèriques, obtingudes com a resultat de la seua digitalització. Aquest mètode està ideat per a un entorn en què la música i la generació d'imatges es desenvolupen en temps real, i es perceben de forma conjunta, sent adequat per a esdeveniments audiovisuals en directe. Si tenim en compte que un so digitalitzat no és més que un conjunt de nombres ordenats en el temps, denominats mostres i una imatge no és més que un conjunt de nombres ordenats en l'espai, anomenats píxels, el mètode que proposem pren les mostres de so i les situa espacialment generant els píxels de la imatge. Amb el pas del temps s'anirà construint una seqüència d'imatges. En funció de l'estratègia d'ubicació espacial de mostres, el nombre de mostres (presents i passades) i el nombre de fonts sonores a incorporar, obtenim diferents famílies d'algorismes de visualització amb característiques estètiques pròpies. L'objectiu que perseguim amb el mètode de visualització és trobar interpretacions visuals, generades en temps real, que recullin part de les propietats físiques, estètiques i conceptuals del so, sota la hipòtesi que l'estructura interna del senyal sonor conté propietats perceptuals independents del canal sensorial . Per assolir aquest objectiu i corroborar la hipòtesi, hem desenvolupat una aplicació informàtica per a generar les imatges a partir de les mostres del so i hem analitzat els resultats dins el camp de l'art digital. El mètode de visualització proposat es fonamenta en el fet que des del punt de vista informàtic el so i la imatge en moviment són seqüències de nombres i simplement el que plantegem és construir les imatges en funció dels números del so. A través del disseny d'uns casos d'estudi, hem experimentat amb diferents composicions sonores i amb diferents estratègies d'ubicació espacial de les mostres de so. De l'anàlisi efectuada hem conclòs que fins i tot amb algoritmes d'ubicació molt senzills s'aprecia l'estreta correlació que es produeix entre el so i la imatge. Quan es divideixen les línies de so en canals de color o en imatges, es veuen clarament els instruments a través de les imatges. Com més periòdic és el so més estructurada i ordenada és la imatge resultant, fins i tot amb algoritmes d'ubicació que mantenen estrictament l'ordre seqüencial de les mostres de so. En general el resultat estètic el podem emmarcar en el corrent d'art abstracte, corroborant la naturalesa essencialment abstracta del so. Com a futurs treballs es planteja aprofundir més en els algoritmes d'ubicació espacial, dotant-los d'intel·ligència artificial, en la hibridació d'aquests algoritmes, en la possibilitat d'incorporar transformades matemàtiques basades en el domini de la freqüència, i en l'extensió de la investigació a un àmbit més general de visualització de dades.