El presente proyecto se ubica en un contexto de trabajo en común con el artista visual Darío Alva, en desarrollo desde el año 2017 con proyectos multimedia y audiovisuales como Still Lost I Guess, Here's A Tunnel para el canal multimedia americano Adult Swim y el show audiovisual, y disco homónimo Vessels para el festival MiRA en 2017. En 2020 los artistas son contactados por Ali A. Maderuelo y Julia Castelló, comisarios para el Instituto Valenciano de Arte Moderno (IVAM), para pasar a formar parte de la primera edición del programa de investigación y desarrollo artístico Art i Context, con el objetivo de desarrollar un cuerpo teórico y su correspondiente ejecución artística colaborativa. Durante las conversaciones iniciales, se decide centrar el proyecto en dos conceptos. Por un lado, el desarrollo de entornos virtuales y su ejecución audiovisual a través de recursos tecnológicos contemporáneos. Por otro lado, el acercamiento a formas de vida prehistóricas y el concepto de la evolución especulativa o Spec Evo. Ambos conceptos son continuaciones naturales de las líneas exploradas por ambos artistas dentro del show audiovisual Vessels en 2017.

Los objetivos del proyecto se dividen en dos fases: por un lado, una primera fase de investigación y divulgación en la que los artistas proponen y desarrollan una serie de actividades abiertas al público con el objetivo de exponer los frutos de la investigación en desarrollo y de invitar a la interacción de este con las ideas del proyecto; por otro, una segunda fase de ejecución artística basada en los conceptos explorados en esta primera fase, que toma la forma final de una instalación multimedia cuyos objetivos son la creación de una experiencia inmersiva para el visitante. La hipótesis que el proyecto expositivo trata de confirmar se divide en tres puntos: primero, probar que hay lugar en los espacios museísticos actuales y locales para la presentación de entornos virtuales e inmersivos cuya experiencia pueda ser colectiva y no limitada al consumo individual; segundo, que hay espacio para el desarrollo de obras sonoras que puedan funcionar en abierto en espacios museísticos contemporáneos y locales; y tercero, la confirmación de las posibilidades creativas y estéticas de los procesos de generación por inteligencia artificial, en relación con procesos creativos más lineales y clásicos, como una forma de conectar dos metodologías de trabajo diferenciadas y dirigir la mirada hacia el futuro de la creación audiovisual.

El foco metodológico para el desarrollo de la investigación es un balance teórico-práctico, basado en la investigación activa de recursos tecnológicos en pleno desarrollo, como los procesos de generación y gestión de imágenes a través de redes neuronales e inteligencia artificial, las innovaciones en el desarrollo de software para la creación de entornos virtuales, los avances en el procesamiento y modificación de fuentes de sonido del mundo real para ilustrar imágenes ficticias y el papel contemporáneo del sonido para la inmersión del espectador. Todos estos elementos prácticos se alimentan de la previa práctica artística de ambos artistas y se apoyan en una serie de conceptos teóricos esenciales que, para los objetivos del presente texto, se limitan principalmente al cambio de la relación del espectador con el sonido a partir del s. XX y las posibilidades de este en relación con los entornos físicos y virtuales.

Algunos de los conceptos teóricos más relevantes para el aspecto sonoro del proyecto vienen de la mano del teórico y divulgador R. Murray Schafer, en concreto sus reflexiones sobre el soundscape o paisaje sonoro y, especialmente, el paisaje sonoro primigenio, aquel previo a la existencia del ser humano, así como su metodología clasificatoria de elementos sonoros que forman parte de estos paisajes. De entre estos elementos, descritos como sonidos clave o keynotes, señales o signals, y marcas sonoras o soundmarks, para el presente proyecto son de especial interés, por un lado, los sonidos clave, entendidos como los sonidos de un paisaje sonoro que dependen de su geografía y clima, como pueden ser los cuerpos acuáticos, el viento, los bosques y planicies, pájaros, insectos y los animales que lo habitan¹ (Schafer, 1977, p. 9). Por otro lado, las señales entendidas como aquellos sonidos al frente del paisaje sonoro que requieren una escucha consciente² (Schafer, 1977, p. 10), así como las marcas sonoras que, aunque Schafer las vincula al reconocimiento colectivo de sonidos que son parte de una comunidad, se pueden corresponder también con la idea de aquellos tonos únicos presentes en todo paisaje natural que se constituyen como marcas sonoras para diferenciarlos³ (Schafer, 1977, p. 26). Durante el desarrollo del aspecto sonoro del proyecto se pondrá especial interés en esta jerarquía a la hora de determinar qué papel deben desempeñar los sonidos y el balance entre los elementos del paisaje sonoro.

Precisamente este acercamiento al total del sonido, como si se tratase de una composición, conecta también con la idea de Schafer de cómo el difuminado de las líneas entre la música y sonidos del entorno se ha convertido en una de las características clave de las prácticas sonoras a partir del s. XX⁴ (Schafer, 1973, p. 34), una difusión de aquellas barreras que separan lo musical de lo sonoro, que ya fue esencial en las prácticas de la vanguardia sonora americana en la década de los 50, con ejemplos de referencia absoluta como el 4’33” de John Cage y que conectan además con la corriente de investigación científica centrada en el estudio de lo musical desde un ángulo ecocéntrico, tratando de poner en cuestión la idea de que lo musical es una propiedad exclusivamente humana a través del estudio de los patrones comunicativos animales, con autores como Bernie Krause llevando a cabo relevantes aportaciones divulgativas.

A su vez, podemos extender teóricamente estos conceptos, más allá de los patrones de comunicación animales, hacia entender los mismos sonidos del entorno natural como una composición, siguiendo la idea del soundscape de Schafer, una idea que resume de manera elegante el artista sonoro Francisco López al afirmar que una cascada se puede percibir como un elemento tan musical como la canción de un pájaro⁵ (López, 2004, p. 87). Junto a esto, es importante destacar que pese a esta base teórica en algunos de los conceptos del paisaje sonoro de Schafer, los objetivos del proyecto se alejan de sus tintes analíticos y documentalistas al incluir procesos de edición y manipulación de las fuentes de sonido originales y se centran no tanto en destacar elementos sonoros específicos, sino en cómo funciona la totalidad de todos los elementos combinados, tratando que la atención del visitante se centre en no tanto en los detalles, sino en la experiencia de escucha del entorno sonoro en su totalidad⁶ (López, 2004, p. 83).

Por otro lado, y en relación con esta última idea de la totalidad del entorno sonoro, es de vital importancia, para el tratamiento sonoro del proyecto, la base teórica asentada por el músico y teórico Brian Eno y su acuñamiento del concepto ambient para definir aquella música que no busca llamar la atención hacia sí misma, sino cuyo rol es “habitar” un entorno, buscando generar una experiencia inmersiva, prestándose a navegar y perderse dentro de ella y cumpliendo más bien el papel de un lugar, un sentimiento, un tinte para el entorno sonoro⁷ (Eno, 1996, pp. 95-96), que el de una pieza estricta y tradicionalmente musical. De nuevo, aunque la mayor parte de los componentes sonoros de la pieza final no son estrictamente musicales bajo la definición clásica, si entendemos el paisaje sonoro como una composición podemos aplicar este concepto de lo ambiental para argumentar que el papel del sonido es principalmente atmosférico e inmersivo, buscando no que el visitante se sienta obligado a escucharlo detenidamente, sino que le envuelva mientras recorre el espacio expositivo. Recalcar, como referencia dentro de la extensa musical obra de Eno, el ejemplo de su disco de 1982 Ambient 4: On Land, como una fuente de inspiración para el presente proyecto, a través de su tratamiento de texturas orgánicas y su preocupación central en torno a la creación de atmósferas que se mueven entre el realismo y la licencia artística, así como la sugerencia sónica de las criaturas que las habitan. Precisamente dentro del paisaje sonoro correspondiente a la instalación final se ubica un único elemento estricta y tradicionalmente musical, una serie de “nanas”, a volumen casi imperceptible, vinculadas a una de las pantallas de la instalación multimedia, representando un conjunto de crías de seres prehistóricos durmiendo en sus nidos. La decisión de incluir un elemento musical en este elemento de la instalación tiene como objetivo la experiencia empática del visitante con dichas criaturas y se basa en una de las teorías principales respecto al origen de la música, aquella que establece sus orígenes a partir de los intercambios prosódicos entre madre e hijo (Storr, 1992, p. 23).

Como parte del proyecto se han llevado a cabo procesos de grabación de sonidos en entornos naturales locales junto a la recopilación de otros sonidos de archivo relacionados. Es, por tanto, vital hacer referencia como antecedente artístico en el tratamiento de sonido natural para crear experiencias inmersivas al movimiento del field recording: la grabación del sonido de entornos del mundo real con foco en el mundo natural; pero especialmente a la figura de Chris Watson, sonidista para los documentales de naturaleza de la BBC y artista sonoro, y su papel en trasladar el field recording de una mera disciplina documentalista a una práctica artística, al introducir marcados elementos conceptuales, narrativos y estilísticos en la selección y edición del material grabado, algo que se puede observar claramente en el contraste entre algunos de sus trabajos como Stepping Into the Dark, centrado en atmósferas espaciosas y misteriosas y Outside the Circle of Fire, construido alrededor de sonidos detallados y cercanos. Precisamente esta idea de la edición, entendida no solo como la manipulación de la información sonora del archivo, sino ya meramente como la selección de un inicio y un final en una grabación, es algo con lo que juega también Francisco López en La Selva (1998), una recreación de un denso y diverso entorno natural a través de la edición selectiva de grabaciones de un bosque tropical. El proyecto se alinea con estas referencias al buscar lo que se podría llamar el romántico deseo de dispersión en la naturaleza⁸ (Toop, 2018, p. 268) a través de un balance entre las referencias realistas y la estilización artística.

A nivel práctico, la mayor parte de la carga de trabajo del aspecto sonoro del proyecto se ha llevado a cabo dentro de un contexto de edición lineal, es decir de generación y manipulación del sonido sobre referencias visuales prerrenderizadas o, como mínimo, previamente estructuradas. El software principal de trabajo ha sido Ableton Live y dentro de este se ha hecho uso de una serie de plug-ins especializados concretamente en la manipulación de señales de voz y la aplicación de parámetros de reverberación realistas. Para la captación de sonidos se ha hecho uso de una grabadora Zoom H6 y una variedad de micrófonos, entre ellos ejemplos especializados, como un hidrófono para la captación de sonidos subacuáticos, y un micrófono de contacto para la captación de sonidos trasladados por superficies, especialmente para trabajarlos como elementos texturales. Para la recreación de los movimientos más detallados de algunas de las criaturas presentes en el material visual se han llevado a cabo labores de foley o grabación de sonidos, siendo manipulados y dirigidos, convirtiendo movimientos de materiales inorgánicos como plástico o madera, a través de la manipulación planeada y premeditada de estos y la posterior edición para terminar de convertirlos en elementos sonoros que aportasen la ilusión de ser orgánicos.

El presente proyecto de investigación se inicia en el año 2021 a partir de un primer contacto por parte del equipo de comisariado del programa Art i Context. Tras una primera fase de recopilación de material y diálogo en torno al concepto central, se lleva a cabo la primera actividad dentro del marco investigativo el día 21 de diciembre de 2021, tomando la forma de un encuentro online abierto al público a través de la plataforma de streaming Twitch, junto a los artistas invitados Laura Costas, fabricante de muñecas nacida en Vigo, y Guillermo Ros, teórico y escultor centrado en el desarrollo de un imaginario propio de índole fantástica. Bajo el nombre de Berenar 2, el encuentro enmarca un diálogo entre los artistas alrededor de los conceptos de la evolución especulativa, así como los principios del diseño visual y sonoro de criaturas imaginadas, la importancia del lore, o la mitología interna en los proyectos de ficción, y los conceptos teóricos y tecnológicos vinculados al desarrollo de entornos virtuales. Todo este diálogo se ve continuamente ilustrado mediante un flujo de imágenes, vídeos y sonidos, así como la retransmisión en directo de gameplay del juego The Isle, en el que se pone al jugador en la piel de un dinosaurio tratando de sobrevivir un entorno hostil, como ilustración para el diálogo sobre los procesos empáticos, relacionales y de roleplay vinculados a criaturas no humanas, a través de experiencias interactivas virtuales.

La segunda actividad dentro del marco investigativo tiene el nombre de Coral, ‘Un Fómite’ (GVA IVAM, 2022) y se lleva a cabo el día 17 de febrero de 2022 en colaboración con el filósofo, bailarín y coreógrafo Miguel Ballarín. Esta actividad toma la forma de una propuesta coreográfica que continúa el trabajo realizado en colaboraciones previas entre los tres artistas, como Cenotafio, estrenada en los Teatros del Canal en Madrid en 2018. El objetivo en este caso es el desarrollo de un entorno imaginado y específico, en concreto una estructura de corales en el fondo de un océano primigenio, construyéndose a través de música, sonido, proyecciones visuales y, en especial, el desarrollo coreográfico de Ballarín alrededor del concepto coreográfico de lo “coral” trasladado al cuerpo. El contenido de audio para esta pieza se centra en crear un flujo continuo que navega la línea entre lo sonoro y musical, haciendo uso de recursos de diseño de sonido realistas con el objetivo de recrear aspectos atmosféricos de un entorno subacuático, así como la selección de instrumentación y texturas electrónicas que trasladan ideas de libertad, fluidez y ligereza, dándole prioridad a la forma y el carácter de los sonidos, así como al contenido armónico, y relegando los elementos más marcadamente melódicos a momentos puntuales, especialmente para representar los movimientos de formas de vida subacuáticas y las relaciones imaginadas entre ellos. Con esto, la segunda actividad enfoca el objetivo de la investigación, estableciendo la idea de la creación de un espacio no existente e inmersivo, así como el juego artístico en la frontera entre lo sonoro y lo musical como elementos clave de la investigación.

Durante la tercera actividad, llamada Nadie sabe de lo que habla, y tomando la forma de una intervención artística sobre el espacio online del programa Art i Context, se afianza uno de los procesos creativos principales del aspecto visual del proyecto: la generación de imágenes mediante procesos de inteligencia artificial a través de una versión temprana del modelo de generación Stable Diffusion, así como el carácter de la relación entre los aspectos visuales y sonoros. El papel del sonido es en este caso reforzar mediante elementos de diseño sonoro realista y natural la sensación de contraste con los elementos extraños pero reconocibles que forman parte de las imágenes generadas por inteligencia artificial, tratando de transmitir al espectador una sensación similar al uncanny valley, el fenómeno psicológico por el que se genera una sensación de incomodidad ante la presencia de seres (originalmente humanos) reconocibles que no terminan de ser convincentes.

La última actividad de esta primera fase de investigación y desarrollo artístico toma la forma de un taller de divulgación y creación audiovisual en colaboración con la artista Laura Costas, bajo el nombre Génesis: Taller de conceptualización de vidas imaginadas, llevado a cabo durante los días 18 y 19 de noviembre de 2022. El primer día del taller se basa en la muestra y análisis de material audiovisual seleccionado de fuentes cinematográficas, literarias e interactivas, cuyo foco es la presencia y desarrollo de vidas imaginadas y procesos biológicos de criaturas inexistentes, seres utilizados en ocasiones como herramientas metafóricas, especialmente a través de la figura de Godzilla en films como Shin Godzilla, así como protagonistas de narrativas no verbales alejadas de la figura humana, como la secuencia de la creación del universo en The Tree of Life de Terrence Malick. El segundo día se centra en los procesos audiovisuales creativos detrás de algunas de estas representaciones de vidas imaginadas, específicamente en técnicas de diseño visual y en los procesos de sonorización y creación textural y lingüística, con foco en las diferentes posibilidades de grabación y procesamiento de voz humana y vocalizaciones animales, así como diversos ejemplos de usos de lenguajes animalísticos ficticios y complejos, como es el caso de las vocalizaciones de todos los seres presentes en el videojuego L.O.L.: Lack of Love o de la criatura Trico en el videojuego The Last Guardian.

Tras esta primera fase de investigación y desarrollo estructurada alrededor de actividades, el proceso artístico comienza a dirigirse hacia la creación de la obra expositiva final, bajo el nombre zgh2005os00676097731. Esta toma la forma de una instalación audiovisual multipantalla con sonido envolvente, compuesta por tres pantallas, un proyector y cuatro fuentes de audio distintas, tres de ellas sincronizadas con su correspondiente material visual y otra desarrollándose de manera paralela. Todo el material audiovisual presente en estas fuentes audiovisuales se reproduce en bucle de manera continua, a través de reproductores de medios externos y su relación se va modificando ligeramente con el tiempo al tener duraciones que fluctúan entre los 6 y 20 minutos.

La pieza central, una pantalla de 79 pulgadas que se podría considerar el elemento principal de la obra, muestra en bucle una serie de entornos virtuales prehistóricos generados mediante el software motor de juego Unreal Engine, de 7 minutos de duración. Esta es la pieza más narrativa del conjunto al mostrarnos una secuencia de escenas habitadas por criaturas prehistóricas tratando de lidiar con el fuerte impacto meteorológico de una tormenta y la correspondiente subida de las aguas. La sonorización de este material sigue principios del diseño de sonido realista y natural, sin ningún tipo de estilización o procesamiento estético, trabajando para acentuar la ilusión de realismo del material visual. Las texturas dominantes de este paisaje sonoro son los distintos estados de los cuerpos acuáticos, siempre representados desde el punto de vista de la cámara, y el viento interactuando con los diferentes elementos de las escenas, así como puntuales vocalizaciones de criaturas en diferentes estados anímicos. Esta primera fuente sonora se reproduce mediante un set de altavoces estéreo, pudiendo escucharse por toda la zona de la obra y, en menor medida, la sala en general.

Una segunda fuente sonora, colocada directamente frente a esta pantalla central con el objetivo de envolver al visitante una vez este entra en el área designada para la obra, reproduce en bucle un archivo de 15 minutos de paisaje sonoro. Este paisaje toma la forma de un recorrido por una diversidad de biomas habitados por criaturas de las que puntualmente podemos escuchar vocalizaciones de distintos caracteres, desde la comunicación entre una misma especie a la defensa agresiva de un territorio propio. Para lograr el carácter marcado de estas vocalizaciones, se lleva a cabo un proceso de recopilación de material sonoro de animales y de grabación de voces humanas, tratando de recrear las distintas cadencias e intensidades correspondientes con las necesidades de cada vocalización. Estas grabaciones han sido posteriormente procesadas mediante una multiplicidad de software de modificación de voz, con ejemplos como Vocal Synth y Dehumaniser, así como mediante el programa de simulación de reverberación Altiverb para aportarles una presencia acústica consistente con el entorno. El objetivo de esta segunda fuente de sonido es no solo crear una sensación de inmersión para el espectador, sino también actuar como una señal de llamada hacia el entorno de la instalación, al ser algunas de las vocalizaciones presentes en este unos de los elementos sonoros con mayor presencia de volumen en la obra.

Precisamente este último punto, la distribución del sonido en abierto por el espacio museístico, se convierte probablemente en el mayor punto de contención con la organización de la exposición, siendo habitual que la gestión de sonido en los museos trate de que éste no “manche” el resto de obras. Tras un diálogo con el resto de artistas y argumentación en torno a la necesidad de que el sonido funcione en abierto para establecer la naturaleza envolvente de la obra, se decide permitir que estas dos fuentes sonoras se encuentren en reproducción continua en abierto. Con esto, los principios de interacción del visitante con el contenido sonoro de la obra se tratan de corresponder de esta manera con los principios del ambient establecidos por Brian Eno, buscando crear un “perfume” sonoro que no requiere de la atención directa pero que contribuye a modificar la atmósfera del espacio en el que se encuentra.

Las otras dos fuentes sonoras se corresponden cada una con sus fuentes visuales correspondientes y cumplen papeles bastante diferenciados respecto a las dos primeras. La correspondiente a la pantalla lateral derecha, de 49 pulgadas, donde en formato vertical podemos observar la secuencia de una serie de crías de seres prehistóricos en sus nidos, es acompañada por el único contenido estrictamente musical de toda la pieza. La inclusión de elementos tradicionalmente musicales reconocibles fue parte de gran debate dentro del desarrollo de la obra, pero se acabó decidiendo su inclusión para añadir un elemento humanizador y empático, creando una serie de “nanas” reproducidas mediante cajas de música virtuales. Con el objetivo de no restarle fuerza al paisaje sonoro de alrededor, se decide reproducir este material musical a un volumen marcadamente inferior al resto, de manera que el visitante apenas puede percibirlo, a no ser que se agache y acerque a ese nido virtual, creando una conexión más íntima con la pieza.

La fuente sonora restante se corresponde con la pantalla lateral izquierda, de 70 pulgadas, en la cual se reproduce una secuencia de 18 minutos de duración formada en su totalidad por material visual generado mediante una versión temprana del sistema de text-to-video Zeroscope, entrenado a partir de una base de datos de contenido audiovisual documental de animales. El resultado es una secuencia de seres que rozan el realismo, pero cuya ilusión de realidad se desintegra ante el escrutinio, debido a las continuas mutaciones visuales y el carácter de sus movimientos. Esta secuencia de imágenes se enmarca acompañada de un visualizador de espectrograma de la información acústica reproduciéndose en paralelo. El objetivo de este acompañamiento sonoro es de nuevo establecer un anclaje de realismo que genere una relación audiovisual interesante para el espectador, acentuando el carácter híbrido entre realismo y surrealismo de los movimientos de las criaturas. Esta es además la única fuente sonora cuya reproducción es íntima e individual, con la escucha a través de auriculares, por lo que se centra en el detalle, marcando todos los pequeños y espasmódicos movimientos de las criaturas, con una clara inspiración en el ASMR, el fenómeno neurológico y cultural centrado en la generación y escucha de sonidos detallados. El audio correspondiente a esta y el resto de fuentes se encuentra archivado en la plataforma SoundCloud (Navarro y Alva, s.f.).

El proyecto llevado a cabo dentro del contexto de Art i Context y que finaliza con ejecución de la obra expositiva zgh2005os00676097731, sirve como una culminación de una primera fase de colaboración con el artista multimedia Darío Alva iniciada en 2017. En este se han volcado los intereses comunes de ambos artistas para generar una pieza museística consistente con los elementos comunes de su obra, además de haber desarrollado una labor divulgativa a través de las actividades precedentes abiertas al público, cumpliendo con esto los objetivos principales correspondientes a la segunda fase. A través de la ejecución de la instalación final y el feedback de visitantes a la exposición y organizadores del programa y espacio museístico se puede determinar que se han cumplido los siguientes objetivos:

Precisamente este último punto es el que nos lleva de manera más clara a las futuras líneas de investigación vinculadas al campo de este proyecto artístico. Ya desde la ejecución de la pieza multimedia final los avances en el campo del sonido generado y modificado a través de la inteligencia artificial han sido vertiginosos y en este punto permitirían un acercamiento automatizado más en la línea de los procesos de generación visuales del proyecto. Esta revisión, junto a la continua exploración de las posibilidades del sonido para la inmersión en espacios físicos y virtuales, marca las principales líneas de investigación a continuar por parte de los artistas.