Poscatálogo, o de cómo y por qué experimentar físicamente un espacio vectorial de alta dimensión

Abstract

[EN] The immersive installation Postcatalog, developed ad hoc for the exhibition Unchained Catalogs organized by the Vice-Rectorate of Culture of the University of Malaga (12-17-2020, 01-29-2021), addresses two lines of inquiry. Firstly, the project delves into the question of how to make highdimensional spaces resulting from computational image processing physically experiential. Secondly, the project raises the question of how the ordering function performed traditionally by catalogs will take shape in a medial ecology where the centrality occupied until recently by the book artifact is shifting towards new scenarios configured by mixed realities that include the subject as an active entity in his/her ambivalent cognitive-emotional dimension. To materialize this inquiry in a particular study case, the well-known diagram conceived by Alfred H. Barr for the cover of the Cubism and Abstract Art exhibition catalog (MOMA, 1936) was taken as base. In this diagram, Alfred H Barr represented the evolution of the artistic movements that had emerged during the first decades of the 20th century in the form of genealogical relationships according to a teleological conception. In a first phase of the project, the diagram was transformed into a high-dimensional space where the artworks corresponding to the isms and poetics represented in the diagram were distributed in clusters according to visual similarities detected by an Inception convolutional neural network (CNN) and represented in a twodimensional space generated by the UMAP distribution algorithm. In this way, the distance between images -transformed into numerical vectors- means degrees of visual similarity mathematically computed. The result of this first experiment was the Barr X Inception CNN project. In a second phase, the two-dimensional space generated by the UMAP distribution algorithm was transformed into an immersive 3D installation that allows walking through the visual field generated by the Inception CNN and physically experiencing the mathematical distance between the images. The installation enables participants to walk randomly through the visual field, choose to visit a specific cluster or explore how the isms and poetics represented in the Barr’s diagram are distributed in the new computational space. Participants, hence, are allowed to physically experience the differences between the stylistic categorization associated to traditional arthistorical epistemology and the computational clustering performed by machinic cognitions. We consider that Postcatalog is an example of how virtual and immersive technologies can be applied to raise complex arguments beyond its use as tools for reproduction-recreation-simulation of reality.

[ES] La instalación inmersiva Postcatálogo (https://youtu.be/nuc-LUW2W3s), realizada ad hoc para la exposición Catálogos desencadenados organizada por el Vicerrectorado de Cultura de la Universidad de Málaga (17-12-2020, 29-01-2021), aborda dos líneas de indagación. En primer lugar, trata de responder a la pregunta: ¿cómo hacer físicamente experimentables los espacios de alta dimensión, ininteligibles para la cognición humana, asociados (entre otras cosas) al procesamiento computacional de imágenes? En segundo lugar, se plantea: ¿de qué modo la función ordenadora constitutiva de los catálogos tomará forma en una ecología medial donde la centralidad que hasta hace poco ocupaba el artefacto libro se está desplazando hacia nuevos contextos configurados por realidades mixtas que incluyen al sujeto como entidad activa en su polívoca dimensión cognitivo-emocional? Para materializar de una manera concreta esta indagación, tomamos como base el conocido diagrama que Alfred J. Barr publicó con la cubierta del catálogo de la exposición Cubism and Abstract Art organizada por el MOMA en 1936. Como es bien sabido, en este diagrama Alfred J. Barr representó el devenir de las poéticas artísticas que habían ido surgiendo durante las primeras décadas del siglo XX, estableciendo relaciones genealógicas entre ellas de acuerdo con su concepción teleológica del arte. En una primera fase, transformamos este diagrama en un espacio de alta dimensión en el que las obras correspondientes a los ismos y poéticas presentes en el diagrama se distribuyen en clústeres según las similitudes visuales detectadas por una red neuronal convolucional Inception. De este modo, la distancia entre las imágenes, transformadas en vectores numéricos, es significativa de su mayor o menor grado de similitud visual, matemáticamente computada. El resultado de este primer experimento fue el proyecto Barr X Inception CNN (http://barrxcnn.hdplus.es/), el cual nos permitió reflexionar sobre las similitudes y diferencias existentes entre la visión humana –con sus capas de modelación cultural, disciplinar, epistemológica y subjetiva- y la visión artificial, que opera mediante modelos matemáticos y cálculo probabilístico. En una segunda fase, nos propusimos reformular el espacio bidimensional que genera el algoritmo de distribución UMAP en una instalación inmersiva que hace posible el que podamos deambular por el campo visual generado por la Inception CNN y experimentar físicamente la distancia entre las imágenes. La instalación permite pasear de manera aleatoria por el campo visual; seleccionar visitar un clúster determinado; o comprobar cómo se distribuyen en este espacio computacional los ismos y poéticas representados en el diagrama de Barr, lo cual hace visible y físicamente experimentable las diferencias que existen entre los agrupamientos estilísticos propios de la epistemología histórico-artística y los agrupamientos computacionales de la cognición maquínica. Consideramos que Poscatálogo es un ejemplo de cómo se pueden emplear las tecnologías de desarrollo virtual e inmersivo para plantear argumentos complejos más allá de su uso como reproducción-recreación-simulación de realidad. Poscatálogo es una producción de Opossum Studios y el grupo de investigación iArtHis_Lab para el Vicerrectorado de Cultura de la Universidad de Málaga.