Finding music's latent dimensions with Variational Autoencoders

Abstract

[EN] With the recent advancements in the field of artificial intelligence, multiple applications of it have been developed and studied for music. From genre classification to performance interaction, there are many areas of interest that result from the combination of these two fields. In this work, we are particularly interested in discovering and analyzing music’s latent dimensions making use of the latest technology available. We will introduce the topic, present a thorough literature review, introduce the considered models, present the underlying technology we base our work off in a detailed way, explain our planned methodology and experiments, discuss the obtained results and draw conclusions and possible lines of future work. Although both VAE and BERT were considered, BERT was deemed as the better option given that music is sequential data. t-SNE was chosen as the dimensionality reduction technique and k-means as the clustering method. BERT provided numerical data for every musical piece analyzed, whose dimensions we reduced with t-SNE and on which we performed clustering with k-means to analyze the resulting representation. We found an optimal value of k for which the different clusters could be explained, thus proving BERT understands music according to some latent parameters.

[ES] Con los recientes avances en el campo de la inteligencia artificial, se han desarrollado y estudiado múltiples aplicaciones en el ámbito de la música. En este trabajo, estamos especialmente interesados en descubrir y analizar las dimensiones latentes de la música haciendo uso de la última tecnología disponible. Introduciremos el tema, presentaremos una revisión exhaustiva de la literatura, introduciremos los principales modelos, presentaremos la tecnología subyacente en la que se basa nuestro trabajo de forma detallada, explicaremos nuestra metodología y experimentos previstos, debatiremos los resultados obtenidos y extraeremos conclusiones y posibles líneas de trabajo futuras. El BERT proporcionó datos numéricos para cada pieza musical analizada, cuyas dimensiones se redujeron con el T-SNE y sobre las que se realizó un agrupamiento con K-Mans para analizar la representación resultante. Hemos hallado un valor óptimo para el que se pueden explicar los distintos clusters, demostrando así queBERT entiende la música según unos parámetros determinados.

[DE] Mit den jüngsten Fortschritten auf dem Gebiet der künstlichen Intelligenz, wurden zahlreiche Anwendungen für die Musik entwickelt und untersucht. Von der Genreklassifizierung bis hin zur Interaktion bei der Aufführung gibt es viele Bereiche von Interesse, die sich aus der Kombination dieser beiden Gebiete ergeben. In dieser Arbeit sind wir besonders an der Entdeckung und Analyse von die latenten Dimensionen der Musik zu entdecken und zu analysieren, indem wir die neueste verfügbare Technologie nutzen. Wir werden in das Thema einführen, einen gründlichen Literaturüberblick geben, die in Frage kommenden Modelle vorstellen, die zugrundeliegende Technologie, auf die wir unsere Arbeit stützen Wir stellen die unserer Arbeit zugrundeliegende Technologie detailliert vor, erläutern unsere geplante Methodik und unsere Experimente, diskutieren die erzielten Ergebnisse und ziehen Schlussfolgerungen sowie mögliche Ansätze für zukünftige Arbeiten. Obwohl sowohl VAE als auch BERT in Betracht gezogen wurden, wurde BERT als die bessere Option angesehen da es sich bei Musik um sequenzielle Daten handelt. t-SNE wurde als Dimensionalitätsreduktion und k-means als Clustermethode gewählt. BERT lieferte numerische Daten für jedes analysierte Musikstück, dessen Dimensionen wir mit t-SNE reduzierten und auf Clustering mit k-means durchgeführt haben, um die resultierende Darstellung zu analysieren. Wir fanden einen optimalen Wert von k, für den die verschiedenen Cluster erklärt werden konnten, und bewiesen damit, dass BERT Musik anhand einiger latenter Parameter versteht