Aprendizaje semi-supervisado e interactivo para la anotación de un corpus de música histórica manuscrita

Abstract

[ES] El reconocimiento de música manuscrita es la tarea en la que se emplean tecnologías de la computación para, a partir de una imagen de un pentagrama musical, obtener una transcripción. Si combinamos esto con técnicas de aprendizaje semi supervisado, que permiten etiquetar grandes conjuntos de información a partir de una pequeña parte de los mismos, y aprendizaje interactivo, que permite a un supervisor humano colaborar con la máquina en el proceso de transcripción, lo que obtenemos es un sistema que a partir de unas pocas transcripciones de música puede conseguir una gran base de datos de mucha calidad.

Esto es importante debido a que las bases de datos de música manuscrita etiquetadas escasean, aunque la cantidad de obras que es de interés preservar se cuentan en el orden de los millones, tarea inabordable para las personas, por lo que se hace necesario un método que nos permita hacer que todas estas obras sin etiquetar sean etiquetadas con el menor esfuerzo posible.

En este trabajo utilizamos tecnologías punteras del reconocimiento de texto manuscrito aplicadas a la música, como son las redes neuronales, tanto convolucionales como recurrentes, y modelos de lenguaje para explorar distintos métodos que faciliten el etiquetado de estos conjuntos de datos.

Utilizamos medidas como la probabilidad a posteriori y la entropía de las muestras para determinar como debe distribuirse el esfuerzo humano a la hora de etiquetar muestras manualmente, y mostramos diferentes métodos que determinan si una muestra etiquetada es o no apta para incluirse en el conjunto de datos logrando finalmente un método eficaz para anotar grandes cantidades de muestras con un esfuerzo considerablemente menor.

[EN] Handwritten music recognition is the task where computation technologies are used for, from an image of a musical score, obtaining a transcription. If we combine this with semi supervised learning techniques, that allow labeling big information sets from a small fragment of them, and interactive learning, that allow a human supervisor collaborating with the machine in the transcription process, we obtain a system that from a few music transcriptions can accomplish a big data set of great quality.

This is important given that labeled handwritten music data sets are scarce, even though the amount of pieces that is of interest to preserve are counted in the order of millions, an unapproachable task for people. This makes necessary a method that allows us to label this pieces with the least effort possible.

In this work we use the latest technologies for handwritten text recognition applied to music, such as neural networks, both convolutional and recurrent, and language models to explore different methods that make labeling easier for this data sets.

We use measures such as posterior probability and sample entropy to determine how should human effort be used when labeling samples manually, and we show different methods to determine if a sample is or isn't good enough to be included in the data set, accomplishing in the end an effective method to label big amounts of samples with a considerably lesser effort.