Mejoras en el reconocimiento de música manuscrita mediante la re-interpretación de modelos de lenguaje para notación mensural

Abstract

[ES] El Reconocimiento de Música Manuscrita es la rama del Reconocimiento Óptico de Símbolos dedicada al estudio de la capacidad en los ordenadores para leer notación musical escrita. Esta tecnología busca entender la notación musical para transcribir los trabajos manuscritos a un formato adaptado a ordenador, para que esta música esté disponible al público. Esta tarea ha sido de gran interés útimamente, conforme las tecnologías mejoran y pueden obtener mejores resulltados en este problema. Recientes acercamientos mediante machine learning (aprendizaje máquina) basados en Redes Neuronales Profundas y Recurrentes ya muestran como estos trabajan notablemente mejor en el campo que otros acercamientos tradicionales, especialmente cuando hablamos de Notación Mensural.

Estas investigaciones basadas en machine learning han tratado la tarea de reconocer Notación Mensural como otra tarea más de reconocimiento de texto, pero no han explorado las características de los elementos musicales en profundidad. Otros trabajos han tratado de profundizar en el análisis de los elementos musicales y la extracción de sus características, pero a nivel de símbolos segmentados, sin reflejar esto en un entorno de reconocimiento completo o con un conjunto de datos establecido.

En este trabajo vamos a tratar de hacer un sistema de reconocimiento completo directamente desde las partituras, utilizando técnicas que ensalzan la información obtenida de los símbolos. Exploramos las interpretaciones del lenguaje para mejorar los resultados en un conjunto de datos disponible públicamente. En nuestros experimentos hemos hecho una mejora del 32% en referencia al error a nivel de símbolo. Con esto, hemos ido de un 5.11% de ratio de error, con las tecnologías de los últimos acercamientos, a un 3.48% de ratio de error, calculado utilizando re-interpretaciones del lenguaje.

[EN] Handwritten Music Recognition is the branch of Optical Symbol Recognition dedicated to the study of the capability of computers to read written musical notation. This technology aims to understand musical notation to transcribe the handwritten works into a computer-adapted format, to make this music available to the public. This task has been of great interest lately, as the technologies improve and can get better and better results on this problem. Recent machine learning approaches based on Recurrent and Deep Neural Networks have already shown how these work significantly better in the field than traditional approaches, especially when we are talking about Mensural Notation.

These machine learning researches have taken on the task of recognizing Mensural Notation as another written text recognition task, but have not explored the characteristics of musical elements in depth. Other works have tried to dig deeper into analyzing musical elements and the extraction of their characteristics, but at a segmented symbol level, without reflecting this in a complete recognition environment or with an established dataset.

In this paper, we will try to make a complete recognition system directly from the scores, using techniques that enhance information obtained from symbols. We explore language interpretations for improving results on a publicly available dataset. In our experiments, we have made a 32\% improvement in regards to error at the symbol level. With this, we have gone from a 5.11\% error rate, using the same technology as the latest approaches, to a 3.48\% error rate, as calculated using language reinterpretations.

[CA] El reconeixement de música manuscrita estudia tècniques perquè els ordinadors siguen capaços de transcriure notació musical manuscrita que es troba registrada en imatges a format electrònic, i fer esta música disponible al públic. Recents acostaments d’intel·ligència de màquina basats en Xarxes Neuronals Recurrents i Profundes han mostrat que funcionen significativament millor en aquest problema que l’acostament tradicional basat en models ocults de Markov, especialment en el cas de Notació Mensural. Aquestes investigacions basades en Xarxes Neuronals han investigat la tasca de reconéixer Notació Mensural com una altra tasca de reconeixement de text , però no han explotat les característiques dels elements musicals en profunditat. Altres treballs han intentat aprofundir a analitzar elements musicals i en l’extracció de les característiques des de símbols segmentats, sense reflectir això de manera holística. En aquest treball tractarem de fer un sistema de reconeixement complet directament des dels pentagrames, utilitzant tècniques que enalteixen la informació obtinguda a partir dels símbols. Explorem altres interpretacions de model de llenguatge i provem la nostra proposta en un conjunt de dades disponible de manera pública. En el nostre experiments hem fet una millora del 31% en referència a l’error a nivell de símbol. Amb això, hem anat d’un 3,91% de ràtio d’error, usant tecnologies basades en Xarxes Neuronals, a un 2,7% de ràtio d’error, usant re-interpretacions del model de llenguatge.