Cerca de patrons melòdics a grans col·leccions d'imatges de partitures manuscrites històriques

Abstract

[CA] La cerca d’informació musical a grans sèries d’imatges de partitures antigues manuscrites és un problema de gran interès per persones historiadores, musicòlogues, gestores d’arxius i públic en general. Utilitzant diverses tècniques d’indexació probabilística, s’ha desenvolupat un motor de cerca que ofereix solucions parcials a aquest problema. Mitjançant aquestes, les consultes de cerca s’expressen com seqüències de notes definides per símbols geomètrics. Un exemple seria «c4 &20& [L3 S2 L2 L3]», que representa una seqüència de notes el pentagrama de les quals comença en clau de do en quarta (c4) i les notes de la seqüència estan en la línia 3, l’espai 2, la línia 2 i la línia 3, respectivament. Una versió on-line d’aquest buscador és públicament accessible des de http://prhlt-carabela.prhlt.upv.es/musica. Aquesta forma d’expressar una consulta de cerca permet trobar informació que abans era pràcticament impossible de localitzar. Malgrat això, aquesta solució no pot considerar-se satisfactòria per al seu ús per especialistes en història de la música. Per tal que així fora, seria desitjable que les consultes pogueren expressar-se en notació musical, no geomètrica. En l’anterior exemple, l’objectiu seria representar-la com «la sol fa la» (o «A G F A» en notació musical anglosaxona). A més de poder expressar-la també musicalment, a través d’un teclat (simulat o real). Encara que, en principi, la transformació requerida semble ximple, cal tindre en compte que a les partitures històriques considerades, s’usen amb gran freqüència dos tipus de clau i no existeix una posició per omissió per a cap d’ells. D’aquesta forma, una consulta com «la sol fa la» pot aparèixer escrita de diverses formes depenent de la clau i la seua posició. Aquesta consulta en notació musical s’ha de transformar en una complexa consulta booleana AND/OR geomètrica en la qual la majoria dels elements són, al mateix temps, sequències. Concretament, la consulta musical [A3 G3 F3 A3] es transformaria en «(c2 &20& [L1 S0 L0 L1 ]) || (c3 &20& [L2 S1 L1 L2 ]) || (c4 &20& [L3 S2 L2 L3 ]) || (c5 &20& [L4 S3 L3 L4 ]) || (f1 &20& [L2 S1 L1 L2 ]) || (f2 &20& [L3 S2 L2 L3 ]) || (f3 &20& [L4 S3 L3 L4 ]) || (f4 &20& [L5 S4 L4 L5 ])». El projecte que es proposa més endavant, consisteix a donar solucions adequades als problemes anteriors i implementar tals solucions al buscador d’accés públic anteriorment citat, http://prhlt-carabela.prhlt.upv.es/musica. Així mateix, abans de la implementació definitiva, el sistema desenvolupat haurà de ser avaluat empíricament, comparant les prestacions d’aquest mode de cerca amb resultats obtinguts per a un buscador basat en consultes purament geomètriques. Aquest projecte es complementa amb un altre, també relacionat amb cerca de patrons melòdics en partitures manuscrites antigues, al qual l’objecte és la renderització musical (acústica) dels resultats de les consultes. Amb la combinació d’ambdós projectes, les col·leccions de partitures antigues indexades probabilísticament podran consultar-se mitjançant notes musicals i/o un teclat (simulat o real). Els resultats (imatges de les partitures trobades) no només es podran visualitzar, sinó també escoltar en distints modes de renderització acústica.

[EN] Search for musical information inside large series of images of historical handwritten scores is a problem of great interest for historians, musicologists, archive managers and general public.

Using Probabilistic Indexing techniques a search engine which offers partial solutions to this problem has been developed. With this techniques search queries are expressed as sequences of "notes" defined by geometric symbols such as c4 &20& [L3 S2 L2 L3], denoting a sequence of notes in which the staff starts in C cleaf on the fourth line (c4) and the notes of the sequence lay on line 3, space 2, line 2 and line 3, respectively. An on-line version of this search engine is publicly accessible through http://prhlt-carabela.prhlt.upv.es/musica.

This way of expressing a search query allows to find information that was previously practically impossible to locate. However, this solution cannot be considered satisfactory for being used by music history specialists. To this end, it would be desirable that queries could be expressed in musical rather than geometric notation. In the previous example the objective would be to express the query as «A G F A» (or «la sol fa la» using solmization), apart from being able to express it musically with a (simulated or real) keyboard.

Even though in principle the required transformation seems simple, it must be taken into account that inside the historical scores considered, there exist two types of clef which are used extremely frequently and it does not exist a default position for any of them. So a query like «A G F A» can appear written in multiple ways depending on the key and its position. Specifically, this query must be converted into a complex AND/OR Boolean geometric query in which most of the elements inside it are themselves sequences. Specifically, the musical query [A3 G3 F3 A3] is transformed into «(c2 &20& [L1 S0 L0 L1 ]) || (c3 &20& [L2 S1 L1 L2 ]) || (c4 &20& [L3 S2 L2 L3 ]) || (c5 &20& [L4 S3 L3 L4 ]) || (f1 &20& [L2 S1 L1 L2 ]) || (f2 &20& [L3 S2 L2 L3 ]) || (f3 &20& [L4 S3 L3 L4 ]) || (f4 &20& [L5 S4 L4 L5 ])».

The proposed project in this document consists of providing adequate solutions to these problems and implementing these solutions in the aforementioned publicly accessible search engine, http://prhlt-carabela.prhlt.upv.es/musica. Likewise, before the final implementation, the developed system must be empirically evaluated, comparing the performance of this search mode with previous results obtained for a search engine based on purely geometric queries.

This project is complemented by another, also related to the search for melodic patterns in old handwritten scores, in which the object is the musical (acoustic) rendering of the query results. With the combination of both projects, it will be possible to query probabilistically indexed old collections of scores images by means of musical notes and/or a keyboard (simulated or real). And the results (images of found scores) will be not only displayed visually but also heard in different modes of acoustic rendering.

[ES] La búsqueda de información musical en grandes series de imágenes de partituras antiguas manuscritas es un problema de gran interès para historiadores, musicólogos, gestores de archivos y público en general. Utilizando diversas técnicas de indexación probabilística, se ha desarrollado un busca-dor que ofrece soluciones parciales a dicho problema. Mediante éstas, las consultas de cerca se expresan como secuencias de notas definidas por símbolos geométricos. Un ejem-plo sería c4 &20& [L3 S2 L2 L3], que representa una secuencia de notas tales que el pentagrama empieza en clave de do en cuarta (c4) y las notas de la secuencia están en la línea 3, el espacio 2, la línea 2 y la linea 3, respectivamente. Una versión on-line de este buscador es públicamente accesible desde http://prhlt-carabela.prhlt.upv.es/musica. Esta forma de expresar una consulta de cerca permite encontrar información que antes era prácticamente imposible de localizar. Sin embargo, esta solución no puede conside-rarse satisfactoria para su uso por especialistas en historia de la música. Para este fin, sería deseable que las consultas pudieran expresarse en notación musical, no geométrica. En el anterior ejemplo, el objetivo sería representar la consulta como «la sol fa la» (o «A G F A» en notación musical angolsajona). Además de poder expresarla también musical-mente, mediante un teclado (simulado o real). Aunque, en principio, la transformación requerida parece simple, hay que tener en cuen- ta que en las partituras históricas consideradas se usan con gran frecuencia dos tipos de clave y no hay una posición por omisión para ninguno de ellos. Así, una consulta co-mo «la sol fa la» puede aparecer escrita de múltiples formas dependiendo de la clave y de su posición. Esta consulta en notación musical se debe convertir en una compleja consulta booleana AND/OR geométrica en la que la mayoría de los elementos son, a su vez, sequencias. Concretamente, la consulta musical [A3 G3 F3 A3] se debería transfor-mar en «(c2 &20& [L1 S0 L0 L1 ]) || (c3 &20& [L2 S1 L1 L2 ]) || (c4 &20& [L3 S2 L2 L3 ]) || (c5 &20& [L4 S3 L3 L4 ]) || (f1 &20& [L2 S1 L1 L2 ]) || (f2 &20& [L3 S2 L2 L3 ]) || (f3 &20& [L4 S3 L3 L4 ]) || (f4 &20& [L5 S4 L4 L5 ])». El proyecto que aquí se porpone consiste en dar soluciones adecuadas a estos proble-mas e implementar dichas soluciones en el buscador de acceso público amteriormente citado, http://prhlt-carabela.prhlt.upv.es/musica. Asimismo, antes de la implementación definitiva, el sistema desarrollado deberá ser eva-luado empíricamente, comparando las prestaciones de este modo de cerca con resultados obtenidos para un buscador basado en consultas puramente geométricas. Este proyecto se complementa con otro, también relacionado con cerca de patrones meló-dicos en partituras manuscritas antiguas, en el que el objeto es la renderización musical (acústica) de los resultados de las consultas. Con la combinación de ambos proyectos, las colecciones de partituras antiguas indexadas probabilísticamente podrán consultarse mediante notas musicales y/o un teclado (simu-lado o real). Los resultados (imágenes de las partituras encontradas) no solo se podrán visualizar, sino también oir en distintos modos de renderización acústica.