Caracterización y modelado de la producción de sonidos de las ballenas beluga (Delphinapterus Leucas) basado en modelos de análisis / síntesis de voz

Abstract

[EN] This thesis deals with the study of the sounds produced by beluga whales (Delphinapterus leucas) with a fundamental objective: its characterization and modeling. To this end, analysis / synthesis algorithms of the sounds produced by these animals are proposed. These algorithms are inspired by recent researches on how beluga whales produce the sound and in the physiognomy of the sound production organs.

This is a multidisciplinary work, and in order to achieve this goal many fields and topics have to be studied: the generation of sounds in musical instruments, time-frequency analysis techniques along with pattern recognition methods, feature selection, the potential to include algorithms that work in the cepstral domain and a quantitative analysis of the Recurrence Plots. All this allows to propose a sound production model capable to adapt to the peculiarities of this specie and reproduce with high fidelity its wide repertoire of sounds.

In addition, in order to validate the proposed model, different sounds from a database of beluga whale vocalisations were analysed. These sounds were compared with those generated with a generic analysis / synthesis model. Furthermore, it is proposed to use the synthesis model parameters for a new sound classification based on how the sounds are produced, achieving better results than those obtained with classifiers based on characteristics of the time-frequency diagram.

All the proposed hypotheses have been validated by doing acoustic measurements of beluga whales from the Oceanografic of Valencia (supervised by park biologists), as well as a large number of audio laboratory recordings under controlled conditions.

Finally, a passive acoustic monitoring device called SAMARUC design in the framework of the projects related to this thesis is described. The SAMARUC system has the possibility to include different signal processing algorithms for sound analysis in open water environment and is capable of recording high quality sounds. It can also provide the classification of the acoustic events as well as the noise indicators of good environmental status of our seas and oceans. These indicators include underwater noise levels as reflected in the Descriptor 11 of the Marine European Directive. For this reason we expect that this research will have a significant importance in the future years.

[ES] Esta tesis doctoral aborda el estudio de los sonidos producidos por las ballenas beluga (Delphinapterus Leucas) con un objetivo fundamental: su caracterización y su modelado. Para ello, se propone una serie de algoritmos de análisis / síntesis de los sonidos producidos por estos animales inspirados en las recientes investigaciones sobre el funcionamiento y la fisionomía del aparato fonador de las ballenas beluga.

Se trata de un trabajo multidisciplinar, en el que para alcanzar este objetivo, se analiza la generación de sonidos en instrumentos musicales, se repasan técnicas de análisis tiempo-frecuencia junto con métodos de reconocimiento de patrones, se aplican técnicas de selección de características, se analiza el potencial de incluir algoritmos que trabajen en el dominio cepstral y se realiza un análisis cuantitativo de los Recurrence Plots como medida del determinismo. Todo esto permite plantear un modelo de producción de sonidos capaz de adaptarse a las peculiaridades de ésta especie y reproducir con una alta fidelidad su amplio repertorio de sonidos.

Además, con la finalidad de dar validez al modelo propuesto, se analizan y sintetizan diferentes sonidos de una base de datos de vocalizaciones de ballenas beluga para compararlos con los generados con un modelo de análisis/ síntesis genérico. De manera adicional, se propone emplear los parámetros del modelo de síntesis para realizar una nueva clasificación de sonidos de la especie basada en su naturaleza de producción, consiguiendo mejorar los resultados obtenidos con clasificadores basados en características del diagrama tiempo-frecuencia.

Las hipótesis propuestas han sido validadas con la realización de medidas acústicas de las ballenas beluga del Oceanografic de València (supervisadas por los cuidadores del parque), así como con un gran número grabaciones de audio de laboratorio en condiciones controladas.

Finalmente se describe el dispositivo de monitorización acústica pasiva SAMARUC, diseñado con la funcionalidad de incluir los algoritmos implementados en entornos de aguas abiertas, pudiendo ofrecer datos de la grabación de los sonidos, la clasificación de éstos, así como los indicadores del buen estado medioambiental de nuestros mares y océanos. Estos indicadores incluyen los niveles de ruido submarino tal y como se recoge en el descriptor 11 de la Directiva Marina Europea y es por ello que se prevé que esta línea de investigación tenga un auge considerable en años futuros.

[CA] Aquesta tesi doctoral aborda l'estudi dels sons produïts per les ballenes beluga (Delphinapterus Leucas) amb un objectiu fonamental: la seua caracterització y modelat. Es proposen una sèrie d'algoritmes d'anàlisi / síntesi d'aquestos sons inspirats en recents investigacions sobre el funcionament i la fisonomia del aparell fonador de les ballenes beluga.

Es tracta d'un treball multidisciplinar, on per a arribar a aquest objectiu s'analitza la generació de sons en instruments musicales, es repassen tècniques d'anàlisi temps-freqüencia junt a mètodes de reconeixement de patrons, s'apliquen tècniques de selecció de característiques, s'analitza el potencial de la inclusió d'algoritmes que treballen en el domini cepstral i es realitza un anàlisi quantitatiu dels Recurrence Plots com a mètrica del determinisme. Tot aço permet plantejar un model de producción de sons capaç d'adaptar-se a les peculiaritats d'aquesta espècie i reproduir amb una alta fidelitat el seu amplíssim repertori de sons.

Ademés, amb la finalitat de donar validesa al model proposat, s'analitzen i sintetitzen diferents sons d'una base de dades de vocalitzacions de ballenes beluga per a comparar-les amb les generades per un model d'anàlisi / síntesi genèric. De manera addicional es proposa emprar els paràmetres del model de síntesi disenyat per a fer una nova classificació de sons basada en la seua naturalesa de producció, aconseguint millorar el resultats obtinguts amb classificadors basats en característiques del diagrama temps-freqüencia.

Les hipòtesis proposades han sigut validades amb la realització de mesures acústiques de les ballenes beluga de l'Oceanogràfic de Valéncia (supervisades pels cuidadors del parc), així com una gran quantitat de grabacions d'àudio de laboratori en condicions controlades.

Finalment es descriu el dispositiu de monitorització acústica pasiva SAMARUC, disenyat amb la funcionalitat d'incloure els algoritmes implementats en entorns d'aigües obertes, podent oferir dades de la grabació dels sons, la seua classificació, així com els indicadors del benestar mediambiental dels nostres mars i oceans. Aquestos indicadors inclueixen els nivells de so submarí tal com es diu al descriptor 11 de la Directiva Marina Europea. Es per aço que es preveu que aquesta línia d'investigació tinga un auge considerable als anys futurs.