New Insights in Prediction and Dynamic Modeling from Non-Gaussian Mixture Processing Methods

Abstract

[EN] This thesis considers new applications of non-Gaussian mixtures in the framework of statistical signal processing and pattern recognition. The non-Gaussian mixtures were implemented by mixtures of independent component analyzers (ICA). The fundamental hypothesis of ICA is that the observed signals can be expressed as a linear transformation of a set of hidden variables, usually referred to as sources, which are statistically independent. This independence allows factoring the original M-dimensional probability density function (PDF) of the data as a product of one-dimensional probability densities, greatly simplifying the modeling of the data. ICA mixture models (ICAMM) provide further flexibility by alleviating the independency requirement of ICA, thus allowing the model to obtain local projections of the data without compromising its generalization capabilities. Here are explored new possibilities of ICAMM for the purposes of estimation and classification of signals.

The thesis makes several contributions to the research in non-Gaussian mixtures: (i) a method for maximum-likelihood estimation of missing data, based on the maximization of the PDF of the data given the ICAMM; (ii) a method for Bayesian estimation of missing data that minimizes the mean squared error and can obtain the confidence interval of the prediction; (iii) a generalization of the sequential dependence model for ICAMM to semi-supervised or supervised learning and multiple chains of dependence, thus allowing the use of multimodal data; and (iv) introduction of ICAMM in diverse novel applications, both for estimation and for classification.

The developed methods were validated via an extensive number of simulations that covered multiple scenarios. These tested the sensitivity of the proposed methods with respect to the following parameters: number of values to estimate; kinds of source distributions; correspondence of the data with respect to the assumptions of the model; number of classes in the mixture model; and unsupervised, semi-supervised, and supervised learning. The performance of the proposed methods was evaluated using several figures of merit, and compared with the performance of multiple classical and state-of-the-art techniques for estimation and classification.

Aside from the simulations, the methods were also tested on several sets of real data from different types: data from seismic exploration studies; ground penetrating radar surveys; and biomedical data. These data correspond to the following applications: reconstruction of damaged or missing data from ground-penetrating radar surveys of historical walls; reconstruction of damaged or missing data from a seismic exploration survey; reconstruction of artifacted or missing electroencephalographic (EEG) data; diagnosis of sleep disorders; modeling of the brain response during memory tasks; and exploration of EEG data from subjects performing a battery of neuropsychological tests. The obtained results demonstrate the capability of the proposed methods to work on problems with real data. Furthermore, the proposed methods are general-purpose and can be used in many signal processing fields.

[ES] Esta tesis considera nuevas aplicaciones de las mezclas no Gaussianas dentro del marco de trabajo del procesado estadístico de señal y del reconocimiento de patrones. Las mezclas no Gaussianas fueron implementadas mediante mezclas de analizadores de componentes independientes (ICA). La hipótesis fundamental de ICA es que las señales observadas pueden expresarse como una transformación lineal de un grupo de variables ocultas, normalmente llamadas fuentes, que son estadísticamente independientes. Esta independencia permite factorizar la función de densidad de probabilidad (PDF) original M-dimensional de los datos como un producto de densidades unidimensionales, simplificando ampliamente el modelado de los datos. Los modelos de mezclas ICA (ICAMM) aportan una mayor flexibilidad al relajar el requisito de independencia de ICA, permitiendo que el modelo obtenga proyecciones locales de los datos sin comprometer su capacidad de generalización. Aquí se exploran nuevas posibilidades de ICAMM para los propósitos de estimación y clasificación de señales.

La tesis realiza varias contribuciones a la investigación en mezclas no Gaussianas: (i) un método de estimación de datos faltantes por máxima verosimilitud, basado en la maximización de la PDF de los datos dado el ICAMM; (ii) un método de estimación Bayesiana de datos faltantes que minimiza el error cuadrático medio y puede obtener el intervalo de confianza de la predicción; (iii) una generalización del modelo de dependencia secuencial de ICAMM para aprendizaje supervisado o semi-supervisado y múltiples cadenas de dependencia, permitiendo así el uso de datos multimodales; y (iv) introducción de ICAMM en varias aplicaciones novedosas, tanto para estimación como para clasificación.

Los métodos desarrollados fueron validados mediante un número extenso de simulaciones que cubrieron múltiples escenarios. Éstos comprobaron la sensibilidad de los métodos propuestos con respecto a los siguientes parámetros: número de valores a estimar; tipo de distribuciones de las fuentes; correspondencia de los datos con respecto a las suposiciones del modelo; número de clases en el modelo de mezclas; y aprendizaje supervisado, semi-supervisado y no supervisado. El rendimiento de los métodos propuestos fue evaluado usando varias figuras de mérito, y comparado con el rendimiento de múltiples técnicas clásicas y del estado del arte para estimación y clasificación.

Además de las simulaciones, los métodos también fueron probados sobre varios grupos de datos de diferente tipo: datos de estudios de exploración sísmica; exploraciones por radar de penetración terrestre; y datos biomédicos. Estos datos corresponden a las siguientes aplicaciones: reconstrucción de datos dañados o faltantes de exploraciones de radar de penetración terrestre de muros históricos; reconstrucción de datos dañados o faltantes de un estudio de exploración sísmica; reconstrucción de datos electroencefalográficos (EEG) dañados o artefactados; diagnóstico de desórdenes del sueño; modelado de la respuesta del cerebro durante tareas de memoria; y exploración de datos EEG de sujetos durante la realización de una batería de pruebas neuropsicológicas. Los resultados obtenidos demuestran la capacidad de los métodos propuestos para trabajar en problemas con datos reales. Además, los métodos propuestos son de propósito general y pueden utilizarse en muchos campos del procesado de señal.

[CA] Aquesta tesi considera noves aplicacions de barreges no Gaussianes dins del marc de treball del processament estadístic de senyal i del reconeixement de patrons. Les barreges no Gaussianes van ser implementades mitjançant barreges d'analitzadors de components independents (ICA). La hipòtesi fonamental d'ICA és que els senyals observats poden ser expressats com una transformació lineal d'un grup de variables ocultes, comunament anomenades fonts, que són estadísticament independents. Aquesta independència permet factoritzar la funció de densitat de probabilitat (PDF) original M-dimensional de les dades com un producte de densitats de probabilitat unidimensionals, simplificant àmpliament la modelització de les dades. Els models de barreges ICA (ICAMM) aporten una major flexibilitat en alleugerar el requeriment d'independència d'ICA, permetent així que el model obtinga projeccions locals de les dades sense comprometre la seva capacitat de generalització. Ací s'exploren noves possibilitats d'ICAMM pels propòsits d'estimació i classificació de senyals.

Aquesta tesi aporta diverses contribucions a la recerca en barreges no Gaussianes: (i) un mètode d'estimació de dades faltants per màxima versemblança, basat en la maximització de la PDF de les dades donat l'ICAMM; (ii) un mètode d'estimació Bayesiana de dades faltants que minimitza l'error quadràtic mitjà i pot obtenir l'interval de confiança de la predicció; (iii) una generalització del model de dependència seqüencial d'ICAMM per entrenament supervisat o semi-supervisat i múltiples cadenes de dependència, permetent així l'ús de dades multimodals; i (iv) introducció d'ICAMM en diverses noves aplicacions, tant per a estimació com per a classificació.

Els mètodes desenvolupats van ser validats mitjançant una extensa quantitat de simulacions que cobriren múltiples situacions. Aquestes van verificar la sensibilitat dels mètodes proposats amb respecte als següents paràmetres: nombre de valors per estimar; mena de distribucions de les fonts; correspondència de les dades amb respecte a les suposicions del model; nombre de classes del model de barreges; i aprenentatge supervisat, semi-supervisat i no-supervisat. El rendiment dels mètodes proposats va ser avaluat mitjançant diverses figures de mèrit, i comparat amb el rendiments de múltiples tècniques clàssiques i de l'estat de l'art per a estimació i classificació.

A banda de les simulacions, els mètodes van ser verificats també sobre diversos grups de dades reals de diferents tipus: dades d'estudis d'exploració sísmica; exploracions de radars de penetració de terra; i dades biomèdiques. Aquestes dades corresponen a les següents aplicacions: reconstrucció de dades danyades o faltants d'estudis d'exploracions de radar de penetració de terra sobre murs històrics; reconstrucció de dades danyades o faltants en un estudi d'exploració sísmica; reconstrucció de dades electroencefalogràfiques (EEG) artefactuades o faltants; diagnosi de desordres de la son; modelització de la resposta del cervell durant tasques de memòria; i exploració de dades EEG de subjectes realitzant una bateria de tests neuropsicològics. Els resultats obtinguts han demostrat la capacitat dels mètodes proposats per treballar en problemes amb dades reals. A més, els mètodes proposats són de propòsit general i poden fer-se servir en molts camps del processament de senyal.