A Study of Early Fusion Methods for Multimodal Classification

Abstract

[ES] Este proyecto implementará varias técnicas de fusión temprana de datos, es decir, fusión de nivel de entrada, aplicadas para mejorar el rendimiento de la clasificación multimodal automática. Se analizarán los repositorios de bases de datos disponibles públicamente correspondientes a diferentes problemas de clasificación (por ejemplo, diagnóstico médico, reconocimiento de emociones). Los datos consisten en características extraídas de diferentes modalidades, como señales (por ejemplo, electrocardiográficas, electroencefalográficas); imágenes, etc. Dependiendo de los datos, podría ser necesario un paso de preprocesamiento para lidiar con la normalización, la eliminación de artefactos, la dimensionalidad de los datos y los datos faltantes. Además, la sincronización de las modalidades de datos podría ser un tema importante si se utilizaran varias frecuencias de muestreo en la adquisición de datos. En este proyecto, los enfoques para realizar análisis de fusión temprana incluirán correlación canónica (CCA) y análisis de componentes independientes (ICA), aunque también se podrían implementar técnicas de aprendizaje profundo. Una vez que se ha realizado el primer paso de fusión, el vector de características está listo para la clasificación. Entre los clasificadores que consideraremos se encuentran los siguientes: análisis discriminante lineal (LDA), análisis discriminante cuadrático (QDA), máquina de vectores de soporte (SVM),¿ La calidad de los resultados de la clasificación se evaluará utilizando índices como precisión, precisión equilibrada , matriz de confusión, ¿ Además, se estimará y discutirá el costo computacional de los diferentes casos de clasificación, la varianza de los resultados y las curvas características de funcionamiento del receptor (ROC).

[EN] This project will implement several techniques of early data fusion, i.e., input level fusion, applied to improve the performance of automatic multimodal classification. Publicly available database repositories corresponding to different classification problems (e.g., medical diagnosis, emotion recognition) will be analyzed. The data consist of features extracted from different modalities such as signals (e.g., electrocardiographic, electroencephalographic); images, etc. Depending on the data, a preprocessing step could be required to deal with normalization, artifact removing, data dimensionality, and missing data. Besides, synchronization of data modalities could be an important issue if several sampling frequency were used in data acquisition. In this project, the approaches to perform early fusion analysis will include canonical correlation (CCA) and independent component analysis (ICA), although deep learning techniques also could be implemented. Once the early fusion step has been done, the feature vector is ready for classification. Among the classifiers that we will consider are the following: linear discriminant analysis (LDA), quadratic discriminant analysis (QDA), and support vector machine (SVM),¿ The quality of classification results will be evaluated using indices such as accuracy, balanced accuracy, confusion matrix, ¿ Besides, computational cost of the different cases of classification, variance of the results, and receiver operating characteristic (ROC) curves will be estimated and discussed.