A Study of Late Fusion Methods for Multimodal Classification

Abstract

[ES] Este proyecto implementará varias técnicas de fusión tardía de datos aplicadas para mejorar el rendimiento de la clasificación multimodal automática. Se analizarán los repositorios de bases de datos disponibles públicamente correspondientes a diferentes problemas de clasificación (por ejemplo, diagnóstico médico, reconocimiento de emociones). Los datos consisten en características extraídas de diferentes modalidades, como señales (por ejemplo, electrocardiográficas, electroencefalográficas); imágenes, etc. Dependiendo de los datos, podría ser necesario un paso de preprocesamiento para lidiar con la normalización, la eliminación de artefactos, la dimensionalidad de los datos y los datos faltantes. Además, la sincronización de las modalidades de datos podría ser un tema importante si se utilizaran varias frecuencias de muestreo en la adquisición de datos. En este proyecto, los enfoques para realizar el análisis de fusión tardía incluirán estadísticas como la media y el máximo, y la votación por mayoría, aunque también se podrían implementar técnicas de aprendizaje profundo. El paso de fusión tardía se realiza utilizando las probabilidades posteriores obtenidas después de la clasificación, es decir, en una etapa de toma de decisiones. Entre los clasificadores que consideraremos se encuentran los siguientes: análisis discriminante lineal (LDA), análisis discriminante cuadrático (QDA), máquina de vectores de soporte (SVM), La calidad de los resultados de la clasificación se evaluará utilizando índices como precisión, precisión equilibrada , matriz de confusión, Además, se estimará y discutirá el costo computacional de los diferentes casos de clasificación, la varianza de los resultados y las curvas características de funcionamiento del receptor (ROC).

[EN] This project will implement several techniques of late data fusion applied to improve the performance of automatic multimodal classification. Publicly available database repositories corresponding to different classification problems (e.g., medical diagnosis, emotion recognition) will be analyzed. The data consist of features extracted from different modalities such as signals (e.g., electrocardiographic, electroencephalographic); images, etc. Depending on the data, a preprocessing step could be required to deal with normalization, artifact removing, data dimensionality, and missing data. Besides, synchronization of data modalities could be an important issue if several sampling frequency were used in data acquisition. In this project, the approaches to perform late fusion analysis will include statistics such as the mean and the maximum, and majority voting, although deep learning techniques also could be implemented. The late fusion step is done using the posterior probabilities obtained after classification, i.e., at a decision-making stage. Among the classifiers that we will consider are the following: linear discriminant analysis (LDA), quadratic discriminant analysis (QDA), and support vector machine (SVM), The quality of classification results will be evaluated using indices such as accuracy, balanced accuracy, confusion matrix, Besides, computational cost of the different cases of classification, variance of the results, and receiver operating characteristic (ROC) curves will be estimated and discussed.