A Study of Feature Selection Methods for Classification

Abstract

[ES] En este proyecto se implementarán varias técnicas de selección de características que se aplican para mejorar el rendimiento de la clasificación automática. Se analizarán varios problemas de clasificación de un repositorio de bases de datos disponible públicamente correspondiente al análisis de datos biofísicos. Esos problemas podrían incluir los siguientes temas médicos: arritmia; cáncer de mama; insuficiencia cardiaca; y virus de la hepatitis C. Los datos consisten en características extraídas de señales electrocardiográficas (ECG), señales electroencefalográficas (EEG), imágenes médicas, anamnesis, etc. En algunos casos, podría ser necesario un paso de preprocesamiento para tratar la normalización, la eliminación de artefactos y los datos faltantes. El objetivo de los métodos de selección de características es obtener una lista ordenada del conjunto completo de características de acuerdo con algunos criterios definidos. A partir de esta clasificación de características se puede obtener un conjunto más pequeño de características que permite mejorar el rendimiento de la clasificación y evitar un posible sobreajuste del modelo de clasificación entrenado. En este proyecto, se realiza una comparación de los métodos SF, incluidos los métodos de selección de características secuenciales (SFS) y basados ​​en relieve. Como clasificadores, consideraremos el análisis discriminante lineal (LDA), el análisis discriminante cuadrático (QDA) y la máquina de vectores de soporte (SVM), entre otros. La calidad de los resultados de la clasificación se evaluará utilizando diferentes rangos de la lista de clasificación de características y varios índices como precisión, precisión equilibrada, matriz de confusión, ¿ Además, se estimará el costo computacional de los diferentes casos de clasificación.

[EN] This project will implement several techniques of feature selection applied to improve automatic classification performance. Several classification problems from a publicly available database repository corresponding to biophysical data analysis will be analyzed. Those problems could include the following medical subjects: arrhythmia; breast cancer; heart failure; and hepatitis C virus. The data consist of features extracted from electrocardiographic (ECG) signals, electroencephalographic (EEG) signals, medical images, anamnesis, etc. In some cases, a preprocessing step could be required to deal with normalization, artifact removing, and missing data. The objective of feature selection methods is to obtain a sorted list of the full set of features according to some defined criteria. From this ranking of features a smaller set of features can be obtained that allows the classification performance be improved and avoid possible overfitting of the trained classification model. In this project, a comparison of SF methods is made including Relief-based and sequential feature selection (SFS) methods. As classifiers we will consider linear discriminant analysis (LDA), quadratic discriminant analysis (QDA), and support vector machine (SVM) among others. The quality of classification results will be evaluated using different ranges of the feature ranking list and several indices such as accuracy, balanced accuracy, confusion matrix, ¿ Besides, computational cost of the different cases of classification will be estimated.