Análisis multivariante del movimiento de la mirada y de la cabeza en conversaciones con avatares virtuales y desarrollo de modelos para la detección de síntomas depresivos.

Abstract

[ES] En este TFM se explora una manera de poder identificar a personas con síntomas depresivos de forma objetiva con un procedimiento estandarizado. En concreto se analizan datos del movimiento de la mirada y la cabeza de unas personas durante conversaciones con avatares virtuales emocionales. A partir de ellos se desarrollan y comparan diversos modelos predictivos tanto de clasificación de personas según si tienen o no síntomas depresivos como también otros modelos que estimen el grado de estos síntomas según el índice PHQ. En primer lugar, se realiza un análisis multivariante empleando la técnica de componentes principales (PCA) de las 104 características extraídas en 514 conversaciones de 92 personas distintas. Este análisis permite identificar como se relacionan las variables y agruparlas en función de estas relaciones. También se explora en el espacio de variables latentes si las conversaciones se agrupan en función de los individuos o en función del grado de sus síntomas depresivos. Además, se estudia si el estado de ánimo, el género o la ropa del avatar virtual influyen en el comportamiento de los individuos durante las conversaciones. En segundo lugar, se desarrollan modelos tanto para clasificación en función de la existencia de síntomas como predictivos del valor de PHQ empleando técnicas de minería de datos sobre las características extraídas de las conversaciones. Los modelos de clasificación se comparan entre ellos empleando la precisión, sensibilidad y especificidad mientras que los modelos de predicción del PHQ se comparan con el error cuadrático medio. En último lugar se aplican diversos modelos de Deep learning directamente sobre las series temporales de todas las conversaciones en lugar de usar las características que resumían las conversaciones en 514 valores. Se ajustan modelos para los dos objetivos (clasificación y predicción de PHQ) y se comparan entre ellos para determinar cuáles son más efectivos y también respecto a los obtenidos con técnicas de minería de datos.

[EN] This TFM explores a way to objectively identify people with depressive symptoms using a standardized procedure. Data on people's gaze and head movements during conversations with emotional virtual avatars are analyzed. From them, several predictive models are developed and compared, both for classifying people according to whether or not they have depressive symptoms as well as other models that estimate the degree of these symptoms according to the PHQ index. First, a multivariate analysis using principal components analysis (PCA) is performed on the 104 features extracted from 514 conversations with 92 different individuals. This analysis allows us to identify how the variables are related and to group them on the basis of these relationships. It the latent variable space, it is also examined whether the conversations are grouped according to the individuals or according to the level of their depressive symptoms. In addition, it is investigated whether the mood, gender or clothing of the virtual avatar influence the behavior of individuals during conversations. Second, models are developed for both classification based on the presence of symptoms and prediction of the PHQ scores using data mining techniques on the features extracted from the conversations. The classification models are compared with each other in terms of accuracy, sensitivity and specificity while the PHQ prediction models are compared with the mean square error. Finally, several deep learning models are applied directly on the time series of all conversations instead of using the features that summarized the conversations in 514 values. Different models are adjusted for the two objectives (PHQ classification and prediction) and compared between them to determine which are more effective and also with respect to those obtained with data mining techniques.