Detección de estados de ánimo usando técnicas de machine learning

Abstract

[ES] El estudio de los cambios en el estado de ánimo del usuario mientras utiliza un sistema software puede dar indicios de qué aspectos de la Interfaz de Usuario (IU) mejoran o em- peoran la experiencia de usuario (User eXperience ¿ UX). El cuerpo humano produce cier- tos estímulos y reacciones faciales al usar una aplicación software de forma inconsciente que pueden ser detectados a través del análisis de sus expresiones faciales (capturadas por medio de una cámara de video o webcam) en momentos determinados de su interacción.

Actualmente, existen algunas librerías para el análisis de vídeo que permiten catego- rizar ciertas expresiones faciales con emociones (alegría, enfado, desconcierto, etc.) pero no han sido utilizadas de forma sistemática para evaluar y mejorar IUs. En este Trabajo de Fin de Máster, se plantea el diseño e implantación de una herramienta de soporte pa- ra analizar las expresiones faciales de usuarios mientras interactúan con IUs. La imagen de vídeo capturada será analizada mediante diversas técnicas de aprendizaje automático (ej. Transfer Learning o Deep Learning). La herramienta a desarrollar, además de hacer el reconocimiento facial, deberá: i) grabar en vídeo al usuario mientras interacciona con el IU, usando la Webcam del ordenador¿ ii) capturar en vídeo la pantalla del ordenador¿ y iii) guardar un log indicando el tiempo y el resultado del análisis de la expresión facial (emo- ción dominante) con una cierta periodicidad. Estos tres ficheros estarán temporalmente sincronizados y podrán ser analizados con posterioridad para determinar la evolución del estado de ánimo (positiva o negativa) del usuario mientras interacciona con el IU. Para finalizar, se realizará una validación de los modelos utilizados con un conjunto de datos de prueba, una validación de estos mismos modelos en tiempo real con un experimento controlado donde los sujetos observan un vídeo mientras se analizan sus expresiones fa- ciales y, por último, se hará un estudio preliminar de la posible relación de aspectos del IU con cambios en el estado de ánimo del usuario orientado a la mejora de la experiencia de usuario.

[EN] The study of changes in the user¿s state of mind while using a software system can give clues as to which aspects of the User Interface (UI) improve or worsen the User eXpe- rience (UX). The human body produces certain stimuli and facial reactions when using a software application unconsciously that can be detected through the analysis of their facial expressions (captured by means of a video camera or webcam) at certain moments of their interaction.

Currently, there are some libraries for video analysis that allow to categorise certain facial expressions with emotions (joy, anger, bewilderment, etc.), but they have not been used systematically to evaluate and improve IUs. In this Master¿s Thesis, we propose the design and implementation of a support tool for analysing the facial expressions of users while they interact with IUs. The captured video image will be analysed using different machine learning techniques (e.g. Transfer Learning or Deep Learning). The tool to be developed, in addition to performing facial recognition, shall: i) video record the user while interacting with the IU, using the computer¿s Webcam¿ ii) video capture the com- puter screen¿ and iii) save a log indicating the time and the result of the facial expression analysis (dominant emotion) with a certain periodicity. These three files will be tempo- rally synchronised and can be analysed later to determine the evolution of the user¿s state of mind (positive or negative) while interacting with the UI. Finally, a validation of the models used will be carried out with a test data set, a validation of these same models in real time with a controlled experiment where the subjects watch a video while their facial expressions are analysed and, finally, a preliminary study of the possible relationship of aspects of the UI with changes in the user¿s mood oriented to the improvement of the user experience will be carried out.