Desarrollo de una herramienta para medir la experiencia de usuario basada en neurotecnología y machine learning

Abstract

[ES] La evaluación del efecto de las aplicaciones de software en los usuarios es esencial para garantizar la calidad. Para lograr evaluaciones más exactas y objetivas, se ha implementado el uso de monitoreo de datos fisiológicos. Específicamente, el procesamiento de las señales electroencefalográficas ha probado ser eficaz para identificar el estado cognitivo y emocional de los usuarios. Compañías como BitBrain han apostado por estas tecnologías, creando dispositivos que registran estas señales y software que facilita su análisis y representación gráfica. Dicho software evalúa el estado del usuario mediante cuatro indicadores principales: atracción o valencia, retención de memoria, nivel de implicación y carga cognitiva. En este trabajo, se presenta una herramienta open source capaz de procesar señales EEG y transformarlas en estas métricas, además de brindar al usuario la visualización de las mismas, mostrando en pantalla las señales procesadas y mapas de calor para visualizar la actividad cerebral en cada momento. Para el procesamiento de los datos en crudo a procesados se ha reentrenado un modelo de aprendizaje automático, basándonos en un trabajo previo. Para la obtención de datos habilitados para el entrenamiento del mismo, se ha realizado un experimento capaz de estimular cada una de las métricas que van a formar parte de la herramienta. Además, para este proceso, se han aplicado técnicas como ”Data Augmentation” para ampliar el dataset y obtener modelos más robustos. Por último, tras realizar todo esto, se ha llevado a cabo la creación de la herramienta llamada ”BrainScope”.

[EN] The evaluation of the effect of software applications on users is essential to ensure quality. To achieve more accurate and objective assessments, the use of physiological data monitoring has been implemented. Specifically, the processing of electroencephalographic signals has proven effective in identifying the cognitive and emotional state of users. Companies like BitBrain have invested in these technologies, creating devices that record these signals and software that facilitates their analysis and graphical representation. This software evaluates the user’s state using four main indicators: attraction or valence, memory retention, engagement level, and cognitive load. This work presents an open-source tool capable of processing EEG signals and transforming them into these metrics, in addition to providing the user with visualization, displaying processed signals and heat maps on screen to visualize brain activity in real-time. For processing raw data into processed data, a machine learning model has been retrained based on a previous work. To obtain data suitable for training the model, an experiment was conducted to stimulate each of the metrics that will be part of the tool. Furthermore, techniques such as ”Data Augmentation” have been applied in this process to expand the dataset and achieve more robust models. Finally, after completing all this, the creation of the tool called ”BrainScope” has been carried out.

[CA] L’avaluació de l’efecte de les aplicacions de programari en els usuaris és essencial per garantir la qualitat. Per aconseguir avaluacions més exactes i objectives, s’ha implementat l’ús de monitoratge de dades fisiològiques. Específicament, el processament de les senyals electroencefalogràfiques ha demostrat ser eficaç per identificar l’estat cognitiu i emocional dels usuaris. Empreses com BitBrain han apostat per aquestes tecnologies, creant dispositius que registren aquestes senyals i programari que facilita la seva anàlisi i representació gràfica. Aquest programari avalua l’estat de l’usuari mitjançant quatre indicadors principals: atracció o valència, retenció de memòria, nivell d’implicació i càrrega cognitiva. En aquest treball, es presenta una eina de codi obert capaç de processar senyals EEG i transformar-les en aquestes mètriques, a més de proporcionar a l’usuari la visualització de les mateixes, mostrant en pantalla les senyals processades i mapes de calor per visualitzar l’activitat cerebral en temps real. Per al processament de les dades en cru a processades, s’ha reentrenat un model d’aprenentatge automàtic basant-se en un treball previ. Per a l’obtenció de dades habilitades per a l’entrenament del model, s’ha realitzat un experiment capaç d’estimular cadascuna de les mètriques que formaran part de l’eina. A més, per a aquest procés, s’han aplicat tècniques com el ”Data Augmentation” per ampliar el conjunt de dades i obtenir models més robustos. Finalment, després de completar tot això, s’ha dut a terme la creació de l’eina anomenada ”BrainScope”.