Affective computing framework for social emotion elicitation and recognition using artificial intelligence

Abstract

[ES] El campo de la computación afectiva es un área que ha surgido con gran impulso y está en constante evolución. Este campo logra integrar psicofisiología, informática, ingeniería biomédica e inteligencia artificial, desarrollando sistemas capaces de inducir y reconocer emociones de manera automática. Su enfoque principal es el estudio del comportamiento humano a través de las emociones, las cuales desempeñan un papel fundamental en acciones como la interacción social, la toma de decisiones o la memoria. Recientemente, los avances tecnológicos han posibilitado el desarrollo de sistemas inteligentes humano-máquina que antes no eran factibles. Elementos como la realidad virtual y los modelos generativos de inteligencia artificial están adquiriendo un papel relevante en el campo de la computación afectiva. La combinación de estas tecnologías puede dar lugar a experimentaciones mucho más realistas que, junto con el reconocimiento automático de respuestas fisiológicas, podrían constituir una metodología robusta para evocar e identificar estados emocionales en entornos de dinámicas sociales. Esta tesis se centra en la evocación y reconocimiento de emociones en realidad virtual mediante la creación del primer humano virtual, basado en un modelo de lenguaje generativo, que permite mantener conversaciones a tiempo real con un humano. Se han medido diversas señales fisiológicas y desarrollado herramientas de procesamiento de señales para monitorizar las respuestas de manera automática. A partir de esto, se ha evaluado y validado no solo la evocación y reconocimiento de emociones mediante aprendizaje automático, sino también el reconocimiento de sujetos con síntomas depresivos. El trabajo desarrollado en esta tesis presenta contribuciones relevantes, tanto para el campo de la computación afectiva, como para otras áreas afines como el procesamiento de señales y las interacciones humano-máquina. Las herramientas desarrolladas junto con modelos novedosos de la inteligencia artificial consiguen realizar una experimentación, en entornos de dinámicas sociales humanas, nunca antes diseñada. Los resultados muestran como este trabajo es capaz de modelizar información tan relevante como emociones y síntomas depresivos de la persona con la que se habla. Campos como la psicología, medicina o educación pueden utilizar muchas de las herramientas desarrolladas en esta tesis con tal de aportar más información en la toma de decisiones o en la interacción social.

[CA] El camp de la computació afectiva és un àmbit que ha sorgit amb gran impuls i està en constant evolució. Aquest camp aconsegueix integrar psicofisiologia, informàtica, enginyeria biomèdica i intel·ligència artificial, desenvolupant sistemes capaços d'induir i reconèixer emocions de manera automàtica. El seu enfocament principal és l'estudi del comportament humà a través de les emocions, les quals juguen un paper fonamental en accions com la interacció social, la presa de decisions o la memòria. Recentment, els avanços tecnològics han possibilitat el desenvolupament de sistemes intel·ligents humà-màquina que abans no eren factibles. Elements com la realitat virtual i els models generatius d'intel·ligència artificial estan adquirint un paper rellevant en el camp de la computació afectiva. La combinació d'aquestes tecnologies pot donar lloc a experimentacions molt més realistes que, juntament amb el reconeixement automàtic de respostes fisiològiques, podrien constituir una metodologia robusta per evocar i identificar estats emocionals en entorns de dinàmiques socials. Aquesta tesi es centra en la evocació i reconeixement d'emocions en realitat virtual mitjançant la creació del primer humà virtual, basat en un model de llenguatge generatiu, que permet mantenir converses en temps real amb un humà. S'han mesurat diverses senyals fisiològiques i desenvolupat eines de processament de senyals per monitoritzar les respostes de manera automàtica. A partir d'això, s'ha avaluat i validat no només la evocació i reconeixement d'emocions mitjançant aprenentatge automàtic, sinó també el reconeixement de subjectes amb símptomes depressius. El treball desenvolupat en aquesta tesi presenta contribucions rellevants, tant per al camp de la computació afectiva com per a altres àrees afins com el processament de senyals i les interaccions humà-màquina. Les eines desenvolupades juntament amb models innovadors d'intel·ligència artificial aconsegueixen realitzar una experimentació en entorns de dinàmiques socials humanes que mai abans s'havia dissenyat. Els resultats mostren com aquest treball és capaç de modelitzar informació tan rellevant com emocions i símptomes depressius de la persona amb la qual es parla. Àrees com la psicologia, la medicina o l'educació poden utilitzar moltes de les eines desenvolupades en aquesta tesi per a proporcionar més informació en la presa de decisions o en la interacció social.

[EN] The field of affective computing is an area that has emerged with great momentum and is constantly evolving. This field integrates psychophysiology, computer science, biomedical engineering, and artificial intelligence, developing systems capable of inducing and recognizing emotions automatically. Its main focus is the study of human behavior through emotions, which play a fundamental role in actions such as social interaction, decision-making, or memory. Recently, technological advances have made possible the development of human-machine intelligent systems that were previously unattainable. Elements such as virtual reality and generative models of artificial intelligence are becoming increasingly relevant in the field of affective computing. The combination of these technologies could lead to much more realistic experiments that, along with automatic recognition of physiological responses, could constitute a robust methodology for evoking and identifying emotional states in social dynamic environments. This thesis focuses on the elicitation and recognition of emotions in virtual reality through the creation of the first virtual human, based on a generative language model, capable of engaging real-time conversations with a human. Various physiological signals have been measured, and signal processing tools have been developed to monitor responses automatically. Based on this, the elicitation and recognition of emotions through machine learning have been evaluated and validated, as well as the recognition of subjects with depressive symptoms. The work developed in this thesis presents relevant contributions, not only to the field of affective computing but also, to related areas such as signal processing and human-machine interactions. The tools developed, along with innovative artificial intelligence models, enable experimentation in human social dynamics environments that have never been designed before. The results demonstrate how this work is capable of modeling such relevant information as emotions and depressive symptoms of the person being interacted with. Fields such as psychology, medicine, or education can utilize many of the tools developed in this thesis to provide more information in decision-making or social interaction processes.