Reconocimiento multimodal de emociones mediante el uso de redes neuronales artificiales

Abstract

[ES] En este trabajo se desarrolla un reconocedor multimodal de emociones humanas mediante el uso de redes neuronales artificiales. Para ello, se diseñan y entrenan tres modelos capaces de reconocer emociones a partir de imágenes de la cara, audios y texto, por separado. Entonces, se combinan dichos sistemas para crear uno multimodal, más robusto y preciso que sus partes. Sin embargo, hay que tener en cuenta que la expresión de emociones es, en cierto grado, dependiente de la cultura y el idioma, por lo que se propone especializar nuestro sistema en el idioma español. Además, para completar este proyecto, se desarrolla una aplicación web en Django capaz de incorporar dicho sistema multimodal. Está aplicación es capaz de detectar emociones en directo a partir de las imágenes obtenidas de la webcam y del audio del micrófono. Asimismo, la aplicación permite grabar y descargar una sesión anotada de detección en directo. Por último, cabe destacar que la utilidad de este proyecto es muy variada, desde sesiones de terapia psicológica, hasta recomendaciones musicales personalizadas, pasando por la educación o el márquetin.

[EN] In this project we develop a multimodal recognizer of human emotions using artificial neural networks. In order to accomplish it, we design and train three models, which are able to recognize emotions from facial images, audios and text, separately. Then we combine those systems to create one which is multimodal and more robust and precise than its parts. Despite this, we have to take into account that the expression of emotions is, to some extent, dependent on culture and language, and that is why we propose to specialize our system in the Spanish language. Moreover, to complete this Project, a web application in Django is developed, which is able to incorporate this multimodal system. This app can detect emotions either live from the images obtained from the webcam and the audio from the microphone, or from a video uploaded by the user, which is analyzed and returned to the user annotated via download. Likewise, the app allows the user to record and download an annotated session of live detection. Lastly, it should be noted that the applicability of this project is very diverse, from sessions of phycological therapy, to personalized musical recommendations, through education or marketing.