Emotion recognition system through voice for the reproduction of emotionally tuned music

Abstract

[EN] The performed project revolves around the analysis, design, and implementation of a system oriented to help people with autism spectrum disorder (ASD). Using the voice as input, it should recognize the emotions transmitted and play or generate music in response. We know that interpreting emotions can be difficult for people with these types of disorders and, often in social contexts, can mean awkward situations and misunderstandings between both parties. This can cause cracks in their interpersonal relationships and an evident inequality concerning neurotypical people. This TFM is born from the combined knowledge of different areas, such as computer graphics, artificial intelligence, emotional recognition in the human voice, and music therapy. It is mainly oriented towards people in the autism spectrum, although it can be extrapolated to other fields of music therapy (e.g., depression, stress, anxiety, Alzheimer's, among others). For this purpose, advanced algorithms based on neural networks will be used to identify emotional nuances and experience the music generated in response. In the first instance, the purpose of the system is to reduce inequalities between people, improve the social insertion of individuals with ASD, assist in their welfare, and motivate research in the preceding fields. The inclusion of similar systems in music streaming platforms is also contemplated, specifically in its recommendations section.

[ES] El proyecto realizado consiste en el análisis, diseño e implementación de un sistema orientado a la ayuda a personas con trastorno del espectro autista (TEA). Utilizando como entrada la voz, se deberá reconocer las emociones transmitidas a través de esta y reproducir o generar música en respuesta. Sabemos que la interpretación de emociones puede ser una tarea complicada para personas que presentan estos tipos de trastornos y, a menudo, en contextos sociales, puede significar situaciones incómodas y malentendidos entre ambas partes. Esto puede ocasionar fisuras en sus relaciones interpersonales y una clara desigualdad respecto a personas neurotípicas. Este TFM, nace de la combinación de diversas áreas, como son la informática gráfica, la inteligencia artificial, el reconocimiento emocional en la voz humana y la musicoterapia. Está orientado especialmente hacia personas que se encuentran en el espectro del autismo, aunque puede extrapolarse a otros campos de la musicoterapia (p.ej., depresión, estrés, ansiedad, Alzheimer, entre otros). Para ello, se utilizarán algoritmos avanzados basados en las redes neuronales que permitan identificar matices emocionales y experimentar la música generada como respuesta. En primera instancia, el objetivo del sistema es reducir desigualdades entre personas, mejorar la inserción social de individuos con TEA, asistir en su bienestar y motivar la investigación en los campos mencionados anteriormente. También, se contempla la inclusión de sistemas similares en plataformas de streaming de música, concretamente en su apartado de recomendaciones.

[CA] El projecte realitzat consisteix en l'anàlisi, disseny i implementació d'un sistema orientat a l'ajuda a persones amb trastorn de l'espectre autista (TEA). Utilitzant com a entrada la veu, s'haurà de reconèixer les emocions transmeses a través d'aquesta i reproduir o generar música en resposta. Sabem que la interpretació d'emocions pot ser una tasca complicada per a persones que presenten aquests tipus de trastorns i, sovint, en contextos socials, pot significar situacions incòmodes i malentesos entre totes dues parts. Això pot ocasionar fissures en les seues relacions interpersonals i una clara desigualtat respecte a persones neurotípiques. Aquest TFM, naix de la combinació de diverses àrees, com són la informàtica gràfica, la intel·ligència artificial, el reconeixement emocional en la veu humana i la musicoteràpia. Està orientat especialment cap a persones que es troben en l'espectre de l'autisme, encara que pot extrapolar-se a altres camps de la musicoteràpia (p. ex., depressió, estrès, ansietat, Alzheimer, entre altres). Per això, s'utilitzaran algorismes avançats basats en les xarxes neuronals que permeten identificar matisos emocionals i experimentar la música generada com a resposta. En primera instància, l'objectiu del sistema és reduir desigualtats entre persones, millorar la inserció social d'individus amb TEA, assistir en el seu benestar i motivar la investigació en els camps esmentats anteriorment. També, es contempla la inclusió de sistemes similars en plataformes de streaming de música, concretament en el seu apartat de recomanacions.