Aplicación y evaluación de un sistema de traducción del habla en el ámbito de sesiones parlamentarias del Parlamento Europeo

Abstract

[CA] La traducció automàtica de la parla (SLT per les seues sigles en anglés, Spoken Language Translation) és una àrea dins de la intel·ligència artificial amb gran rellevància i uns avanços que s’han anat incrementant notablement durant els últims anys. Estos sistemes s’han basat en la idea de combinar un sistema de reconoixement automàtic de la parla (ASR per les seues sigles en anglés, Automatic Speech Recognition) i un sistema de traducció automàtica (MT per les seuse sigles en anglés, Machine Translation). Recentment, els models End-to-End (E2E) i l’arquitectura transformer estan tenint gran rellevància per la seua gran precisió i notables resultats. En aquest treball s’avalua el comportament d’estos sistemes SLT, usant el model Whisper desenvolupat pero OpenAI i el corpus Europarl-ST desenvolupat pel grup de la UPV ”Machine Learning and Language Processing” (MLLP), amb la finalitat de comparar el rendiment de sistemes SLT basats en models End-to-End amb altres models, com poden ser models híbrids o en cascada. Finalment, es duu a terme el desenvolupament d’una aplicació SLT que permet la transcripció i traducció d’àudio emprant la tecnologia de Whisper per a mostrar la gran utilitat i eficàcia d’estos sistemes.

[ES] La traducción automática del habla (SLT por sus siglas en inglés, Spoken Language Translation) es un área dentro de la inteligencia artificial con gran relevancia y unos avances que se han ido incrementando notablemente durante los últimos años. Estos sistemas se han basado en la idea de combinar un sistema de reconocimiento automático del habla (ASR por sus siglas en inglés, Automatic Speech Recognition) y un sistema de traducción automática (MT por sus siglas en inglés, Machine Translation). Recientemente, los modelos End-to-End (E2E) y la arquitectura transformer están teniendo gran relevancia por su gran precisión y notables resultados. En este trabajo se evalúa el comportamiento de estos sistemas SLT, usando el modelo Whisper desarrollado por OpenAI y el corpus Europarl-ST desarrollado por el grupo de la UPV ”Machine Learning and Language Processing” (MLLP), con el fin de comparar el rendimiento de sistemas SLT basados en modelos End-to-End con otros modelos, como pueden ser modelos híbridos o en cascada. Finalmente, se lleva a cabo el desarrollo de una aplicación SLT que permite la transcripción y traducción de audio empleando la tecnología de Whisper para mostrar la gran utilidad y eficacia de estos sistemas

[EN] Spoken Language Translation (SLT) is an area of artificial intelligence with great relevance and advances that have been increasing significantly in recent years. These systems are based on the idea of combining an Automatic Speech Recognition (ASR) system and a Machine Translation (MT) system. Recently, End-To-End (E2E) models and the transformer architecture have been gaining relevance due to their high accuracy and remarkable results. In this work we assess the behaviour of this SLT systems, using the Whisper model developed by OpenAI ant the Europarl-ST corpus developed by the group of the UPV called ”Machine Learning and Language Processing” (MLLP) in order to compare the performance of SLT systems based in End-to-End models with other models, such as hybrid or cascade models. Finally, the development of an SLT application that allows the transcription and translation of audio using Whisper technology is carried out to show the great usefulness and efficiency of these systems.