Adaptation of Large Language Models for Streaming Machine Translation

Abstract

[CA] La traducció automàtica (MT, de l’anglés) és un àmbit fonamental dins de l’aprenentatge automàtic, on les xarxes neuronals han assolit avanços significatius que han impulsat la recerca en MT. Això s’ha vist encoratjat encara més per la proliferació de plataformes que faciliten la transmissió de contingut audiovisual en streaming (per exemple, YouTube, Twitch) i videoconferències (per exemple, Zoom, Webex). Aquestes plataformes han posat de manifest la necessitat d’adaptar els models i tècniques de MT convencionals al context de transmissió en temps real, és a dir, per a una entrada contínua (en streaming) i sota un temps de resposta determinat (latència). Els avanços en l’entrenament de grans xarxes neuronals amb col·leccions massives de dades per part dels principals proveïdors tecnològics, com ara Google, Meta i Microsoft, han conduït a l’aparició de models de MT multilingüe i grans models de llenguatge que poden ser utilitzats com a models fonamentals per abordar tasques posteriors específiques. En aquest context, aquest treball aprofundeix en l’avaluació de l’eficàcia dels models fonamentals quan s’adapten a tasques de MT, particularment per a MT en streaming. Per a això, utilitzarem dades, tecnologia i experiència del grup MLLP de VRAIN, adquirits en el marc de projectes de recerca i transferència de tecnologia desenvolupats en els últims anys.

[EN] Machine translation (MT) stands as a pivotal domain within machine learning, where the rise of neural networks has sparked significant advancements, propelling MT into a highly researched field. This has been further fostered by the proliferation of platforms facilitating audiovisual content streaming (e.g., YouTube, Twitch) and video conferencing (e.g., Zoom, Webex). These platforms have underscored the necessity of adapting conventional MT models and techniques to accommodate real-time streaming scenarios, which entails a continuous input stream to be translated under a given response time (latency). Progress in training large neural networks on massive collections of data by major technological providers, such as Google, Meta, and Microsoft, has led to the emergence of multilingual MT and large language models, which can be used as foundational models to tackle specific downstream tasks. In this context, this study delves into evaluating the efficacy of foundational models when adapted to MT tasks, particularly for streaming MT. To this end, we will make use of data, technology, and expertise from the MLLP group of VRAIN, acquired within the framework of research and technology transfer projects developed in recent years.

[ES] La traducción automática (MT, del inglés) es un área fundamental dentro del aprendizaje automático, donde las redes neuronales han alcanzado avances significativos que han impulsado la investigación en MT. Esto se ha visto fomentado aún más por la proliferación de plataformas que facilitan la transmisión de contenido audiovisual en streaming (por ejemplo, YouTube, Twitch) y videoconferencias (por ejemplo, Zoom, Webex). Estas plataformas han puesto de manifiesto la necesidad de adaptar los modelos y técnicas de MT convencionales al contexto de transmisión en tiempo real, esto es, para una entrada continua (en streaming) y bajo un tiempo de respuesta determinado (latencia). Los avances en el entrenamiento de grandes redes neuronales con colecciones masivas de datos por parte de los principales proveedores tecnológicos, como Google, Meta y Microsoft, han conducido a la aparición de modelos de MT multilingüe y grandes modelos de lenguaje que pueden usarse como modelos fundacionales para abordar tareas posteriores específicas. En este contexto, este trabajo profundiza en la evaluación de la eficacia de los modelos fundacionales cuando se adaptan a tareas de MT, particularmente para MT en streaming. Para ello, utilizaremos datos, tecnología y experiencia del grupo MLLP de VRAIN, adquiridos en el marco de proyectos de investigación y transferencia de tecnología desarrollados en los últimos años.