Traducción interactiva basada en segmentos usando grandes modelos de lenguaje

Abstract

[ES] Hoy en día las máquinas no son capaces de ofrecer traducciones de suficiente calidad en muchos ámbitos por sí mismas. Sin embargo, el tiempo que emplean en obtener dichas traducciones es mucho menor que el que necesitaría un traductor humano. La traducción automática interactiva surge como un paradigma que combina la iniciativa de la máquina y la supervisión de un humano experto. En concreto, en un sistema de traducción interactiva basado en segmentos el procedimiento es el siguiente: primero, el ordenador ofrece una traducción preliminar, después, el traductor humano verifica qué partes de la traducción son correctas e introduce algunos (pocos) cambios. Con la nueva información provista por el humano, el ordenador debe ser capaz de elaborar una traducción de mejor calidad. Tras varias iteraciones de este procedimiento se conseguirá una traducción de buena calidad (debido a la supervisión humana) en un tiempo menor del que emplearía un traductor humano (gracias al apoyo de la máquina).

El auge de los grandes modelos de lenguaje y las posibilidades que nos ofrecen invitan a introducirlos también en este área. En este trabajo se seleccionarán los modelos que puedan ser más apropiados para utilizarlos en un sistema de traducción interactiva basado en segmentos. Adicionalmente habrán de tenerse en cuenta las restricciones de recursos. Probablemente habrá de hacerse un fine-tuning de dichos modelos y las maquinas disponibles deberán ser capaces de realizar dicho proceso.

Para evaluar las prestaciones del sistema a desarrollar se utilizará una porción del dataset Europarl. Concretamente se evaluarán las traducciones entre los pares de lenguas francés-inglés, alemán-inglés y español-inglés. Para cada dirección de traducción se realizará un fine-tuning de cada modelo, se adaptará la generación de texto a una generación en haz restringida y se realizará una simulación de interacción con un traductor humano. Como métricas de evaluación se usarán tanto la puntuación BLEU de las traducciones obtenidas sin supervisión humana, como la tasa de error de palabra (WSR) y la tasa de movimientos de ratón (MAR) de la simulación.

[EN] Today machines are not capable of offering translations of sufficient quality in many applications. However, the time they spend obtaining these translations is much less than what a human translator would need. Interactive machine translation emerges as a paradigm that combines the initiative of the machine and the supervision of an expert human. Specifically, in a segment-based interactive translation system the procedure is as follows: first, the computer offers a preliminary translation, then the human translator verifies which parts of the translation are correct and introduces some (few) changes. With the new information provided by the human, the computer should be able to produce a better quality translation. After several iterations of this procedure, a good quality translation will be achieved (due to human supervision) in less time than a human translator would use (thanks to the support of the machine).

The rise of large language models and the possibilities they offer us invite us to also introduce them in this area. In this work, the models that may be most appropriate for use in an interactive translation system based on segments will be selected. Additionally, resource restrictions must be taken into account. Probably fine-tuning of these models will have to be done and the available machines must be capable of carrying out this process.

To evaluate the performance of the system to be developed, a portion of the Europarl dataset will be used. Specifically, translations between the French-English, German-English and Spanish-English language pairs will be evaluated. For each translation direction, a fine-tuning of each model will be carried out, the text generation will be adapted to a restricted beam generation and a simulation of interaction with a human translator will be carried out. Both the BLEU score of the translations obtained without human supervision, as well as the word error rate (WSR) and the mouse movement rate (MAR) of the simulation will be used as evaluation metrics.