Adaptation of Large Language Models for Machine Translation tasks

Abstract

[EN] Machine Translation (MT) is an important field within machine learning, where the development of large language models has shown great potential to improve current translation systems. Thanks to the pre-trained models provided by large technology companies such as Meta, Mistral AI or Google, multilingual machine translation has experienced a remarkable improvement in recent years. In this context, this work will evaluate the performance of the main large language models adapted to specific translation tasks in different language pairs. To this end, we will make use of data, technology, and expertise from the MLLP group of VRAIN, acquired within the framework of research and technology transfer projects developed in recent years.

[ES] La traducción automática (MT, del inglés Machine Translation) es un campo importante dentro del aprendizaje automático, en el que el desarrollo de los modelos de lenguaje grandes ha demostrado tener un gran potencial para mejorar los sistemas actuales de traducción. Gracias a los modelos preentrenados que han aportado grandes empresas tecnológicas como Meta, Mistral AI o Google, la traducción automática multilingüe ha experimentado una notable mejora en los últimos años. En este contexto, este trabajo evaluará el rendimiento de los principales modelos de lenguaje grandes adaptados a tareas específicas de traducción en distintos pares de lenguas. Para ello, se hará uso de la infraestructura, datos y experiencia aportados por el grupo MLLP del VRAIN, adquiridos en el marco de proyectos de investigación y transferencia tecnológica desarrollados en los últimos años.

[CA] La traducció automàtica (MT, de l’anglés Machine Translation) és un camp important dins de l’aprenentatge automàtic, en el qual el desenvolupament dels models de llenguatge grans ha demostrat tindre un gran potencial per a millorar els sistemes actuals de traducció. Gràcies als models pre-entrenats que han aportat grans empreses tecnològiques com a Meta, Mistralenca AI o Google, la traducció automàtica multilingüe ha experimentat una notable millora en els últims anys. En este context, este treball avaluarà el rendiment dels principals models de llenguatge grans adaptats a tasques específiques de traducció en diferents parells de llengües. Per a això, es farà ús de la infraestructura, dades i experiència aportats pel grup MLLP del VRAIN, adquirits en el marc de projectes d’investigació i transferència tecnològica desenvolupats en els últims anys.