Evaluation of strategies for the adaptation of large neural models to the task of machine translation in constrained scenarios

Abstract

[ES] Históricamente, la traducción automática (TA) ha sido una de las áreas más activas dentro de la inteligencia artificial y, más precisamente, dentro del campo del aprendizaje automático. Gracias al importante progreso en el entrenamiento de grandes redes neuronales utilizando grandes colecciones de datos que han aportado los principales proveedores tecnológicos, como Google, Meta, Microsoft, etc., la traducción automática multilingüe y los grandes modelos de lenguaje se han convertido en productos básicos que abordan tareas amplias que en algunos casos carecen de especificidad. Aunque el rendimiento general de estos modelos está fuera de discusión, no está claro en qué medida también logran una precisión superior para dominios específicos con acceso limitado a grandes infraestructuras informáticas. En este contexto, este trabajo evalúa el rendimiento de grandes modelos cuando se adaptan a tareas de TA con factores limitantes, como especificidades de dominio, pares de idiomas involucrados y capacidad de cómputo. Para ser más precisos, este trabajo evalúa la aplicabilidad de modelos neuronales grandes en comparación con modelos base sólidos al traducir del inglés a idiomas europeos dentro del dominio médico en el marco del proyecto europeo INTERACT-EUROPE.

[EN] Historically, machine translation (MT) has been one of the most active areas within artificial intelligence and more precisely, within the field of machine learning. Thanks to the significant progress in training large neural networks on massive collections of data brought to the table by major technological providers, such as Google, Meta, Microsoft, etc., multilingual MT and large language models have become staple products tackling broad tasks that in some cases lack specificity. Although the overall performance of these models is out-of-question, it is not clear to which degree they also achieve superior accuracy for specific domains with limited access to large computing infrastructures. In this context, this work evaluates the performance of large models when they are adapted to MT tasks with limiting factors, such as domain specificities, language pairs involved and computing power. To be more precise, this work evaluates the applicability of large neural models in comparison with strong baselines when translating from English into European languages within the medical domain in the framework of the European project INTERACT-EUROPE.