Adaptación al dominio mediante selección de datos

Abstract

[ES] Los transformers son una arquitectura neuronal que está arrasando dentro del área de la traducción automática pero uno de sus principales problemas es el gran número de muestras que necesita para su correcto funcionamiento. En este trabajo hemos afrontado el problema de la adaptación al dominio centrándonos en el reentrenamiento de modelos ya existentes para solventar la falta de muestras de entrenamiento y ahorrar el máximo tiempo de cómputo posible. Para realizar esta adaptación se han utilizado e implementado técnicas de selección de datos que utilizan modelos preentrenados para seleccionar que datos usar para nuestros reentrenamientos.

[EN] Transformers are a neuronal architecture that is taking machine translation by storm, but one of its main problems is the large number of samples needed for its correct operation. In this work, we have tackled the domain adaptation problem by focusing on the retraining of existing models to solve the lack of training samples and save as much computational time as possible. To perform this adaptation we have used and implemented data selection techniques that use pre-trained models to choose which data to use for our re-trainings.