Online Learning Techniques for Neural Translation Systems

Abstract

[EN] Machine Translation systems have been used since their inception by professional translators to speed up and ease their work. Those systems receive professionally edited translations through their use, which could potentially improve their performance. In the last decades, Artificial Neural Networks have been used to develop complete Machine Translation systems to great success. In this work two online learning algorithms for Artificial Neural Networks have been used to enhance already trained neural translators. A wide array of experiments have been carried out to find the optimal hyperparameters for the algorithms in each task, and then the performance of those systems, adapted with each algorithm with their empirically found optimal set of hyperparameters, has been measured before and after in four translation tasks, and conclusions have been extracted on how they improved or worsened. A modification of a neural translator codebase has been carried out, along with the implementation of one of the algorithms and the development of new codebase to provide an interface to perform experiments in an automated way. One additional family of algorithms has been implemented and tested with the available model and tasks to no avail. Finally, possible future lines of research on adaptation of neural translators have been considered and discussed at the end of this work, along with their situation in the current state of Machine Translation.

[ES] Los sistemas de traducción automática han sido utilizados desde su concepción por traductores profesionales para acelerar y facilitar su tarea. Estos sistemas reciben traducciones editadas profesionalmente a través de su uso, que pueden potencialmente mejorar su rendimiento. En las últimas décadas, se han utilizado redes neuronales artificiales para desarrollar sistemas de traducción automática completos con éxito. En este trabajo se han usado dos algoritmos de aprendizaje online para mejorar redes neuronales ya entrenadas. Un amplio abanico de experimentos se ha llevado a cabo para encontrar el conjunto óptimo de hiperpárametros para los algoritmos en cada tarea, y se ha calculado el rendimiento de estos sistemas, adaptados con cada algoritmo con sus hiperparámetros óptimos encontrados de forma empírica. Se han extraído conclusiones acerca de la mejora o empeoramiento de los traductores. Se ha llevado a cabo una modificación de la base de código del traductor neuronal, junto con la implementación de uno de los algoritmos y el desarrollo de una nueva herramienta para proporcionar una interfaz para realizer experimentos de forma automatizada. Otra familia de algoritmos ha sido implementada y probada con los modelos y tareas disponibles, con resultados insatisfactorios. Finalmente, líneas potenciales de investigación en adaptación de traductores neuronales han sido consideradas y discutidas al final de este trabajo, junto con su situación en el estado actual de la traducción automática.

[CA] Els sistemes de traducció automàtica s’han fet servir desde la seva concepció per traductors professionals per a accelerar i facilitar la seva tasca. Aquestos sistemes reben traduccions editades professionalment a través del seu ús, lo que pot pontecialment millorar el seu rendiment. En les últimes décades, Xarxes Neuronals Artificials s’han utilitzat per a desenvolupar sistemes de traducció automàtica complets. En aquest treball s’han utilitzat dos algoritmes d’aprenentatge online per a millorar traductors neuronals, que ja havien acabat l’etapa d’entrenament. Una amplia gamma d’experiments s’han dut a terme per trobar els hiperparàmetres óptims per els algoritmes en cada tasca de traducció, i després el rendiment d’aquestos sistemes, adaptats amb cadascun dels algoritmes aprenentatge (configurats amb aquestos hiperparàmetres óptims), s’ha mesurat abans i després en quatre tasques de traducció, i s’han extret conclusions sobre com han millorat o empitjorat. S’ha modificat el codi del traductor neuronal, s’ha implementat un dels algoritmes presentants i s’ha desenvolupat un nou codi per oferir una interfície per a fer experiments de forma automatitzada. Una altra familia d’algoritmes ha sigut implementada i probada amb els models i tasques disponibles, sense resultats positius. Finalment, línies futures d’investigació en adaptació de traductors neuronals han sigut considerades i discutides al final d’aquest treball, a més de la seva situació en l’estat actual de la traducció automàtica.