A comparative study of Neural Machine Translation frameworks for the automatic translation of open data resources

Abstract

[EN] Machine Translation (MT) is one of the most active areas in Artificial Intelligence, particularly in Pattern Recognition. MT has recently received a great deal of attention by key technology players such as Google, Facebook, Microsoft, etc. due to the performance boost experienced by MT technology thanks to the incorporation of artificial neural networks that constitute the backbone of deep learning. In this respect, the new era of Neural-based MT (NMT) systems has brought about accurate enough automatic translation to ease human communication in a multilingual society. In this work, conventional theoretical models behind NMT are introduced together with the required background to provide a comprehensive view. In addition, state-of-the-art NMT systems are built on top of two well-known frameworks for machine learning, Tensorflow and MXNet. These systems are trained using the data from two case studies. The first case is the Workshop on Machine Translation for the translation of broadcast news and European Parliament debates from German into English. The second case is poliMedia, UPV’s main repository for educational video lectures, which in this work is used for translation from Spanish into English. The developed systems are evaluated and compared with respect to their quality and efficiency, before being deployed in a real-world production environment such as poliMedia.

[ES] La traducción automática (MT) es una de les áreas más activas dentro de la inteligencia artificial, particularmente en el campo del reconocimiento de formas. Recientemente, esta área ha sido el foco de atención por parte de importantes figuras tecnológicas como Google, Facebook, Microsoft, etc. debido a las mejoras de rendimiento obtenidas por esta tecnología gracias a la incorporación de redes neuronales artificiales, que constituyen la espina dorsal del aprendizaje profundo. En este sentido, la nueva era de sistemas MT basados en redes neuronales (NMT) ha traído consigo traducciones automáticas lo suficientemente precisas como para facilitar la comunicación humana en una sociedad multilingüe. En este trabajo se explican los modelos teóricos que forman la base de NMT, así como los conocimientos previos necesarios para poder proporcionar una visión completa del área. Además, se desarrollan sistemas NMT de última generación utilizando dos conocidos frameworks de aprendizaje automático, Tensorflow y MXNet. Estos sistemas se entrenan con los datos de dos casos de estudio. El primero es el Workshop on Machine Translation para la traducción de comunicados de noticias y debates del Parlamento Europeo de alemán a inglés. El segundo caso es poliMedia, el repositorio principal de la UPV de videos educativos, que en este trabajo se usa para la traducción de español a inglés. Los sistemas desarrollados se evalúan y comparan con respecto a su calidad y eficiencia, antes de ser desplegados en un entorno de producción real como poliMedia.

[CA] La traducció automàtica (MT) és una de les àrees més actives dins de la intel·ligència artificial, particularment en el camp del reconeixement de formes. Recentment, aquesta àrea ha estat el focus d’atenció d’importants figures tecnològiques com Google, Facebook, Microsoft, etc. a causa de les millores de rendiment aconseguides per aquesta tecnologia gràcies a la incorporació de xarxes neuronals artificials, que formen l’espina dorsal de l’aprenentatge profund. En aquest sentit, la nova era de sistemes MT basats en xarxes neuronals (NMT) ha comportat traduccions automàtiques suficientment precises per facilitar la comunicació humana en una societat multilingüe. En aquest treball s’expliquen els models teòrics que formen la base de NMT, així com els coneixements previs necessaris per proporcionar una visió completa de l’àrea. A més a més, es desenvolupen sistemes NMT d’última generació utilitzant dos coneguts frameworks d’aprenentatge automàtic, Tensorflow i MXNet. Aquests sistemes s’entrenen amb les dades de dos cassos d’estudi. El primer és el Workshop on Machine Translation per a la traducció de comunicats de notícies y debat del Parlament Europeu d’alemany a anglés. El segon cas és poliMedia, el repositori principal de la UPV de vídeos educatius, que en aquest treball s’utilitzen per a la traducció d’espanyol a anglés. Els sistemes desenvolupats s’avaluen i es comparen pel que fa a la seua qualitat i eficiència, abans de ser desplegats en un entorn de producció real com poliMedia.