Comparison between statistical and neuronal models for machine translation

Abstract

[EN] Machine translation is a thriving field that deals with multiple of the challenges that the modern world face. From accessing to knowledge in a foreign language, to being able to communicate with people that does not speakthelanguage, we can take great benefit from automatic translation made by software. The state-of-the-art models of machine translation during the last decades, based of inferred statistical knowledge over a set of parallel data, had been recently challenged by neural models based on large artificial neural networks. This study aims to compare both methods of machine translation, the one based on statistical inference (SMT) and the one based on neural networks (NMT). The objective of the project is to compare the performance and the computational needs of both models depending on different factors like the size of the training data or the likeliness of language pair. To make this comparison I have used publicly available parallel data and frameworks in order to implement the models. The evaluation of said models are done under the BLEU score, which computes the correspondence of the translation with the translation made by a human operation. The results indicate that the SMT model outperform the NMT model given relatively small amount of data and a basic set of techniques. The results also shown that NMT have a substantially higher need of processing power, given that the training of large ANN is more demanding than the statistical inference

[ES] La traducción automática (TA) es el uso de software para traducir desde un idioma a otro. El objetivo de realizar traducciones automaticas entre idiomas se remonta a los inicios de los computadores electrónicos. La TA ha evolucionado desde sus inicios en los años 50 reflejando los avances en el campo de la computación. En los años 80 un equipo dirigido por Makoro Nagao desarrolló el primer sistema que basaba la traducción en la analogía entre textos traducidos. Este fue el primer sistema de traducción automática estadística (TAE). La idea básica detrás de la TAE es usar las distribuciones de probabilidades extraídas de los textos traducidos para crear un modelo de traducción. Los sistemas de TAE han sido los sistemas de TA más estudiados y el estándard de estas ultimas décadas. No obstante, con la rápida expansión de los sistemas neuronales en la computación, hemos visto un rápido incremento de la traducción automática neuronal (TAN) con grandes empresas como Google cambiando sus sistemas de traducción de los previos modelos estadísticos a modelos neuronales.

El objetivo de este proyecto es comparar la TAE y la TAN. La TAE usa la probabilidad como base de su traducción mientras que la TAN usa grandes redes neuronales. Con esta comparación espero ganar un profundo conocimiento sobre como los diferentes algoritmos y parámetros de los dos métodos afectan a sus traducciones. Con los nuevos avances computacionales y en un mundo más global que nunca, la TA es un campo prospero. Comparar estos dos métodos nos puede dar la información necesaria para decidir cual usar dependiendo de nuestra situación y limitaciones. Además, entender la evolución de un campo como el de la TA nos puede ayudar a visualizar futuros cambios e identificar áreas de investigación interesantes.

En este proyecto compararé la TAE con la TAN. El alcance de esta comparación incluye (pero no está limitado a) los fundamentos de los modelos, su efectividad, la cantidad de recursos computacionales que necesitan y la cantidad de datos de entrenamiento que necesitan. Consecuentemente, el problema puede ser definido como: Cuales son las principales diferencias entre la TAE y la TAN y como se desempeñan estos métdos con diferentes idiomas y diferentes cantidades de recursos como el tamaño de los datos de entrenamiento .

Para la comparación usare distintos marcos de trabajo como MOSES para estudiar las traducciones de métodos de TAE o OpenNMT para la TAN. Respecto a los datos de entrenamiento, me centraré en los conjuntos de datos proporcionados para el workshop en TAE (WMT), concretamente aquellos textos con traducciones de noticias. Una de las principales comparaciones será ir incrementando el tamaño de los datos de entrenamiento para ver como influye en la calidad de la traducción y en la necesidad de recursos computacionales. La evaluación de la traducción es una tarea compleja y un campo de investigación por si mismo dentro de la TM. Para este proyecto usare el método BLEU. Otra comparación importante es comparar como los modelos se desempeñan con pares de idiomas más sencillos como Inglés y Alemán en comparación a como lo hacen con pares más complejos como Chino y Inglés.