Traducción automática neuronal sensible al contexto

Abstract

[ES] Los sistemas de traducción automática neuronal normalmente traducen los documentos frase por frase de forma aislada ignorando la información extra que puede aportar el contexto entre oraciones de un mismo documento. Así pues, el hecho de que los sistemas sean conscientes del contexto ayuda a mejorar la calidad de las traducciones mejorando su coherencia y evitando errores en casos de ambigüedad.

En este trabajo se estudia los beneficios que aporta que los sistemas neuronales de traducción automática sean sensibles al contexto, es decir, que en el momento de realizar la traducción de un texto, el modelo obtenga para cada oración información adicional de las oraciones que la rodean. Para ello, se realizan diferentes integraciones en la arquitectura del modelo neuronal Transformer a partir del uso de un multicodificador encargado de capturar el contexto.

Con el fin de mostrar la utilidad de este enfoque, se desarrolla una amplia experimentación variando el conjunto de datos y el paradigma de multicodificador integrado en el modelo de traducción. Por consiguiente, los resultados exponen que los sistemas sensibles al contexto mejoran la calidad de las traducciones.

[CA] Els sistemes de traducció automàtica neuronal normalment tradueixen els documents frase per frase de forma aïllada ignorant la informació extra que pot aportar el context entre oracions d’un mateix document. Així doncs, el fet que els sistemes siguen conscients del context ajuda a millorar la qualitat de les traduccions millorant la seua coherència i evitant errors en casos d’ambigüitat. En aquest treball s’estudia els beneficis que aporta que els sistemes neuronals de traducció automàtica siguen sensibles al context, és a dir, que en el moment de realitzar la traducció d’un text, el model obtinga per a cada oració informació addicional de les oracions que l’envolten. Per a això, es realitzen diferents integracions en l’arquitectura del model neuronal Transformer a partir de l’ús d’un multicodificador encarregat de capturar el context. Amb la finalitat de mostrar la utilitat d’aquest enfocament, es desenvolupa una àmplia experimentació variant el conjunt de dades i el paradigma de multicodificador integrat en el model de traducció. Per consegüent, els resultats exposen que els sistemes sensibles al context milloren la qualitat de les traduccions.

[EN] Neural machine translation systems usually translate documents sentence by sentence in isolation, ignoring the extra information that context can provide between sentences in the same document. Thus, the fact that systems are aware of the context helps to improve the quality of the translations by improving their coherence and avoiding errors in cases of ambiguity.

In this project we study the benefits of context-aware neural machine translation models, that is, when translating a text, the model obtains for each sentence additional information from sentences that surround it. For this, different integrations are made in the architecture of the Transformer neural model for the use of a multi-encoder in charge of capturing the context.

In order to expose the usefulness of this approach, extensive experimentation is developed by varying the data set and the multi-encoder paradigm integrated into the translation model. Therefore, the results show that context-aware systems improve the quality of translations.