Interactive translation with neural models based on the use of mouse actions and confidence measures

Abstract

[EN] The state of the art in machine translation is not good enough to be able to guarantee high quality translations at all times. In some fields, it is necessary to always obtain error-free translations, and the tendency is to use the help of a professional to correct them, making use of processes such as post-editing or interactive translation. The usual way of human-machine interaction is through the use of the keyboard and mouse. The user positions the cursor in front of an incorrect word, type the correction, and the system provides a new suffix. In this master’s thesis, we are going to develop two extensions to this system: the integration of mouse actions, and the use of confidence measures. These extensions have already been developed previously for statistical models, but have not yet been developed and tested in neural models. Once we develop the extensions in an interactive neural translation system, we will compare the results of the experiments to see the improvement obtained. In the first proposal, we introduce the use of mouse actions as the only input information to the system to correct the translations. The position of the mouse when correcting a word offers enough information to the system to be able to generate a new suffix without typing in the correction. The translation is correct from the beginning to the position where the user has moved the cursor, also indicating that the next word is incorrect. Furthermore, if the generated suffix is incorrect again, a new correction can be requested, providing the system with the extra information that the next word is incorrect again. Finally, an approach has also been developed where the user can move the cursor in the middle of the words, correcting at the character level. In the second proposal, we reduce the effort that a translator has to make, by reducing the number of sentences and words that they have to correct. In conventional interactive translation systems, the human translator has to check every sentence and every word. In this extension, the system provides us with an estimation of how correct it thinks the translated words are, and the user only has to check those that do not exceed a certain threshold. This extension has been extended to also provide sentence estimations. In this master’s thesis, these two approaches, that attempt to reduce user effort during the translation session, have been developed. Furthermore, our results using neuronal models have been compared, with those obtained in previous works using statistical models. The results obtained show that there is a greater reduction in the number of words to write when using neural models.

[ES] El estado del arte en traducci´on autom´atica a´un no es lo suficiente bueno como para ser capaz de garantizar en todo momento traducciones de alta calidad. En algunos campos es necesario obtener siempre traducciones libres de errores, y se tiende a utilizar la ayuda de un profesional que las corrija, haciendo uso de procesos como la posedici´on o la traducci´on interactiva. La forma habitual de interacci´on entre el traductor humano y el software de traducci´on es mediante el uso del teclado y el rat´on. El usuario posiciona el cursor delante de la palabra incorrecta, teclea la correcci´on, y el sistema proporciona un nuevo sufijo. En esta tesis de m´aster vamos a desarrollar dos ampliaciones a este sistema: la integraci´on de las acciones del rat´on, y el uso de medidas de confianza. Estas ampliaciones ya han sido desarrolladas previamente para modelos estad´ısticos, pero a´un no han sido desarrolladas y probadas en modelos neuronales. Una vez desarrollemos las ampliaciones en un sistema de traducci´on neuronal interactiva compararemos los resultados de los experimentos para ver la mejora obtenida. En la primera propuesta planteamos la utilizaci´on de las acciones del rat´on como ´unico valor de entrada al sistema para corregir las traducciones. La posici´on del rat´on al corregir una palabra, ofrece suficiente informaci´on al sistema como para poder generar un nuevo sufijo sin que el usuario llegue a teclear la correcci´on. La traducci´on es correcta desde el inicio, hasta la posici´on donde el usuario ha movido el cursor, indicando adem´as que la siguiente palabra es incorrecta. Adem´as, en el caso de que el sufijo generado vuelva a ser incorrecto, se puede pedir una nueva correcci´on, proporcionado al sistema la informaci´on extra de que la siguiente palabra vuelve a ser incorrecta. Finalmente, tambi´en se ha desarrollado una aproximaci´on donde el usuario puede mover el cursor en medio de las palabras, realizando una correcci´on a nivel de car´acter. En la segunda propuesta reducimos el esfuerzo que tiene que realizar un traductor, al disminuir la cantidad de oraciones y palabras que tiene que corregir. En los sistemas convencionales de traducci´on interactiva el traductor humano tiene que comprobar todas las oraciones y cada una de las palabras. En esta ampliaci´on, el sistema nos proporciona una estimaci´on sobre como de correctas cree que son las palabras traducidas, y el usuario solamente tiene que comprobar aquellas que no superen un cierto umbral. Esta ampliaci´on ha sido extendida para tambi´en poder proporcionar estimaciones de las oraciones. En este trabajo de fin de m´aster se han desarrollado estas dos aproximaciones que intentan reducir el esfuerzo del usuario durante la sesi´on de traducci´on. Adem´as, se han comparado nuestros resultados haciendo uso de modelos neuronales, con los obtenidos en trabajos anteriores que utilizaron modelos estad´ısticos. Los resultados obtenidos demuestran que hay una mayor reducci´on en la cantidad de palabras a escribir al utilizar modelos neuronales.

[CA] L’estat de l’art en traducci´o automàtica encara no ´es prou bo per a ser capaç de garantir en tot moment traduccions d’alta qualitat. En alguns camps ´es necessari obtindre sempre traduccions lliures d’errors, i es tendeix a utilitzar l’ajuda d’un professional que les corregisca, fent ´us de processos com la postedici´o o la traducci´o interactiva. La forma habitual d’interacci´o entre el traductor hum`a i el programa de traducci´o ´es mitjan¸cant l’´us del teclat i el ratol´ı. L’usuari posiciona el cursor davant de la paraula incorrecta, tecleja la correcci´o, i el sistema proporciona un nou sufix. En aquesta tesi de m`aster desenvoluparem dues ampliacions a aquest sistema: la integraci´o de les accions del ratol´ı, i l’´us de mesures de confian¸ca. Aquestes ampliacions ja han sigut desenvolupades pr`eviament per a models estad´ıstics, per`o encara no han sigut desenvolupades i provades en models neuronals. Una vegada desenvolupem les ampliacions en un sistema de traducci´o neuronal interactiva compararem els resultats dels experiments per a veure la millora obtinguda. En la primera proposta plantegem la utilitzaci´o de les accions del ratol´ı com a ´unic valor d’entrada al sistema per a corregir les traduccions. La posici´o del ratol´ı al corregir una paraula, ofereix suficient informaci´o al sistema com per a poder generar un nou sufix sense que l’usuari arribe a teclejar la correcci´o. La traducci´o ´es correcta des de l’inici, fins a la posici´o on l’usuari ha mogut el cursor, indicant a m´es que la seg¨uent paraula ´es incorrecta. A m´es, en el cas que el sufix generat torne a ser incorrecte, es pot demanar una nova correcci´o, proporcionant al sistema la informaci´o extra del fet que la seg¨uent paraula torna a ser incorrecta. Finalment, tamb´e s’ha desenvolupat una aproximaci´o on l’usuari pot moure el cursor enmig de les paraules, realitzant una correcci´o a nivell de car`acter. En la segona proposta redu¨ım l’esfor¸c que ha de realitzar un traductor al disminuir la quantitat d’oracions i paraules que ha de corregir. En els sistemes convencionals de traducci´o interactiva el traductor hum`a ha de comprovar totes les oracions i cadascuna de les paraules. En aquesta ampliaci´o, el sistema ens proporciona una estimaci´o sobre com de correctes creu que s´on les paraules tradu¨ıdes, i l’usuari solament ha de comprovar aquelles que no superen un cert valor. Aquesta ampliaci´o ha sigut estesa per a tamb´e poder proporcionar estimacions de les oracions. En aquest treball de fi de m`aster s’han desenvolupat aquestes dues aproximacions que intenten reduir l’esfor¸c de l’usuari durant la sessi´o de traducci´o. A m´es, s’han comparat els nostres resultats fent ´us de models neuronals, amb els obtinguts en treballs anteriors que van utilitzar models estad´ıstics. Els resultats obtinguts demostren que hi ha una major reducci´o en la quantitat de paraules a escriure a l’utilitzar models neuronals.