Resumen de Textos con Modelos Secuencia-a-Secuencia: Varias Aproximaciones

Abstract

[ES] En el ámbito del aprendizaje profundo, los modelos secuencia-a-secuencia basados en redes neuronales están demostrando obtener muy buenos resultados en la resolución de tareas de procesamiento del lenguaje natural. En este artículo nos centraremos específicamente en la resolución de un problema de este campo: resumir textos haciendo uso de estos modelos. Explicaremos qué dificultades encontramos en cada fase del proceso y como lidiar con ellas. Además mostraremos distintas aproximaciones para resolver el problema, tanto en el procesamiento de datos como en la construcción del modelo. Se compararán las distintas versiones entre sí y con el estado del arte haciendo uso de los criterios ROUGE y BLEU.

[EN] In the field of deep learning, sequence-to-sequence neural models have been shown to achieve very good results in solving natural language processing tasks. In this work we focus specifically on solving a problem in this field: summarizing texts using such models. It explains what difficulties we have encountered in each phase of the process and how to deal with them. In addition, different approaches to solve the problem are shown, both in data processing and model construction. Subsequently, the different versions are compared with each other and with the state of the art using the ROUGE and BLEU criteria.

[CA] En l’àmbit de l’aprenentatge automàtic profund, els models neuronals seqüència-a-seqüència han demostrat obtenir molt bons resultats en la resolució de tasques de processament del llenguatge natural. En aquest treball ens centrem específicament en la resolució d’un problema d’aquest camp: resumir textos fent servir aquests models. S’explica quines dificultats hem trobat en cada fase del procés i com bregar amb elles. A més es mostren diferents aproximacions per a resoldre el problema, tant en el processament de dades com en la construcció del model. Posteriorment es comparen les diferents versions entre sí i amb l’estat de l’art fent servir els criteris ROUGE i BLEU.