Resumen abstractivo de textos basado en redes neuronales

Abstract

[ES] En la última década se han producido varios descubrimientos que han cambiado por completo ciertas áreas del aprendizaje automático, como la visión por computador mediante redes neuronales convolucionales, o la generación de imágenes no reales por parte de las redes generativas adversarias. En la actualidad, los avances en el campo del procesamiento del lenguaje natural sugieren que un gran cambio se aproxima también en esta área.

El resumen automático de textos constituye una rama importante dentro de esta disciplina. Sin embargo, gran parte de la investigación al respecto se centra en los resúmenes extractivos, aquellos constituidos a partir de frases del texto original. Es por eso que el objetivo de este trabajo es probar una nueva aproximación a la generación de resúmenes abstractivos, aquellos cuyas frases no pertenecen al texto fuente. Esta nueva aproximación se centra en aplicar técnicas de traducción automática a los resúmenes extractivos con tal de parafrasearlos y generar así resúmenes abstractivos.

Para esta finalidad, se ha hecho uso de la librería OpenNMT, que proporciona un entorno en el que generar modelos de aprendizaje automático adecuados para el procesamiento del lenguaje natural. Tras entender los fundamentos teóricos del modelo, se ha procedido a aplicarlo a tres datasets de resúmenes extractivos generados por tres sistemas de resumen diferentes, para analizar los resultados. Pese a no revolucionar el estado del arte en la materia, los resultados conseguidos respecto a las capacidades de estos modelos son muy prometedores. Por ello, finalmente se proponen unas posibles líneas de trabajo futuro por las que continuar la investigación en este campo.

[EN] In the last decade, some discoverments have completely changed the area of machine learning, such as computer vision through convolutional neural networks, or image generation by generative adversarial networks. Currently, progress in the field of natural language processing suggests that an important change in this area is also close.

Automatic summarization represents an important branch inside this discipline. Nevertheless, most of that field's investigation is focused on extractive summarization, which creates summaries by copying sentences of the original document. That is why the objective of this work is to test a new approach in the abstractive summarization, the one whose sentences are not copied from the original document. This new approach consists of applying the translation techniques to extractive summaries, to paraphrase them into abstractive summaries.

For this purpose, the library OpenNMT is used. It provides an environment in which machine learning models for natural language processing can be created. After understanding the theoretic base of the model, it has been applied to three extractive summarization datasets, generated by three different summarization systems. Despite not outperforming the state-of-the-art, the results are very promising. That is why, finally, some possible paths for future work are proposed to continue the investigation in this field.

[CA] En l’última dècada s’hi han produït diversos descobriments que hi han canviat completament certes àrees de l’aprenentatge automàtic, com a la visió per computador per mitjà de les xarxes neuronals convolucionals, o la generació d’imatges no reals per part de les xarxes generatives adversàries. En l’actualitat, els avanços en l’àrea del processament del llenguatge natural suggereixen que un gran canvi s’aproxima també en aquesta àrea. El resum automàtic de textos constitueix una branca important dins d’aquesta disciplina. No obstant això, gran part de la investigació al respecte se centra en els resums extractius, aquells constituïts a partir de frases del text original. És per aquesta raó que l’objectiu d’aquest treball és provar una nova aproximació a la generació de resums abstractius, aquells que les seues frases no pertanyen al text original. Aquesta nova aproximació se centra a aplicar tècniques de traducció als resums extractius amb la idea de parafrasejar-los i generar així resums abstractius. Per a aquesta finalitat, s’ha fet ús de la llibreria OpenNMT, que proporciona un entorn en el qual generar models d’aprenentatge automàtic adequats per al processament del llenguatge natural. Després de comprendre els fonaments teòrics del model, s’ha procedit a aplicar-lo a tres datasets de resums extractius generats per tres sistemes de resum diferents, per tal d’analitzar els resultats. Pese a no revolucionar els resultats de la investigació en aquesta àrea, els resultats aconseguits respecte a les capacitats d’aquests models són molt prometedors. Per eixa raó, finalment es proposen unes possibles línies de treball futur per les que continuar la investigació en aquesta àrea.