Generación automática de resúmenes de textos utilizando técnicas de puesta a punto de modelos de lenguaje pre-entrenados

Abstract

[CA] L'objectiu d'este treball és desenvolupar un sistema que genere automàticament resums de documents utilitzant tècniques d'aprenentatge automàtic, concretament grans models de llenguatge neuronals. Per a aconseguir això, utilitzem un enfocament que es base en la posada a punt “fine-*tuning” de models de llenguatge *pre-entrenats de tipus *Transformer, per a adaptar-ho a la tasca específica de generació de resums. Treballem amb un corpus de textos prèviament processat i preparat que servix per a entrenar el model i ajudar al fet que aprenga les característiques i estructures necessàries. Posteriorment, s'estudia una tasca sobre la qual fer experiments i proves amb este sistema, més concretament una aplicació mòbil, permetent als usuaris carregar documents i obtindre resums d'ells de manera automàtica.

[ES] El objetivo de este Trabajo Final de Grado (TFG) es desarrollar un sistema que genere automáticamente resúmenes de documentos utilizando técnicas de aprendizaje automático (APR) y concretamente grandes modelos de lenguaje neuronales.

Para lograr esto, se utilizará un enfoque que se basará en la puesta apunto ("fine-tuning") de modelos de lenguaje pre-entrenados. Ésta es una técnica que permite ajustar un modelo de lenguaje pre-entrenado, en este caso de tipo Transformer, para poder adaptarlo a la tarea específica de generación de resúmenes. Trabajaremos con un corpus de textos previamente procesado y preparado (palabras clave, eliminación de caracteres extraños, etc.), que servirá para entrenar el modelo y ayudarle a que aprenda las características y estructuras necesarias. Posteriormente, habrá una parte del trabajo donde se estudiará una tarea sobre la que poder hacer experimentos con este sistema como puede ser una aplicación móvil, permitiendo a los usuarios cargar documentos y obtener resúmenes de ellos de manera automática.

En resumen, este TFG se centrará en el desarrollo de un sistema de resúmenes automáticos usando "fine-tuning" de modelos pre-entrenados Transformer. Se utilizará un corpus parecido a CNN/Daily-mail, que se encuentra en Hugging Face, para la adaptación a la tarea de generación de resúmenes.

[EN] The objective of this Final Degree Project (TFG) is to develop a system that automatically generates document summaries using machine learning techniques (APR) and specifically large neural language models.

To achieve this, an approach will be used that will be based on the fine-tuning of pre-trained language models. This is a technique that allows adjusting a pre-trained language model, in this case of a Transformer based model, in order to adapt it to the specific task of generating summaries. We will work with a previously processed and prepared corpus of texts (keywords, removal of strange characters, etc.), which will serve to train the model and help it learn the necessary features and structures. Subsequently, there will be a part of the work where a task will be studied on which to be able to do experiments with this system, such as a mobile application, allowing users to upload documents and obtain summaries of them automatically.

In summary, this TFG will focus on the development of an automatic summarization system using fine-tuning of Transformer pre-trained models. A corpus similar to CNN/Daily-mail, found in Hugging Face, will be used for adaptation to the summary generation task.