Clasificación de textos basado en los modelos pre-entrenados BERT

Abstract

[ES] El objetivo principal de este proyecto de fin de grado, consiste en el estudio de las técnicas de procesamiento del lenguaje natural. En concreto, se revisa una red neuronal, entrenada por Google y denominada Bert. Bert, ha sido entrenado con un conjunto de datos enorme, y con ello, es capaz de procesar textos y obtener información sobre cada una de las palabaras que lo forman y el contexto en el que se encuentran. Partiendo de Bert, se diseñan e implementan varios modelos con aplicaciones en el mundo real, que permiten automatizar tareas relacionadas con el procesamiento de textos. Para la realización de los modelos, se emplean técnicas de inteligencia artificial y machine learning.

[CA] L’objectiu principal d’aquest projecte de fi de grau, consisteix en l’estudi de les tècniques de processament de el llenguatge natural. En concret, es revisa una xarxa neuronal, entrenada per Google, anomenada Bert. Bert, ha estat entrenat amb un conjunt de dades enorme, i amb això, és capaç de processar textos i obtenir informació sobre cadascuna de les paraules que el formen i el context en què es troben. Partint de Bert, es dissenyen i implementen diversos models amb aplicacions en el món real, que permeten automatitzar tasques relacionades amb el processament de textos. Per a la realització dels models, s’empren tècniques d’intel·ligència artificial i machine learning.

[EN] The main objective of this end grade project consists in the study of the techniques of natural languaje processing. Mainly, it is reviewed a neural network, trained by Google named Bert. Bert, has been trained with a big ammount of data, with this, is able to process a text and obtain information about each of the words that make it up and the context they are. Starting from Bert, some models with actual world aplication, are designed, those allows automate tasks related with text processing. For make the models, techniques of inteligence artificial and machine learning are used.