Casacuberta Nolla, FranciscoVazquez Barrera, Adrian2022-10-042022-10-042022-09-192022-10-04https://riunet.upv.es/handle/10251/186894[ES] Se propone estudiar los modelos de lenguaje pre-entrenados disponibles en Pytorch como BERT o GPT-2, con el fin de adaptarlos a tareas concretas y mejorar su precisión de partida. Concretamente se utilizarán estos modelos para la clasificación de noticias. Se utilizará dos conjuntos de datos del repositorio Kaggle y el estudio tendrá en cuenta métricas como el coste del entrenamiento y el rendimiento del estos. Se pretende que el modelo sea utilizable por usuarios finales, de modo que la mejor implementación dará lugar a un demostrador web.[EN] A study of the pre-trained language models available in Pytorch such as BERT or GPT-2 is proposed, in order to adapt them to specific tasks and improve their starting accuracy. Specifically, these models will be used for news classification. Two data sets from the Kaggle repository will be used and the study will take into account metrics such as the cost of training and the performance of these models. The model is intended to be usable by end-users, so the best implementation will result in a web demonstrator.111Reconocimiento (by)Clasificadores de TextosModelos de LenguajeAdaptaciónBERTGPT-2Aprendizaje AutomáticoRedes NeuronalesModelos PreentrenadoTransformers.Text ClassifiersLanguage ModelsAdaptationMachine learningNeural NetworksPretrained ModelsLENGUAJES Y SISTEMAS INFORMATICOSMáster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge DigitalTesis de másterAbierto