Neural news classifier from pre-trained models

Abstract

[ES] Se propone estudiar los modelos de lenguaje pre-entrenados disponibles en Pytorch como BERT o GPT-2, con el fin de adaptarlos a tareas concretas y mejorar su precisión de partida. Concretamente se utilizarán estos modelos para la clasificación de noticias.

Se utilizará dos conjuntos de datos del repositorio Kaggle y el estudio tendrá en cuenta métricas como el coste del entrenamiento y el rendimiento del estos.

Se pretende que el modelo sea utilizable por usuarios finales, de modo que la mejor implementación dará lugar a un demostrador web.

[EN] A study of the pre-trained language models available in Pytorch such as BERT or GPT-2 is proposed, in order to adapt them to specific tasks and improve their starting accuracy. Specifically, these models will be used for news classification.

Two data sets from the Kaggle repository will be used and the study will take into account metrics such as the cost of training and the performance of these models.

The model is intended to be usable by end-users, so the best implementation will result in a web demonstrator.