Clasificación de textos basada en redes neuronales

Abstract

[CA] Cada vegada són més les empreses que opten per utilitzar la intel·ligència artificial per a automatitzar tasques dins de les organitzacions, permetent així reassignar al personal dedicat a aquestes i aconseguint una major productivitat. És el cas de la Corporació Valenciana de Mitjans de Comunicació, la qual ha plantejat la necessitat d’aconseguir un sistema d’ajuda a l’equip de documentació i catalogació. La finalitat d’aquest projecte és determinar si és possible el desenvolupament d’un sistema d’aprenentatge automàtic el qual siga capaç de fer aquesta tasca de manera automàtica o bé proporcionar ajuda a l’equip de documentació i catalogació en la seua tasca, suggerint-li un llistat de categories ordenat segons la seua probabilitat. Per abordar el problema d’automatitzar el més possible la tasca de classificació en el context d’Apunt, s’ha triat treballar en l’àrea dels noticiaris. La corporació ens ha proporcionat les dades d’aquest sistema, el qual han estat elaborant des de fa quasi dues dècades. L’objectiu principal d’aquest treball fi de grau és abordar un problema de classificació multiclasse, emmarcat dins del camp de la intel·ligència artificial del processament de llenguatge natural, aplicat a la tasca de la catalogació de noticiaris en català. En el projecte es realitza i analitza un corpus únic, utilitzat per a entrenar diferents classificadors basats en aprenentatge automàtic, entre ells un basat en xarxes neuronals, per a realitzar una solució software d’ajuda a la classificació per a la Corporació

[ES] Cada vez son más las empresas que optan para utilizar la inteligencia artificial para automatizar tareas dentro de las organizaciones, permitiendo así reasignar al personal dedicado a estas y consiguiendo una mayor productividad. Es el caso de la Corporació Valenciana de Mitjans de Comunicació, la cual ha planteado la necesidad de conseguir un sistema de ayuda al equipo de documentación y catalogación.

La finalidad de este proyecto es determinar si es posible el desarrollo de un sistema de aprendizaje automático el cual sea capaz de hacer esta tarea de manera automática o bien proporcionar ayuda al equipo de documentación y catalogación en su tarea, sugiriéndole un listado de categorías ordenado según su probabilidad. Para abordar el problema de automatizar el más posible la tarea de clasificación en el contexto de Apunte, se ha elegido trabajar en el área de los noticieros. La corporación nos ha proporcionado los datos de este sistema, el cual han estado elaborando desde hace casi dos décadas.

El objetivo principal de este trabajo final de grado es abordar un problema de clasificación multiclase, enmarcado dentro del campo de la inteligencia artificial del procesamiento de lenguaje natural, aplicado a la tarea de la catalogación de noticieros en catalán. En el proyecto se realiza y analiza un corpus único, utilizado para entrenar diferentes clasificadores basados en aprendizaje automático, entre ellos un basado en redes neuronales, para realizar una solución software de ayuda a la clasificación para la Corporación.

[EN] More and more companies are choosing to use artificial intelligence to automate tasks within organizations, allowing the reassignment of dedicated staff and achieving greater productivity. This is the case of the Corporació Valenciana de Mitjans de Comunicació, which has raised the need to get a system of help to the documentation and cataloguing team.

The purpose of this project is to determine whether it is possible to develop a machine learning system which is capable of doing this task automatically or to provide assistance to the documentation and cataloguing team in their task, suggesting a list of categories ordered according to their probability. To address the problem of automating the classification task in the context of Àpunt, we have chosen to work in the news area. The corporation has provided us with the data from this system, which they have been developing for almost two decades.

The main objective of this final degree work is to address a problem of multiclass classification, framed within the field of artificial intelligence of natural language processing, applied to the task of cataloguing news in Catalan. The project performs and analyses a unique corpus used to train different classifiers based on machine learning, including a neural network-based, to perform a software solution to help the classification for the Corporation.