Aprendizaje profundo para el procesamiento del lenguaje natural

Abstract

The work carried out is part of natural language processing area and it is focused specifically on text classification problems like sentiment analysis and topic detection about content published on Twitter, using deep learning models such as convolutional and recurrent neural networks.

In order to estimate the parameters of these models in problems where the input is a sequence of linguistic units, a representation that retains the most discriminative information for a given task (contextual information, semantic, syntactic, etc.) is required.

For this reason, in the present work, suitable representations for the addressed tasks are proposed and comparisons are made among the different representations, as well as among the different models of neural networks that use these representations.

All the tasks addressed have been proposed in workshops of national and international congresses such as SemEval and IberEval. Furthermore, in these tasks we have obtained competitive results, reaching a 1st place in the tasks COSET and Gender (Ibereval 2017@SEPLN), a 4th place in Stance (Ibereval 2017@SEPLN) and a 3rd place in Sentiment Analysis in Twitter (SemEval 2017@ACL).

El trabajo realizado se enmarca en el área del procesamiento del lenguaje natural y se centra, concretamente, en problemas de clasificación de texto como sentiment analysis y topic detection sobre contenido publicado en Twitter, haciendo uso de modelos basados en aprendizaje profundo como redes convolucionales y redes recurrentes.

Para poder estimar los parámetros de estos modelos, en problemas donde la entrada es una secuencia de unidades lingüísticas, se requiere una representación que retenga la información más discriminativa para una tarea determinada (información contextual, semántica, sintáctica, entre otras).

Por este motivo, en el presente trabajo se proponen representaciones adecuadas para las tareas tratadas y se realizan comparaciones entre las diferentes representaciones, así como entre los diferentes modelos de redes neuronales que hacen uso de dichas representaciones.

Todas las tareas abordadas han sido propuestas en talleres de congresos nacionales e internacionales como SemEval e IberEval. Además, en dichas tareas se han obtenido resultados competitivos, llegando a alcanzar un 1º puesto en las tareas COSET y Gender (Ibereval 2017@SEPLN), un 4º puesto en Stance (Ibereval 2017@SEPLN) y un 3º puesto en Sentiment Analysis in Twitter (SemEval 2017@ACL).

[CA] El treball realitzat s’emmarca en l’`area del processament del llenguatge natural i es centra, concretament, en problemes de classificaci´o de text com sentiment analysis i topic detection sobre contingut publicat en Twitter, fent ´us de models basats en aprenentatge profund com xarxes convolucionals i xarxes recurrents. Per poder estimar els par`ametres d’aquests models, en problemes on l’entrada ´es una seq¨u`encia d’unitats ling¨u´ıstiques, es requereix una representaci´o que retinga la informaci´o m´es discriminativa per a una determinada tasca (informaci´o contextual, sem`antica, sint`actica, entre altres). Per aquest motiu, en el present treball es proposen representacions adequades per las tasques tractades i es realitzen comparacions entre les diferents representacions, aix´ı com entre els diferents models de xarxes neuronals que fan ´us d’aquestes representacions. Totes les tasques abordades han sigut propostes en tallers de congressos nacionals i internacionals com SemEval i IberEval. A m´es, en aquestes tasques s’han obtingut resultats competitius, aconseguint un 1r lloc en les tasques COSET i Gender (Ibereval 2017@SEPLN ), un 4t lloc en Stance (Ibereval 2017@SEPLN ) i un 3r lloc en Sentiment Analysis in Twitter (SemEval 2017@ACL).