Modelos contextuales e incontextuales de palabras para Twitter

Abstract

[ES] En este trabajo se exploran modelos incontextuales y contextuales para generar representaciones vectoriales continuas de palabras y utilizarlas en tareas de procesamiento del lenguaje natural. En concreto, se estudia el entrenamiento y la aplicación de modelos Word2Vec y TWilBERT al análisis de sentimientos y a la detección de emociones. Para validar los resultados de ambos enfoques, se ha participado en el Taller de Análisis Semántico de la Sociedad Española de Procesamiento del Lenguaje Natural, comparando dichos resultados con los obtenidos por otras universidades y equipos de investigación.

Por último, cabe destacar la importancia de las comparativas realizadas en este trabajo con respecto a los dos tipos de modelos utilizados, mostrando las diferencias en la potencia de ambos y también lo distintas que son las tareas de procesamiento del lenguaje natural entre ellas, de tal forma que los modelos competitivos en una tarea pueden no serlo tanto en otra.

[EN] In this work we explore context-free and contextualized models to generate continuous vector representations of words and use them in Natural Language Processing tasks. Specifically, we study the training and the application of Word2Vec and TWilBERT models to sentiment analysis and emotion detection. To validate the results of both approaches, we participated in the ''Taller de Análisis Semántico de la Sociedad Española de Procesamiento del Lenguaje Natural'', comparing our results with the ones obtained from another universities and investigation groups.

At last, we have to remark the importance of the comparisons made in this work regarding to the two type of models, showing the difference in capacity and also the difference in the Natural Language Processing tasks, meaning that competitive models for a given task can perform poorly in another one.

[CA] En aquest treball es tracta amb models incontextuals i contextuals per a generar representacions vectorials contínues de paraules i utilitzar-les en tasques de processament del llenguatge natural. En concret, s’estudia l’entrenament i l’aplicació de models Word2Vec i TWilBERT a l’anàlisi de sentiments i a la detecció d’emocions. Per a validar els resultats de tots dos enfocaments, s’ha participat en el ”Taller de Análisis Semántico de la Sociedad Española de Procesamiento del Lenguaje Natural”, comparant aquests resultats amb els obtinguts per altres universitats i equips d’investigació. Finalment, cal destacar la importància de les comparatives realitzades en aquest treball respecte als dos tipus de models utilitzats, mostrant les diferències en la potència i també la diferència que existeix entre les tasques de processament del llenguatge natural, de tal forma que els models competitius en una tasca poden no ser-ho tant en una altra