Categorizing Misogynistic Behaviours in Italian, English and Spanish Tweets

Abstract

[EN] Misogyny is a multifaceted phenomenon and can be linguistically manifested in numerous ways. The evaluation campaigns of EVALITA and IberEval in 2018 proposed a shared task of Automatic Misogyny Identification (AMI) based on Italian, English and Spanish tweets. Since the participating teams¿ results were pretty low in the misogynistic behaviour categorization, the aim of this study is to investigate the possible causes. We measured the overlap and the homogeneity of the clusters by varying the number of categories. This experiment showed that the clusters overlap. Finally, we tested several machine learning models both using the original data sets and merging together some categories according to their overlap, obtaining an increase in terms of macro F1.

[ES] La misoginia es un fen¿omeno con m¿ultiples facetas y puede manifestarse ling¿u¿¿sticamente de muchas formas. Las campa¿nas de evaluaci¿on de EVALITA e IberEval en 2018 propusieron una tarea compartida de Identificaci¿on Autom¿atica de Misoginia (AMI) basada en tweets en italiano, ingl¿es y espa¿nol. Dado que los resultados de los equipos participantes fueron bastante bajos en la categorizaci¿on del comportamiento mis¿ogino, el objetivo de este estudio es investigar las posibles causas. Medimos el solape y la homogeneidad de los cl¿usteres variando el n¿umero de categor¿¿as. Este experimento mostr¿o que los grupos se solapan. Finalmente probamos varios modelos de aprendizaje autom¿atico utilizando los conjuntos de datos originales y fusionando algunas categor¿¿as de acuerdo con consideraciones basadas en medidas de similitud y las matrices de confusi¿on de los modelos, obteniendo un aumento de la F1 macro