Masking and BERT-based Models for Stereotype Identication

Abstract

[EN] Stereotypes about immigrants are a type of social bias increasingly present in the human interaction in social networks and political speeches. This challenging task is being studied by computational linguistics because of the rise of hate messages, offensive language, and discrimination that many people receive. In this work, we propose to identify stereotypes about immigrants using two different explainable approaches: a deep learning model based on Transformers; and a text masking technique that has been recognized by its capabilities to deliver good and human-understandable results. Finally, we show the suitability of the two models for the task and offer some examples of their advantages in terms of explainability

[ES] Los estereotipos sobre inmigrantes son un tipo de sesgo social cada vez m¿as presente en la interacci¿on humana en redes sociales y en los discursos pol¿¿ticos. Esta desafiante tarea est¿a siendo estudiada por la ling¿u¿¿stica computacional debido al aumento de los mensajes de odio, el lenguaje ofensivo, y la discriminaci¿on que reciben muchas personas. En este trabajo, nos proponemos identificar estereotipos sobre inmigrantes utilizando dos enfoques diametralmente opuestos prestando atenci¿on a la explicabilidad de los mismos: un modelo de aprendizaje profundo basado en Transformers; y una t¿ecnica de enmascaramiento de texto que ha sido reconocida por su capacidad para ofrecer buenos resultados a la vez que comprensibles para los humanos. Finalmente, mostramos la idoneidad de los dos modelos para la tarea, y ofrecemos algunos ejemplos de sus ventajas en t¿erminos de explicabilidad