Sexism Identification on TikTok: a Multimodal AI Approach with Text, Audio, and Video

Abstract

[EN] Sexism persists as a pervasive issue in society, particularly evident on social media platforms like TikTok. This phenomenon encompasses a spectrum of expressions, ranging from subtle biases to explicit misogyny, posing unique challenges for detection and analysis. While previous research has predominantly focused on textual analysis, the dynamic nature of TikTok demands a more comprehensive approach. This study leverages advancements in Artificial Intelligence (AI), specifically multimodal deep learning, to establish a robust framework for identifying and interpreting sexism on TikTok. We compiled the first dataset of TikTok videos tailored for analyzing sexism in both English and Spanish. This dataset not only provides a foundational resource for current analysis but also serves as an initial benchmark for comparing models or for future investigations in this area. By integrating text, linguistic features, emotions, audio, and video features, this study identifies unique indicators of sexist content. Multimodal analysis surpasses text-only methods, particularly in understanding the intentions behind sexism, achieving remarkable results with F1-macro scores of 0.753 and 0.768 for English and Spanish, respectively. Notably, this configuration led to an improvement of 4.4% and 4.8% over the best unimodal models. Further, employing fine-tuning to a multimodal model (TAVL - Fine-Tuning), the results improve for all tasks, with a 5.5% increase in F1-macro for detecting sexism in English and a 2.2% improvement in Spanish. Additionally, for source intention, the improvements are 7.3% and 9.4%, respectively. Notably, for categories of sexism, there is a significant enhancement particularly in Spanish, where the categories are better represented and there are more sexist videos than in English.

[ES] El sexismo persiste como un problema generalizado en la sociedad, particularmente evidente en plataformas de redes sociales como TikTok. Este fenómeno abarca un espectro de expresiones, que van desde sesgos sutiles hasta misoginia explícita, planteando desafíos únicos para su detección y análisis. Mientras que investigaciones previas se han centrado predominantemente en el análisis textual, la naturaleza dinámica de TikTok exige un enfoque más integral. Este estudio aprovecha los avances en Inteligencia Artificial (IA), específicamente el aprendizaje profundo multimodal, para establecer un marco robusto para identificar e interpretar el sexismo en TikTok. Compilamos el primer conjunto de datos de videos de TikTok diseñados para analizar el sexismo tanto en inglés como en español. Este conjunto de datos no solo proporciona un recurso fundamental para el análisis actual, sino que también sirve como un referente inicial para comparar modelos o para futuras investigaciones en esta área. Integrando texto, características lingüísticas, emociones, audio y características de video, este estudio identifica indicadores únicos de contenido sexista. El análisis multimodal supera los métodos solo textuales, particularmente en la comprensión de las intenciones detrás del sexismo, logrando resultados notables con puntajes F1-macro de 0.753 y 0.768 para inglés y español, respectivamente. Notablemente, esta configuración llevó a una mejora del 4.4% y 4.8% sobre los mejores modelos unimodales. Además, empleando el ajuste fino a un modelo multimodal (TAVL - Fine-Tuning), los resultados mejoran para todas las tareas, con un aumento del 5.5% en F1-macro para detectar sexismo en inglés y una mejora del 2.2% en español. Adicionalmente, para la intención de fuente, las mejoras son del 7.3% y 9.4%, respectivamente. Notablemente, para las categorías de sexismo, hay un mejoramiento significativo particularmente en español, donde las categorías están mejor representadas y hay más videos sexistas que en inglés.