Machine-Generated Text Detection and Attribution

Abstract

[ES] Las sólidas capacidades lingüísticas de los Modelos de Lenguaje de Gran Tamaño (LLMs) actuales están motivando su adopción a gran escala en los flujos de trabajo de empresas y particulares. Estos LLMs tienen el potencial de ser utilizados en aplicaciones de vanguardia, pero también podrían ser aprovechados con intenciones maliciosas. Una línea prometedora de investigación para controlar su uso es la detección de Texto Generado por Máquina (MGT) y su atribución a modelos específicos. Si bien este enfoque se ha explorado para dominios específicos, es escaso el estudio de la detección y atribución de MGT en escenarios más realistas. Este trabajo explora la detección y atribución de MGT en un entorno multilingüe, multidominio, multiestilo y multimodelo. Esto se logra mediante la compilación de conjuntos de datos para las tareas, la organización de una campaña de evaluación y el desarrollo diversos modelos de detección y atribución de MGT. Nuestro enfoque es triple: (i) estudiar los modelos de detección y atribución de MGT que logren un alto rendimiento en diversos contextos, (ii) explorar sus capacidades de generalización a diferentes escenarios, analizando su aplicabilidad a tipos de datos no observados, y (iii) organizar con éxito una campaña de evaluación para la detección y atribución de MGT, fomentando así nuevos desarrollos en esta línea de investigación.

[EN] The strong language capabilities of current Large Language Models (LLMs) are motivating a large-scale adoption in the workflows of businesses and individuals. These LLMs have the potential to be used in cutting-edge applications, but they could also be leveraged for malicious intents. A promising line of research to control their use is detecting Machine-Generated Text (MGT) and attributing it to specific models. While this approach has been explored for specific domains, the detection and attribution of MGT in more realistic scenarios is yet to be studied. This work explores MGT detection and attribution in a multilingual, multi-domain, multi-style and multi-generator setting. This is achieved by compiling corpora for the tasks, organizing an evaluation campaign, and developing various MGT detection and attribution models. Our focus is threefold: (i) to study the MGT detection and attribution models that achieve high performance under various settings, (ii) to explore their generalization capabilities to different scenarios, analyzing their applicability to unseen types of data, and (iii) to successfully organize an evaluation campaign for MGT detection and attribution, thereby encouraging further developments in this line of research.