Autosupervisión de Alucinaciones en Grandes Modelos del Lenguaje: LLteaM

Abstract

[EN] Large language models like GPT and Claude have revolutionized the tech industry over the past year. However, as generative artificial intelligence, they are prone to hallucinations. A large language model hallucinates when it generates false or nonsensical text. As these models improve, these hallucinations become less obvious and more dangerous for users. This research explores the phenomenon in the context of automated email response for customer service. First, it proposes a taxonomy of hallucinations in large language models based on their linguistic nature, and second, a multi-agent system that allows for the self-supervision of such hallucinations. This system generates email responses but prevents their delivery if hallucinations are detected, thus reducing the risks of generative AI in productive environments. Experiments with various state-of-the-art language models reveal that the only successful model s operating costs currently exceed those viable for operational deployment. Moreover, a drastic performance drop after a recent update to GPT-3.5-turbo suggests likely shortcomings in industrial applications driven by retrieval-augmented generation. Overall, the research advocates for a Machine Linguistics to analyze the outputs of large language models, suggesting that such a collaboration between Linguistics and Artificial Intelligence could help mitigate the social risks of hallucination.

[ES] Los grandes modelos del lenguaje, como GPT y Claude, han revolucionado la industria tecnológica en el último año. Sin embargo, al ser inteligencia artificial generativa, estos son susceptibles a sufrir alucinaciones. Un gran modelo del lenguaje alucina cuando genera texto falso o falto de sentido, pero en la medida que estos modelos mejoran, estas alucinaciones se vuelven menos evidentes y más peligrosas para el usuario. La presente investigación explora el fenómeno enun caso de respuesta automática de correo electrónico en servicio al cliente. Se propone, primero, una taxonomía de alucinaciones en grandes modelos del lenguaje según su naturaleza lingüísticay,segundo, un sistema multiagente que permite la autosupervisión de las mismas. Este redacta respuestas a correos electrónicos, pero previene su entrega en caso de detectar alucinaciones, reduciendo así los riesgos de la inteligencia artificial generativa en entornos productivos. La experimentación con distintos modelos del lenguaje de vanguardia evidencia que los costos del único modelo exitoso son actualmente demasiado altos para su puesta en producción. Además, la drástica caída de rendimiento tras una actualización de versión de GPT-3.5-turbo revela probables deficiencias en aplicaciones industriales impulsadas por la generación aumentada por recuperación. En general, la investigación defiende la necesidad de una lingüística de máquinas para analizar las producciones de los grandes modelos del lenguajey que dicha colaboración entre la lingüística y lainteligencia artificial puede ayudar a mitigar los riesgos sociales de la alucinación.