Detectando desinformación a través de técnicas de argumentación computacional y grandes modelos de lenguaje

Abstract

[CA] En l’actualitat, la difusió de la desinformació planteja un desafiament de gran envergadura per a la societat. Els ciutadans es troben immersos en un context digital complex i saturat de dades que els dificulta discernir críticament entre informació veraç i falsa. La tasca és complexa ja que la desinformació es presenta sovint en forma de manipulacions retòriques, fal·làcies lògiques o distorsions de la veritat. Aquest projecte té com a objectiu desenvolupar un sistema per a la detecció de desinformació basat en tècniques d’argumentació computacional i grans models de llenguatge, que fomente el pensament crític i l’alfabetització mediàtica en la societat. L’eina web implementada analitza els patrons de raonament humà utilitzats al argumentar, classificant els arguments en esquemes argumentatius definits per la teoria de l’argumentació. Després d’identificar l’esquema argumentatiu, el sistema examina detalladament el raonament exposat en l’argument i fa servir un conjunt de preguntes crítiques per a qüestionar la seua validesa. Mitjançant un gran model de llenguatge, potenciat amb contextualització externa de diverses fonts d’informació, es guia al sistema en el procés d’avaluació de veracitat de l’argument. La resposta final inclou una justificació tant qualitativa com quantitativa del nivell de veracitat, proporcionant els enllaços i referències a les fonts d’informació utilitzades en l’avaluació. Per al desenvolupament d’aquest sistema, s’han utilitzat diverses tecnologies, incloenthi el framework Rasa per a la implementació del sistema classificador i un gran model de llenguatge de LLAMA connectat a diferents APIs per a l’avaluació de veracitat. A més, s’han dut a terme múltiples experiments per a seleccionar les aproximacions que demostraven un millor rendiment. Finalment, s’ha avaluat el funcionament final del sistema tant quantitativament com qualitativament

[EN] The current outlook of research and technology devoted to combating disinformation reveals an unprecedented situation in which the quantity and quality of databases validated by fact-checkers is on the rise. In this context, it is crucial to investigate how natural language processing and AI technologies (e.g., computational argumentation) can be applied to question, investigate, and understand whether a fact or news is true. This project proposes the development of a chatbot based on natural language processing techniques and/or computational argumentation (argument mining) that should detect attempts at disinformation (for example demagogy, fallacies and persuasive threats) and/or errors of human reasoning, which try to confuse popular and personal opinion towards accepting news or altered facts.

[ES] En la actualidad, la difusión de la desinformación plantea un desafío de gran envergadura para la sociedad. Los ciudadanos se encuentran inmersos en un contexto digital complejo y saturado de datos que les dificulta discernir críticamente entre información veraz y falsa. La tarea es compleja ya que la desinformación se presenta a menudo en forma de manipulaciones retóricas, falacias lógicas o distorsiones de la verdad. Este proyecto tiene como objetivo desarrollar un sistema para la detección de desinformación basado en técnicas de argumentación computacional y grandes modelos de lenguaje, que fomente el pensamiento crítico y la alfabetización mediática en la sociedad. La herramienta web implementada analiza los patrones de razonamiento humano utilizados al argumentar, clasificando los argumentos en esquemas argumentativos definidos por la teoría de la argumentación. Tras identificar el esquema argumentativo, el sistema examina detalladamente el razonamiento expuesto en el argumento y utiliza un conjunto de preguntas críticas para cuestionar su validez. Mediante un gran modelo de lenguaje, potenciado con contextualización externa de diversas fuentes de información, se guía al sistema en el proceso de evaluación de veracidad del argumento. La respuesta final incluye una justificación tanto cualitativa como cuantitativa del nivel de veracidad, proporcionando los enlaces y referencias a las fuentes de información utilizadas en la evaluación. Para el desarrollo de este sistema, se han utilizado diversas tecnologías, incluyendo el framework Rasa para la implementación del sistema clasificador y un gran modelo de lenguaje de LLAMA conectado a diferentes APIs para la evaluación de veracidad. Además, se han llevado a cabo múltiples experimentos para seleccionar las aproximaciones que demostraban un mejor rendimiento. Finalmente, se ha evaluado el funcionamiento final del sistema tanto cuantitativamente como cualitativamente.

[EN] Nowadays, the spread of disinformation poses a major challenge for society. Citizens find themselves immersed in a complex and data-saturated digital context that hinders their ability to critically discern between true and false information. The task is complex because disinformation often appears in the form of rhetorical manipulations, logical fallacies, or distortions of the truth. This project aims to develop a system for detecting disinformation based on computational argumentation techniques and large language models, which promotes critical thinking and media literacy in society. The implemented web tool analyzes the patterns of human reasoning used in argumentation, classifying the arguments into argumentative schemes defined by argumentation theory. After identifying the argumentative scheme, the system thoroughly examines the reasoning presented in the argument and uses a set of critical questions to question its validity. Using a large language model, enhanced with external contextualization from various information sources, the system is guided in the process of evaluating the truthfulness of the argument. The final response includes both a qualitative and quantitative justification of the level of truthfulness, providing links and references to the information sources used in the evaluation. For the development of this system, various technologies have been used, including the Rasa framework for implementing the classifier system and a large language model from LLAMA connected to different APIs for truthfulness evaluation. Additionally, multiple experiments were conducted to select the approaches that demonstrated the best performance. Finally, the final functioning of the system was evaluated both quantitatively and qualitatively