Sistema de recuperació d'informació semàntica multilingüe

Abstract

[ES] Impulsada por la potencia de los modelos neuronales, la recuperación de información semántica ha experimentado un gran avance en los últimos años. A diferencia de la recuperación de información clásica, la recuperación semántica permite relacionar documentos semánticamente similares aun cuando tengan contenido textual distinto. Los modelos de lenguaje basados en aprendizaje profundo (Large Language Models) permiten la representación de frases mediante vectores densos (sentence embeddings) que capturan en gran medida el significado de las oraciones. Este Trabajo Final de Máster tiene como objetivo principal el desarrollo de un motor de recuperación de información semántica que permita el indexado y recuperación de grandes colecciones de texto en catalán, castellano e inglés. El trabajo se enmarca dentro del proyecto AMIC-PoC (Desarrollo de un Prototipo Precompetitivo para el Análisis Afectivo de Información Multimedia, PDC2021-120846-C44) subvencionado por el Ministerio de Ciencia e Innovación. Se espera que el motor desarrollado en el TFM se integre en el demostrador final del proyecto. Para la construcción del motor se realizará un análisis de las herramientas existentes y se seleccionará la más adecuada en función de su escalabilidad y facilidad de integración con los demás componentes del sistema. En cuanto a los modelos de representación semántica, además del uso de modelos existentes se podrá entrenar modelos en la medida que sea necesario. El motor desarrollado deberá ser escalable y de dominio general. Además, para la correcta evaluación del sistema desarrollado será necesario la creación de un corpus de evaluación etiquetado.

[EN] Driven by the power of neural models, semantic information retrieval has experienced great progress in recent years. Unlike classical information retrieval, semantic retrieval allows to relate semantically similar documents even when they have different textual content. Language models based on deep learning (Large Language Models) allow the representation of sentences using dense vectors (sentence embeddings) that capture the meaning of sentences. The main objective of this Master Thesis is the development of a semantic information retrieval engine that allows the indexing and retrieval of large text collections in Catalan, Spanish and English. The work is part of the AMIC-PoC project (Development of a Precompetitive Prototype for the Affective Analysis of Multimedia Information, PDC2021-120846-C44) funded by the Spanish Ministerio de Ciencia e Innovación. The engine developed in this Master Thesis is expected to be integrated into the final demonstrator of the project. For the construction of the engine, an analysis of the existing tools will be carried out and the most appropriate one will be selected based on its scalability and ease of integration with the other components of the system. Regarding the semantic representation models, in addition to the use of existing models, they can be trained as necessary. The engine developed must be scalable and general domain. In addition, for the correct evaluation of the developed system it will be necessary to create a labeled evaluation corpus.