Desarrollo de un proyecto end-to-end para la búsqueda, captura y síntesis de información existente en bases de datos científicas

Abstract

[ES] En este Trabajo Fin de Máster se desarrollará una plataforma web completa que sea capaz de hacer búsquedas en dos bases de datos científicas (Pubmed y Bacdive) y almacenar el resultado de la búsqueda para una posterior consulta. El proyecto surge a partir de la necesidad de una empresa de biotecnología de automatizar sus procesos de captura de datos provenientes de dos bases de datos científicas, permitiendo su almacenamiento, su posterior tratamiento y visualización en una plataforma web.

El proyecto realiza un desarrollo exhaustivo de un proceso de búsqueda implementado mediante web scraping, técnica empleada en ciencia de datos para la extracción de información. Para la realización de este proceso se sigue el patrón arquitectónico basado en servicios web e implementado mediante el diseño de una API REST. Asimismo el entorno back-end de la plataforma se desarrolla con tecnología NestJS, aplicando principios de ejecución asíncrona para la mejora del rendimiento, aspecto éste que permite el almacenamiento de los datos extraídos en una base de datos "NoSQL" tal como MongoDB. También se desarrolla el front-end de la plataforma siguiendo la arquitectura Modelo-Vista-Modelo de Vista (MVVM) en Angular, junto a otras tecnologías como HTML y CSS, permitiendo, así, la realización de una completa interfaz de usuario que se adapta a las necesidades del cliente. Todo este conjunto permite completar la realización de un proyecto end-to-end, en el que el alumno participa en la síntesis y recopilación de datos, desarrollo full-stack de la plataforma, realización de pruebas y posterior documentación del proyecto.

[EN] In this Master's Thesis, a complete web platform will be developed capable of searching two scientific databases (Pubmed and Bacdive) and storing the search results for later retrieval. The project arises from the need of a biotechnology company to automate its data capture processes from two scientific databases, allowing for storage, subsequent processing, and visualization on a web platform.

The project involves an exhaustive development of a search process implemented using web scraping, a technique used in data science for information extraction. For the implementation of this process, the architectural pattern based on web services is followed and implemented through the design of a REST API. Additionally, the back-end environment of the platform is developed using NestJS technology, applying principles of asynchronous execution to improve performance, an aspect that allows storing the extracted data in a "NoSQL" database such as MongoDB. The front-end of the platform is also developed following the Model-View-ViewModel (MVVM) architecture in Angular, along with other technologies such as HTML and CSS, thus allowing for the creation of a complete user interface that meets the client's needs. This entire set allows for the completion of an end-to-end project, in which the student participates in data synthesis and collection, full-stack development of the platform, testing, and subsequent project documentation.