Diagrama agnóstico a Cloud para información en tiempo real

Abstract

[ES] El presente trabajo de fin de grado (TFG) se centra en la implementación de una estrategia de uso de nube agnóstica con datos en tiempo real. La nube agnóstica permite a las empresas aprovechar los beneficios de múltiples plataformas de nube sin estar limitadas a ninguna de ellas. Por otro lado, trabajar con datos en tiempo real requiere la capacidad de recopilar y analizar datos de forma continua. El objetivo del proyecto es desarrollar e implementar un sistema de diagrama agnóstico a través de una arquitectura en la nube utilizando Kafka como plataforma de mensajería y streaming en tiempo real. El prototipo del diagrama agnóstico será capaz de recopilar y analizar datos en tiempo real de diversas fuentes de información. Se busca lograr la interoperabilidad y portabilidad del sistema, permitiendo su ejecución en diferentes plataformas de nube sin modificaciones significativas en el código o la arquitectura. Para ello, se utilizarán contenedores de Docker y el lenguaje de programación Python. Docker proporcionará un entorno aislado y portátil para ejecutar los componentes del sistema, mientras que Python se utilizará para la simulación y manipulación de datos en tiempo real. Se utilizará Kafka como componente central para habilitar la integración y comunicación entre los sistemas distribuidos. El trabajo se enfocará en analizar los fundamentos teóricos de los diagramas agnósticos y la arquitectura en la nube, evaluar las características y capacidades de Kafka, diseñar la arquitectura del sistema de flujo de datos, implementar el sistema propuesto, crear un componente de visualización gráfica de datos en tiempo real y evaluar los beneficios y limitaciones de la solución. El proyecto se desarrollará en colaboración con la empresa Inditex, con el objetivo de mejorar la comprensión y el uso de las estrategias de nube agnóstica en el contexto de los datos en tiempo real, y con posibles aplicaciones prácticas en la empresa. Se utilizarán tecnologías como Kafka, Docker, Python y Power BI, y se seguirá una metodología que incluye el análisis teórico, el diseño de la arquitectura, la implementación del sistema, la evaluación de resultados y la documentación detallada del proceso. En resumen, el TFG se enfoca en desarrollar e implementar un sistema de diagrama agnóstico utilizando una arquitectura en la nube y Kafka como plataforma de mensajería y streaming en tiempo real. Se busca lograr la interoperabilidad, portabilidad y eficiencia en la recopilación, procesamiento y visualización de datos en tiempo real.

[EN] This final degree project focuses on implementing an agnostic cloud-use strategy with real-time data. Cloud agnostic allows companies to reap the benefits of multiple cloud platforms without being limited to any of them. On the other hand, working with real-time data requires continuously collecting and analyzing data. The project aims to develop and implement a diagram-agnostic system through a cloud architecture using Kafka as a real-time streaming and messaging platform. The agnostic diagram prototype will be able to collect and analyze data in real-time from various information sources. It seeks to achieve interoperability and portability of the system, allowing its execution on different cloud platforms without significant modifications in the code or architecture. Docker containers and the Python programming language will be used to do this. Docker will provide an isolated and portable environment to run system components, while Python will be used for real-time data manipulation and simulation. Kafka will be the core component to enable integration and communication between distributed systems. The work will analyze the theoretical foundations of agnostic diagrams and cloud architecture, evaluate Kafka"s features and capabilities, design the data flow system architecture, implement the proposed system, create a real-time graphical visualization component of data, and assess the solution"s benefits and limitations. The project will be developed in collaboration with the company Inditex to improve the understanding and use of agnostic cloud strategies in the context of real-time data and with possible practical applications in the company. Technologies such as Kafka, Docker, Python, and Power BI will be used, and a methodology that includes theoretical analysis, architecture design, system implementation, evaluation of results, and detailed documentation of the process will be followed. The project focuses on developing and implementing a diagram-agnostic system using cloud architecture and Kafka as a real-time streaming and messaging platform. It seeks interoperability, portability, and efficiency in real-time data collection, processing, and visualization.