Implementación de arquitecturas de datos en tiempo real con Kafka y Strimzi en Kubernetes

Abstract

[ES] Este proyecto se centra en la implementación de un sistema distribuido utilizando Apache Kafka, desplegado mediante Strimzi en un entorno Kubernetes. Strimzi facilita la gestión de Kafka al automatizar la configuración y el mantenimiento del clúster en Kubernetes. El objetivo principal es proporcionar una infraestructura robusta y escalable para la gestión de eventos en tiempo real, con un enfoque en la eficiencia operativa y la capacidad de respuesta. Además, se han integrado herramientas como Grafana, Prometheus, OTEL Collector, Fluent Bit, Grafana Tempo y Loki para la monitorización y visualización de datos, asegurando una supervisión efectiva y una trazabilidad completa del sistema. Este proyecto busca optimizar el procesamiento de datos en tiempo real y mejorar la capacidad de respuesta ante eventos críticos, todo ello soportado por una infraestructura que permite una gestión simplificada y automatizada a través de CI/CD.

[EN] This project focuses on the implementation of a distributed system using Apache Kafka, deployed through Strimzi in a Kubernetes environment. Strimzi simplifies the management of Kafka by automating the configuration and maintenance of the cluster in Kubernetes. The main objective is to provide a robust and scalable infrastructure for real-time event management, with a focus on operational efficiency and responsiveness. Additionally, tools such as Grafana, Prometheus, OTEL Collector, Fluent Bit, Grafana Tempo, and Loki have been integrated for data monitoring and visualization, ensuring effective supervision and complete system traceability. This project aims to optimize realtime data processing and improve responsiveness to critical events, all supported by an infrastructure that allows for simplified and automated management through CI/CD.

[CA] Aquest projecte se centra en la implementació d’un sistema distribuït utilitzant Apache Kafka, desplegat mitjançant Strimzi en un entorn Kubernetes. Strimzi facilita la gestió de Kafka en automatitzar la configuració i el manteniment del clúster en Kubernetes. L’objectiu principal és proporcionar una infraestructura robusta i escalable per a la gestió d’esdeveniments en temps real, amb un enfocament en l’eficiència operativa i la capacitat de resposta. A més, s’han integrat eines com Grafana, Prometheus, OTEL Collector, Fluent Bit, Grafana Tempo i Loki per a la monitorització i visualització de dades, assegurant una supervisió efectiva i una traçabilitat completa del sistema. Aquest projecte busca optimitzar el processament de dades en temps real i millorar la capacitat de resposta davant d’esdeveniments crítics, tot això suportat per una infraestructura que permet una gestió simplificada i automatitzada a través de CI/CD.