Ingeniería y diseño de un bastión Kafka para la alta disponibilidad y escalabilidad en entornos empresariales

Abstract

[ES] En la era de la información, el streaming y la inmediatez de los datos, tener una gestión eficiente en tiempo real de los mismos, se ha convertido en un pilar fundamental. En este contexto, Kafka emerge como solución para garantizar la alta disponibilidad, escalabilidad y gestión de datos en vivo.

La cantidad de datos generados hoy en día para cualquier ámbito ha generado una necesidad crítica de sistemas robustos que puedan manejar grandes volúmenes de información de manera rápida y eficiente. La arquitectura tradicional de sistemas de mensajería y procesamiento de datos se está viendo superada por la necesidad de una infraestructura más ágil, flexible y tolerante a fallos.

En este proyecto, abordaremos el reto que supone el aplicar un entorno moderno como kafka, para dar respuesta a un caso de uso real para gestionar sus flujos de datos de manera eficiente, confiable y escalable. Analizaremos cómo la implementación de esta solución puede tener un impacto significativo en la capacidad de las empresas para adaptarse rápidamente a los cambios del mercado, tomar decisiones en tiempo real y ofrecer tiempos de respuesta bajos.

Veremos cómo configurar Kafka dentro de un bastión de Openshift, cumpliendo los requisitos de la alta disponibilidad y, además, recuperable ante la pérdida del entorno. Conoceremos conceptos clave con los que debe contar cualquier tecnología de información hoy en día, como puede ser la gestión basada en Git. Gracias a él mejoráremos el flujo de datos en un entorno real de una empresa. Una vez configurado el bastión, plantearemos un caso de uso real, de cómo se gestiona la producción y consumición de manera masiva de flujos de información, como puede ser la publicación masiva de cambios en la información de los productos de la empresa, utilizando Kafka como producto para este manejo de mensajes.

En resumen, este proyecto tiene como objetivo mostrar cómo la ingeniería y diseño de un bastión Kafka puede ser un elemento clave para las empresas, proporcionándoles la infraestructura necesaria para impulsar la innovación, mejorar la optimización de los datos y mantenerse competitivas en un mercado cada vez más dinámico y poco tolerante ante caídas.