Diseño e implementación de un entorno para la integración y análisis de registros de dispositivos masivamente distribuidos

Abstract

[ES] En los sistemas distribuidos, la gestión de registros (logs) es un desafío crucial para la observabilidad, la resolución de problemas y el mantenimiento general. Un sistema de logging centralizado puede simplificar la recolección, agregación y análisis de registros de múltiples componentes distribuidos, proporcionando una vista unificada del estado y comportamiento del sistema. Los objetivos principales marcados a cubrir por el proyecto son: ● Recopilar registros de manera eficiente desde una variedad de fuentes distribuidas. ● Normalizar y organizar los registros recopilados en un formato consistente. ● Almacenar los registros agregados de manera confiable y duradera. ● Proporcionar herramientas y mecanismos para el análisis y la visualización de registros. ● Manejar grandes volúmenes de registros de manera eficiente y escalable. ● Garantizar la disponibilidad continua del sistema de logging. Para la consecución de los objetivos mencionados anteriormente en las fases de diseño y desarrollo fue de vital importancia explorar diferentes arquitecturas para el sistema de logging, como arquitecturas basadas en agentes, arquitecturas de publicación-suscripción o arquitecturas híbridas. También se evaluaron diferentes mecanismos de recolección de registros, como bibliotecas de registro de clientes, syslog, agentes de recolección o herramientas de terceros. Por otra parte también se estudió la mejor solución para elegir un sistema de almacenamiento de registros adecuado, como bases de datos relacionales, NoSQL o sistemas de archivos distribuidos. Se integraron herramientas de análisis de registros existentes para la visualización, búsqueda y análisis de registros. Sin olvidar la optimización del rendimiento del sistema de logging para manejar grandes volúmenes de datos. En el marco del proyecto se ha implementado un sistema centralizado de logging utilizando la pila ELK (Elasticsearch, Logstash y Kibana), una herramienta de análisis y visualización de datos open-source. La implementación de un sistema centralizado de logging con ELK ofrece una solución eficaz para la gestión eficiente de logs en entornos altamente distribuidos. Este proyecto permite mejorar la monitorización, la detección de fallos y la seguridad de la ctura informática, lo que se traduce en una mayor disponibilidad y eficiencia de los sistemas.

[EN] In distributed systems, log management is a crucial challenge for observability, troubleshooting and overall maintenance. A centralized logging system can simplify the collection, aggregation and analysis of logs from multiple distributed components, providing a unified view of system status and behavior. The main objectives set to be covered by the project: ● Collect logs efficiently from a variety of distributed sources. ● Standardize and organize the collected logs in a consistent format. ● To store the aggregated records in a reliable and durable manner. ● Provide tools and mechanisms for log analysis and visualization. ● Handle large volumes of records in an efficient and scalable manner. ● Ensure continuous availability of the logging system. In order to achieve the aforementioned objectives in the design and development phases, it was of vital importance to explore different architectures for the logging system, such as agent-based architectures, publish-subscribe architectures or hybrid architectures. Also to evaluate different log collection mechanisms, such as client log libraries, syslog, collection agents or third-party tools. Also study the best solution to choose a suitable log storage system, such as relational databases, NoSQL or distributed file systems. Integrate existing log analysis tools or develop custom tools for viewing, searching and analyzing logs. Not to mention optimizing the performance of the logging system to handle large volumes of data. The project has implemented a centralized logging system using the ELK (Elasticsearch, Logstash and Kibana) stack, an open-source data analysis and visualization tool. The implementation of a centralized logging system with ELK offers an effective solution for efficient log management in highly distributed environments. This project enables improved monitoring, fault detection and security of the IT infrastructure, resulting in increased system availability and efficiency.