Sistema de monitorización de logs distribuidos en aplicaciones sobre una infraestructura cloud

Abstract

[ES] EDICOM es una empresa referente internacional en tecnologías y servicios para la integración de datos. Desarrolla sistemas capaces de transmitir y tratar automáticamente grandes volúmenes de información, intercambiados entre miles de empresas distribuidas por el mundo.

Para soportar la ejecución de este tipo de soluciones se ha desarrollado un servicio Cloud propio que cuenta con dos centros de datos y tiene como principal objetivo garantizar la máxima disponibilidad, ofreciendo a sus usuarios un servicio de elevada fiabilidad e integridad de datos completa. La arquitectura del servicio Cloud de EDICOM soporta los procesos de instalación y operación de los servicios de confianza en modalidad Cloud.

Sin embargo, este tipo de infraestructura origina un problema, gran parte de las aplicaciones generan a diario una ingente cantidad de logs, del orden de unos 500 millones de líneas que deberían ser monitorizadas en tiempo real, permitiendo saber el rendimiento actual de los sistemas. Esto causa, por ejemplo, que cuando una aplicación que opera dentro de un pool de máquinas empieza a funcionar de manera incorrecta, desde el departamento de sistemas se debe revisar, servidor a servidor, los logs hasta dar con el servidor problemático. Este es un escenario habitual, y que implica un proceso lento y poco eficiente hasta dar una respuesta rápida al problema.

El objetivo principal de este proyecto es diseñar una herramienta capaz de trazar e indexar estos logs en un centro de control visualizable en tiempo real por los distintos departamentos de la empresa. Además, que nos debe generar reports proporcionando información de valor para entender el comportamiento de las aplicaciones, y asistir en el proceso de resolución de incidencias.

Para abordar una solución a este problema se plantea la aplicación de software de Elastic, ELK Stack. Este Stack proporciona capacidades para indexar y manejar la integración de logs distribuidos y generados por las aplicaciones de una manera estructurada y agrupada. Uno de los beneficios de este proyecto será estudiar la viabilidad de aplicar una solución como la propuesta, desplegando, configurando y testeando la escalabilidad de este conjunto de aplicaciones para ver si se adaptan a las necesidades empresariales.

[EN] EDICOM is an internationally renowned company in technology and data integration services. It develops systems that automatically transfer and process large amounts of information, which are exchanged among thousands of companies throughout the world.

To support the implementation of these types of solutions, a Cloud service with two data centres has been developed. Its main objective is to guarantee the maximum availability, offering its users a service of high reliability and complete data integrity. The EDICOM Cloud service is designed to support the installation process and a trustworthy operation service in Cloud mode.

However, this type of infrastructure causes a problem: great part of the applications generate a huge quantity of daily logs, around 500 million lines that should be monitored in real time, providing information about the current efficiency of the systems. This causes that, for example, when an application that is operating within a pool of machines begins to function incorrectly, the logs of every server have to be reviewed by the systems department. This is a common scenario, and the process to give a fast solution to the problem is slow and inefficient.

The main objective of this project is to design a tool that is able to trace and index these logs from a control centre where different departments within the company can view them in real time. Furthermore, the tool will generate reports and, thus, provide valuable information that will help understand the behaviour of the applications, as well as assist in the process for resolving incidents.

In order to address this problem, the application of Elastic software, ELK Stack, is proposed. This stack offers the ability to index and manage the integration of distributed logs that are generated by applications, in such a way that it is structured and grouped. One of the benefits of this project will be to study the feasibility of applying a solution like the one set forth, deploying, configuring and testing the scalability of this group of applications to see if they adapt to business needs.

[CA] EDICOM és una empresa referent internacional en tecnologies i servicis per a la integració de dades. Desenvolupa sistemes capaços de transmetre i tractar automàticament grans volums d'informació, intercanviats entre milers d'empreses distribuïdes pel món. Per a suportar l'execució d'aquest tipus de solucions s'ha implementat un propi servici Cloud que compta amb 2 centres de dades i té com a principal objectiu garantir la màxima disponibilitat, oferint als seus usuaris un servici d'elevada fiabilitat i integritat de dades completa. L'arquitectura del servici Cloud de EDICOM suporta els processos d'instal·lació i operació dels servicis de confiança en modalitat Cloud. No obstant això, aquest tipus d'infraestructura origina un problema, gran part de les aplicacions generen diàriament una ingent quantitat de logs, de l'orde d'uns 500 milions de línies que haurien de ser monitorades en temps real, permetent saber el rendiment actual dels sistemes. Açò causa, per exemple, que quan una aplicació que opera dins d'un pool de màquines comença a funcionar de manera incorrecta, des del departament de sistemes s'ha de revisar, servidor a servidor, els logs fins a donar amb el servidor problemàtic. Aquest és un escenari habitual, i que implica un procés lent i poc eficient fins a donar una resposta ràpida al problema. L'objectiu principal d'aquest projecte és dissenyar una ferramenta capaç de traçar i indexar aquests logs en un centre de control on es puga visualitzar en temps real pels distints departaments de l'empresa. A més, que ens ha de generar reports proporcionant informació de valor per a entendre el comportament de les aplicacions, i assistir en el procés de resolució d'incidències. Per a abordar una solució a aquest problema es planteja l'aplicació de software d'Elastic, ELK Stack. Aquest Stack proporciona capacitats per a indexar i manejar la integració de logs distribuïts generats per les aplicacions d'una manera estructurada i agrupada. Un dels beneficis d'aquest projecte serà estudiar la viabilitat d'aplicar una solució com la proposta, desplegant, configurant i testejant l'escalabilitat d'aquest conjunt d'aplicacions per a veure si s'adapten a les necessitats empresarials