Despliegue y Monitorización de un cluster Mesos

Abstract

[ES] Cloud computing es un nuevo paradigma que tiene como objetivo ofrecer una serie de servicios en los que los usuarios solo tienen que pagar por los recursos que utilicen y durante el tiempo en que lo hagan. Para ello, los proveedores de recursos en la nube deben poder aumentar o disminuir su infraestructura virtual dinámicamente en función la carga de trabajos, lo cual se define como elasticidad horizontal. La elasticidad horizontal es adecuada cuando el problema que se resuelve es inherentemente paralelo. Sin embargo, cuando el problema no puede beneficiarse de un aumento en el número de recursos, se debe considerar otro tipo de elasticidad. La elasticidad vertical tiene como objetivo variar dinámicamente los recursos asignados a cada servicio en función de la calidad de servicio (QoS). El presente Trabajo de Fin de Máster utiliza el sistema de gestión de recursos Apache Mesos, cuya finalidad es la ejecución de servicios mediante aplicaciones distribuidas o frameworks y el control de recursos tales como almacenamiento, CPU y memoria en un conjunto de nodos computacionales. En función de las características del framework, es posible variar la asignación de recursos asociados a cada servicio. Es usual que estos servicios se ejecuten en contenedores Docker o en los contenedores nativos de Mesos, ya que permiten al desarrollador encapsular las dependencias de forma que sean portables y ejecutables en todo tipo de máquinas con el único requisito de tener un gestor de contenedores compatible con Docker. El desarrollo planteado en este trabajo se basará en contenedores Docker, que pueden ejecutarse a través de los frameworks en Mesos. Así, el trabajo plasmado en este documento se en centra diseñar e implementar un sistema que, dada una especificación de un trabajo encapsulado en un contenedor Docker y una QoS, sea capaz de desplegarlo utilizando un framework de Mesos (los elegidos en este trabajo son Chronos o Marathon), monitorizarlo y variar los recursos asignados con el objetivo de cumplir con la calidad de servicio acordada. Es importante destacar que todo el desarrollo se ha llevado a cabo dentro del grupo de investigación Grid y Computación de Altas Prestaciones (GRyCAP) de la UPV, como parte del proyecto de investigación EUBra-BigSEA.

[EN] Cloud computing is a new paradigm whose aim is to offer a sort of services for which the users only have to pay for the resources they use and during the time they are using them. For that, cloud resources suppliers must be able to increment or decrement their virtual infrastructures dynamically according to the workload, what is defined as horizontal elasticity. Horizontal elasticity is appropriate when the problems that are solved are inherently parallel. However, when the problem cannot benefit from an increase of the amount of resources, another type of elasticity must be considered. Vertical elasticity consists of varying dynamically the resources assigned to each service, according to the Quality of Service (QoS). This MSc. Thesis uses the resource management system Apache Mesos, whose objective is to execute services by using distributed applications or frameworks and controlling resources such as storage, CPU and memory in a collection of computational nodes. Depending on the framework features, it is possible to vary the resources associated with each service. It is common that these services are executed in Docker containers or Mesos native containers, as they allow the developer to encapsulate the dependencies in such a way that they are portable and executable in any machine, with the only requirement of having a containers manager that is compatible with Docker. The development proposed in this work is based on Docker containers, which can be executed through Mesos frameworks. Thereby, the work explained along this document is focused on designing and implementing a system that, given a work specification encapsulated in a Docker container and a QoS, is able to deploy it using a Mesos framework (Chronos or Marathon are the used ones in this work), monitor it and vary the assigned resources with the objective of achieving the agreed QoS. It is important to highlight that all the development has been performed in the research group Grid y Computación de Altas Prestaciones (GRyCAP) of the UPV, as part of the research project EUBra-BigSEA.