Gestión de cargas de trabajo batch desde un operador de Kubernetes

Abstract

[ES] En el presente Trabajo Fin de Máster, se propone proporcionar a Kubernetes la habilidad de gestionar trabajos batch ejecutados en clústeres SLURM. Para ello se ha diseñado, implementado y validado un operador de Kubernetes que realiza la comunicación entre clústers sincronizando los estados en ambos sistemas, facilitando la ejecución de trabajos batch en entornos cloud de forma sencilla. Los resultados de las validaciones demuestran que se consigue cumplir el objetivo general (proporcionar a K8s la habilidad de gestionar trabajos batch ejecutados en clústeres SLURM) planteado, dotando a K8s la habilidad de gestionar trabajos batch ejecutados en clústeres SLURM. La aplicabilidad del trabajo final de máster es proporcionar a K8s la posibilidad de ejecución de trabajos tipo batch utilizando otros recursos computacionales y un gestor de trabajos de tipo batch ampliamente utilizado (SLURM), dotando al usuario la capacidad de lanzar/cancelar/monitorizar desde K8s, aunque realmente las ejecuciones se realicen en otro clúster.

[EN] In this Master Thesis, we propose to provide Kubernetes with the ability to manage batch jobs executed in SLURM clusters. For this purpose, we have designed, implemented and validated a Kubernetes operator that performs the communication between clusters synchronizing the states in both systems, facilitating the execution of batch jobs in cloud environments in a simple way. The results of the validations show that the general objective (to provide K8s with the ability to manage batch jobs executed in SLURM clusters) is achieved, providing K8s with the ability to manage batch jobs executed in SLURM clusters. The applicability of the final master work is to provide K8s with the ability to run batch jobs using other computational resources and a widely used batch job manager (SLURM), giving the user the ability to launch/cancel/monitor from K8s, even if the executions are actually performed in another cluster.