Plataforma Serverless de Ejecución de Trabajos

Abstract

Las plataformas serverless, como AWS Lambda permiten la ejecución de funciones dirigidas por eventos en diferentes lenguajes de programación. El desarrollo de SCAR (github.com/grycap/scar) ha permitido introducir el soporte a ejecución de contenedores Docker en AWS Lambda, para permitir la ejecución de aplicaciones genéricas en esta plataforma. Para entornos científicos, esto abre la puerta realizar ejecuciones de gran cantidad de trabajos aprovechando las ventajas de alta elasticidad (miles de instancias concurrentes) que ofrece AWS Lamda. Sin embargo, la limitación de tiempo máximo de 5 minutos supone un importante problema para aplicaciones que involucren ejecuciones por encima de este límite. En este TFM se plantea crear una plataforma serverless para la ejecución de trabajos que use AWS Lambda y SCAR como cache de ejecución de primer nivel para absorber la ejecución de ráfagas de trabajos cortos, de manera que los más largos sean delegados para ser ejecutados por otros servicios como Amazon ECS o AWS Batch.