Plataforma Serverless Híbrida de Procesado de Datos

Abstract

[ES] El auge de la virtualización en los últimos años ha permitido que diversas compañías ofrezcan sus recursos informáticos a través de Internet mediante un modelo de pago por uso, conocido como computación en la nube. La gran aceptación de este modelo, unida a los recientes avances en las tecnologías de contenedores de software, han propiciado la aparición del paradigma Serverless. Este paradigma permite ejecutar funciones sin que los usuarios tengan que preocuparse por la gestión y escalado de la infraestructura subyacente. Sin embargo, las plataformas Serverless de los principales proveedores de computación en la nube tienen serias limitaciones que impiden su uso para procesar aplicaciones generales. Con el fin de evitar esas limitaciones, en este trabajo se ha colaborado con el grupo de Grid y Computación de Altas Prestaciones de la Universitat Politècnica de València en el desarrollo de una plataforma Serverless. Esta plataforma puede ser desplegada sobre cualquier infraestructura de cómputo en la nube, ya sea pública o privada. Para ello se han integrado diversas herramientas de código abierto junto a nuevos componentes desarrollados por el grupo. Complementada con un modelo de programación que permite invocar funciones ante la subida de ficheros a un sistema de almacenamiento externo, la plataforma desarrollada es capaz de procesar datos en entornos híbridos, es decir, donde el cómputo se realiza en una infraestructura y la persistencia de datos en otra. Finalmente, se han implementado dos casos de uso basados en código y datos abiertos para demostrar el funcionamiento y la potencia de la plataforma.

[EN] The rise of virtualization in recent years has allowed companies to offer their computing resources over the Internet through a pay-per-use model known as cloud computing. The great acceptance of this model, together with recent advances in software container technologies, have led to the emergence of the Serverless paradigm. This paradigm allows functions to be executed without users having to worry about the management and scaling of the underlying infrastructure. However, the Serverless platforms of the main cloud computing providers have serious limitations that restrict their use to process general applications. In order to overcome these limitations, in this work there has been collaboration with the Grid and High Performance Computing group of the Universitat Politècnica de València in the development of a Serverless platform. This platform can be deployed on any computing infrastructure in the cloud, either public or private. For this purpose, several open source tools have been integrated together with new components developed by the group. Complemented with a programming model that allows the invocation of functions when files are uploaded to an external storage system, the developed platform allows the processing of data in hybrid environments, that is, where computation is carried out in one infrastructure and data persistence in another. Finally, two use cases based on open source and open data have been implemented in order to demonstrate the operation and performance of the platform.