Computación Serverless basada en GPUs en AWS

Abstract

[ES] RCUDA es una arquitectura cliente-servidor desarrollada por un equipo liderado por Federico Silla en la UPV que proporciona un conjunto de librerías compatibles con CUDA con las que se vincula la aplicación para utilizar de forma remota las GPU disponibles en un servidor externo. AWS Lambda es un servicio de Functions as a Service (FaaS) de AWS, que permite ejecutar funciones en respuesta a eventos en una plataforma computacional administrada dinámicamente que se ajusta automáticamente al número de invocaciones. AWS Lambda no es compatible con la informática basada en GPU. SCAR es una herramienta de código abierto desarrollada en la UPV para crear aplicaciones sin servidor de procesamiento de archivos altamente paralelas y controladas por eventos que se ejecutan en entornos de tiempo de ejecución personalizados proporcionados por contenedores Docker en AWS Lambda. El objetivo de este trabajo es crear una implementación de prueba de concepto que permita que una función de AWS Lambda utilice una GPU remota proporcionada por RCUDA mediante la creación de un entorno de ejecución personalizado que encapsule las bibliotecas de RCUDA, junto con la aplicación. La GPU remota estará disponible mediante una instancia EC2 con soporte de GPU o mediante recursos locales basados en GPU. Este trabajo evaluará los beneficios de costo / rendimiento de la introducción de compatibilidad con GPU remota para funciones Lambda. Se integrarán casos de uso basados en la inferencia de modelos de Deep Learning existentes con soporte de GPU.

[EN] RCUDA is a client-server architecture developed by a team led by Federico Silla at the UPV that provides a set of CUDA-compatible libraries with which the application is linked to remotely use the GPUs available on an external server. AWS Lambda is an AWS Functions as a Service (FaaS) service, which enables you to run functions in response to events on a dynamically managed computing platform that automatically adjusts for the number of invocations. AWS Lambda does not support GPU-based computing. SCAR is an open source tool developed at the UPV to create highly parallel, event-driven file processing serverless applications that run in custom runtime environments provided by Docker containers on AWS Lambda. The goal of this work is to create a proof-of-concept implementation that enables an AWS Lambda function to use a remote GPU provided by RCUDA by creating a custom runtime environment that encapsulates the RCUDA libraries, along with the application. The remote GPU will be available through a GPU-supported EC2 instance or through local GPU-based resources. This paper will evaluate the cost / performance benefits of introducing remote GPU support for Lambda functions. Use cases based on inference from existing deep learning models with GPU support will be integrated.