Portal for the deployment and execution of AI inference models on serverless platforms

Abstract

[ES] Este proyecto se centra en integrar nuevas capacidades en un portal web serverless basado en la arquitectura JamStack, desde el portal se permitirá desplegar y ejecutar modelos de IA encapsulados contenedores de Docker. El enfoque JamStack permite la creación y distribución eficiente de sitios web estáticos, lo que resulta en una experiencia de usuario fluida y veloz. La aplicación se compone de un frontend desarrollado con el framework de JavaScript Angular, en colaboración con el equipo del proyecto europeo AI4EOSC. Se busca extender el portal para simplificar el uso de los modelos de inferencia de IA, haciendo uso de OSCAR, una plataforma de código abierto para la ejecución dirigida por eventos de aplicaciones computacionalmente intensivas. Para la integración con OSCAR, se desarrolla un cliente utilizando Node.js y Typescript. Este cliente permitirá realizar solicitudes a los servicios de OSCAR a través de su API, así como validar y transformar los datos antes de enviarlos al servicio correspondiente de OSCAR. La creación de un servicio de OSCAR desde el portal web es simple, rápida e intuitiva para el usuario. El cliente de TypeScript actúa como una dependencia dentro del portal web, realizando validaciones de datos y generando un nuevo servicio de OSCAR en un clúster especificado. Como resultado, el usuario obtiene un modelo de IA desplegado como un servicio de OSCAR. Una vez desplegado, el servicio de OSCAR puede probar fácilmente desde el portal web seleccionando la opción "Try me". Esto desencadena una invocación que ejecuta el modelo de IA dentro de un contenedor Docker en la plataforma OSCAR. Después de recibir la respuesta, el portal web ha sido mejorado para reaccionar dinámicamente a esta, mostrándola de forma amigable para el usuario. En cuanto a los modelos de inferencia de IA, el proyecto AI4EOSC ofrece una innovadora funcionalidad al permitir a los usuarios acceder a un marketplace existente de imágenes Docker, con una amplia variedad de modelos disponibles para probar. El acceso a este marketplace es libre y brinda a los usuarios la posibilidad de seleccionar y utilizar los modelos que mejor se adapten a sus necesidades, lo que otorga una flexibilidad y personalización en el proceso de inferencia. Este trabajo académico proporcionará una valiosa ventaja en el trabajo de científicos, investigadores y académicos al ofrecer acceso a una amplia gama de modelos de inferencia, eficiencia en el despliegue, adaptabilidad, escalabilidad y la oportunidad de colaborar con otros expertos en el campo. Estos beneficios combinados contribuirán a mejorar la calidad de sus investigaciones y proyectos en inteligencia artificial

[EN] This project focuses on integrating new capabilities into a serverless web portal based on the JamStack architecture, allowing deployment and running AI models encapsulated in Docker containers. The JamStack approach enables an efficient creation and distribution of static websites, resulting in a fluent and fast user experience. The application is composed by a frontend developed with the Angular JavaScript framework, together with the European AI4EOSC project team. It seeks extend the portal in order to simplify the use of AI inference models, using OSCAR, an open-source platform for the event-driven execution of applications that are highly computationally intensive. For the integration with OSCAR, a Node.js and Typescript client is developed. This client will allow requests to OSCAR services through its API, as well as validate and transform the data before sending it to the corresponding OSCAR service. The creation of an OSCAR's service using the web portal is simple, fast and intuitive for the user. The TypeScript client acts as a dependency inside the web portal, performing data validations and generating a new OSCAR service in a specified cluster. As a result, the user gets an AI model deployed as an OSCAR service. Once deployed, the OSCAR service can be easily tested from the web portal using the "Try me" option. This triggers an invocation that runs the AI model inside a Docker container on the OSCAR platform. After receiving the response, the web portal has been enhanced to dynamically react to it, displaying it in a user-friendly way. Regarding AI inference models, the AI4EOSC project offers innovative functionality allowing users to access an existing marketplace of Docker images, with a large variety of models available for test. Access to this marketplace is free and gives users the ability to select and use the models that best suit to their needs, providing flexibility and customization in the inference process. This academic work will provide a valuable advantage in the work of scientists, researchers, and academics by offering access to a wide range of inference models, efficiency in deployment, adaptability, scalability and the opportunity to collaborate with experts in the field. These combined benefits will contribute to improving the quality of your research and projects in artificial intelligence.