Design of a Data Analysis Platform as a Multitenant Service in the Cloud: An Approach towards Scalability and Adaptability

Abstract

[ES] En la era de la digitalización, donde los datos se generan a una velocidad sin precedentes, la necesidad de sistemas de análisis de datos eficientes y escalables nunca ha sido tan crítica. Este trabajo de fin de máster presenta el diseño conceptual de una plataforma de análisis de datos como servicio (DaaS), alojada en la nube y con un enfoque multitenant, que se adapta dinámicamente a diferentes cargas de trabajo. La investigación se centra, principalmente, en el diseño arquitectónico de la plataforma, proponiendo una solución que no solo es capaz de manejar las variadas necesidades de análisis de diferentes tenants simultáneamente, sino que también garantiza la escalabilidad, la elasticidad y la eficiencia de costos inherentes a los servicios en la nube.

El estudio comienza con una revisión exhaustiva de las tecnologías de computación en la nube actuales, los sistemas de gestión de bases de datos multitenant y los marcos de análisis de datos, identificando las mejores prácticas y patrones de diseño que pueden ser aplicados en el desarrollo de nuestra plataforma. Se propone un diseño modular de la arquitectura, destacando componentes clave como la gestión de recursos, el aislamiento de datos y la escalabilidad automática, todos enfocados en ofrecer un servicio robusto y personalizable para múltiples tenants.

Además, se plantea una pequeña prueba de concepto para validar la viabilidad técnica de aspectos críticos del diseño, tales como la elasticidad de los recursos y la eficiencia del aislamiento de datos entre inquilinos. A través de esta prueba, se busca demostrar preliminarmente cómo la plataforma podría adaptarse a cargas de trabajo fluctuantes, manteniendo al mismo tiempo altos estándares de rendimiento y seguridad.

Este trabajo no pretende desarrollar un producto completo, sino más bien explorar y detallar el diseño de una solución potencial, estableciendo un marco sólido para futuras investigaciones y desarrollos. Con ello, se aspira a contribuir al avance de las tecnologías de computación en la nube y análisis de datos, ofreciendo perspectivas para el desarrollo de plataformas DaaS más eficientes y escalables, que puedan servir como columna vertebral para la toma de decisiones basada en datos en diversas industrias.

[EN] In the era of digitalization, where data is generated at unprecedented speed, the need for efficient and scalable data analytics systems has never been more critical. This master's thesis presents the conceptual design of a data analysis platform as a service (DaaS), hosted in the cloud and with a multitenant approach, which dynamically adapts to different workloads. The research primarily focuses on the architectural design of the platform, proposing a solution that is not only capable of handling the varied analytics needs of different tenants simultaneously, but also ensures scalability, elasticity, and cost efficiency inherent to cloud services.

The study begins with a comprehensive review of current cloud computing technologies, multitenant database management systems and data analysis frameworks, identifying best practices and design patterns that can be applied in the development of our platform. A modular architecture design is proposed, highlighting key components such as resource management, data isolation and automatic scalability, all focused on offering a robust and customizable service for multiple tenants.

In addition, a small proof of concept is proposed to validate the technical feasibility of critical aspects of the design, such as the elasticity of resources and the efficiency of data isolation between tenants. Through this POC, the aim is to preliminarily demonstrate how the platform could adapt to fluctuating workloads, while maintaining high standards of performance and security.

This work is not intended to develop a complete product, but rather to explore and detail the design of a potential solution, establishing a solid framework for future research and development. With this, the aim is to contribute to the advancement of cloud computing and data analysis technologies, offering perspectives for the development of more efficient and scalable DaaS platforms, which can serve as a backbone for data-based decision making in various industries.