- -

Integración de clusters ad-hoc en Jupyter y Kubernetes

RiuNet: Institutional repository of the Polithecnic University of Valencia

Share/Send to

Cited by

Statistics

Integración de clusters ad-hoc en Jupyter y Kubernetes

Show simple item record

Files in this item

dc.contributor.advisor Blanquer Espert, Ignacio es_ES
dc.contributor.advisor Calatrava Arroyo, Amanda es_ES
dc.contributor.author Álvez Amarillo, David es_ES
dc.date.accessioned 2019-10-18T10:26:21Z
dc.date.available 2019-10-18T10:26:21Z
dc.date.created 2019-09-25
dc.date.issued 2019-10-18 es_ES
dc.identifier.uri http://hdl.handle.net/10251/128933
dc.description.abstract [ES] El uso de blocs de notas en Jupyter se han popularizado recientemente ya que permiten compartir código y visualizaciones de una forma dinámica y sencilla. Sin embargo, la capacidad de proceso de los blocs de notas es limitada, ya que generalmente su ejecución se realiza localmente en el ordenador del usuario. Si bien existen soluciones para poder ejecutar blocs de notas de Jupyter en un entorno clusterizado, el uso de clústeres para la ejecución de los trabajos en Jupyter es reducida y no permite fácilmente integrar clústeres sin un sistema de ficheros compartido. Tampoco es evidente como gestionar el escalado horizontal considerando la carga de los trabajos. El presente trabajo final de master, tiene como objetivo desplegar de forma automatizada un clúster Jupyter, sobre un orquestador de contenedores como Kubernetes, haciendo uso del administrador de recursos CLUES y utilizando el paquete ipyparallel (IPython Parallel) para la gestión del clúster Python. Para ello se utiliza IPython, este software, es un proyecto de software libre que provee un conjunto de herramientas que facilitan la computación interactiva, la visualización y el análisis de datos. Jupyter es un proyecto derivado de IPython con el objetivo de ser agnóstico al lenguaje de programación utilizado. Como resultado se han desarrollado una serie de recetas Ansible optimizadas para hacer uso de golden images. Es decir, imágenes pre-configuradas que contienen todo el software necesario para el despliegue. De esta forma, se logró reducir el tiempo de despliegue a una tercera parte del tiempo inicial. es_ES
dc.description.abstract [EN] The use of Jupyter Notebooks has recently become popular as they allow to share code and visualizations in a dynamic and simple way. However, the processing capacity of the Notebooks is limited, as they are usually executed locally on the user's computer. While there are solutions for executing Jupyter notebooks in a clustered environment, the use of clusters for executing Jupyter jobs is reduced and does not allow you to easily integrate clusters without a shared file system. It is also not evident how to manage horizontal scaling considering the load of the jobs. The aim of this master thesis work is to deploy in an automated way a Jupyter cluster, over a container orchestrator such as Kubernetes, making use of the CLUES resource manager and using the ipyparallel package (IPython Parallel) for the IPython cluster management. For this purpose, IPython is used, this software is a free software project that provides a set of tools that facilitate interactive computing, visualization and data analysis. Jupyter es un proyecto derivado de IPython con el objetivo de ser agnóstico al lenguaje de programación utilizado. As a result, a series of Ansible roles optimized to make use of golden images have been developed. That is, pre-configured images that contain all the necessary software for deployment. In this way, the deployment time was reduced to a third of the initial time. es_ES
dc.format.extent 51 es_ES
dc.language Español es_ES
dc.publisher Universitat Politècnica de València es_ES
dc.rights Reserva de todos los derechos es_ES
dc.subject Kubernetes es_ES
dc.subject Jupyter es_ES
dc.subject Ansible es_ES
dc.subject Computación en la Nube es_ES
dc.subject Ipyparallel es_ES
dc.subject Computación Paralela es_ES
dc.subject IPython Parallel es_ES
dc.subject Cloud Computing es_ES
dc.subject Parallel Computing es_ES
dc.subject.classification CIENCIAS DE LA COMPUTACION E INTELIGENCIA ARTIFICIAL es_ES
dc.subject.classification LENGUAJES Y SISTEMAS INFORMATICOS es_ES
dc.subject.other Máster Universitario en Ingeniería Informática-Màster Universitari en Enginyeria Informàtica es_ES
dc.title Integración de clusters ad-hoc en Jupyter y Kubernetes es_ES
dc.type Tesis de máster es_ES
dc.rights.accessRights Cerrado es_ES
dc.contributor.affiliation Universitat Politècnica de València. Departamento de Sistemas Informáticos y Computación - Departament de Sistemes Informàtics i Computació es_ES
dc.contributor.affiliation Universitat Politècnica de València. Escola Tècnica Superior d'Enginyeria Informàtica es_ES
dc.description.bibliographicCitation Álvez Amarillo, D. (2019). Integración de clusters ad-hoc en Jupyter y Kubernetes. http://hdl.handle.net/10251/128933 es_ES
dc.description.accrualMethod TFGM es_ES
dc.relation.pasarela TFGM\109150 es_ES


This item appears in the following Collection(s)

Show simple item record