Diseño, desarrollo e implementación de un protocolo automático para la gestión inteligente de tareas en una infraestructura de inteligencia artificial

Abstract

[ES] En los últimos años, el campo de la inteligencia artificial ha sufrido una tremenda explosión debido principalmente a dos grandes factores. En primer lugar, el proceso de digitalización llevado a cabo durante las últimas décadas ha posibilitado obtener grandes cantidades de datos (ya sea dato estructurado, señal, imagen, vídeo, etc.) dando pie al desarrollo de algoritmos de machine learning que permiten generar modelos de conocimiento a partir del dato. Para que estas ingentes cantidades de datos puedan ser analizadas en busca de patrones característicos que definan cierta tarea, se precisa de un potente hardware que permita entrenar redes neuronales profundas. En este sentido, el segundo factor que ha posibilitado la explosión de la IA ha sido el gran crecimiento en el campo de la aceleración computacional por hardware gráfico mediante GPUs. En el contexto detallado anteriormente, el grupo de investigación CVBLab de la Universitat Politècnica de València dispone de una infraestructura propia de inteligencia artificial. El actor principal de esta infraestructura de inteligencia artificial es el sistema NVIDIA DGX A100. Dicha máquina está compuesta por 8x NVIDIA A100 Tensor Core GPUs ofreciendo 5 petaFLOPS de potencia de cálculo y 320GB de memoria RAM. Adicionalmente, CVBLab dispone de cuatro equipos Intel i7 @4.20GHz con 32GB de RAM y (2x) tarjetas gráficas NVIDIA Titan XP y dos equipos Intel i7 @4.20GHz con 32GB de RAM y (2x) tarjetas gráficas NVIDIA Titan V en cada máquina. El presente TFG tiene como objetivo la implementación de protocolos para la administración inteligente de recursos en un clúster GPU de altas prestaciones mediante la librería de gestión de colas de tarea SLURM y el uso de Dockers. Adicionalmente, el alumno se adentrará en el campo de la inteligencia artificial, generando tareas básicas con las que poder evaluar el correcto funcionamiento del protocolo implementado.