Leveraging SR-IOV capabilities of Infiniband cards to provide CUDA acceleration to virtual machines

Abstract

[EN] About a decade ago, Graphics Processing Units (GPU) started to be used not only for graphics visualization, but also for accelerating scientific applications. However, its use for this aim presents several drawbacks such as increased costs and energy consumption, which combined with the low utilization rate of these accelerators have led to a growing interest in sharing remote GPUs concurrently among several nodes of a cluster. On the other hand, the current trend in many computing facilities is to use virtual machines in order to make a more efficient use of overall resources. Nevertheless, current software for creating virtual machine environments, such as Kernel Virtual Machine (KVM) or Xen, does not easily provide GPUs to applications running in the virtualized computer. In this regard, remote GPU virtualization solutions may address this concern. In this document we analyze the use of remote GPUs to accelerate scientific applications running inside KVM virtual machines. We conduct our study with four different applications, namely CUDA-MEME, CUDASW++, GPU-BLAST, and LAMMPS. Our experiments show that remote GPU virtualization is a feasible approach with low overhead when using InfiniBand fabrics, increasing execution time only by 3% in average for the applications considered.

[ES] ace aproximádamente una década, las GPUs (unidades de proceso de gráficos) empezaron a utilizarse no sólo para visualizacion de gráficos, sino también para acelerar aplicaciones científicas mediante paralelización. Sin embargo, su uso para este fin presenta varios problemas tales como un incremento en los costes y en el consumo de energía. Esto, combinado con la baja utilización de estos aceleradores, ha motivado un creciente interés en compartir GPUs remotas concurrentemente entre varios nodos de un cluster. Por otro lado, la tendencia actual en muchos ámbitos de la informática es la utilización de máquinas virtuales con el fin de hacer un uso más eficiente de los recursos disponibles. Aun así, el software actual que permite el uso de entornos virtualizados, tal como KVM o Xen, no incluye un método sencillo de permitir el uso de GPUs por parte de las aplicaciones que se ejecutan en las máquinas virtuales. Consideramos por lo tanto que las soluciones de virtualización de GPUs remotas pueden ayudar a resolver esta carencia. En este documento analizamos el uso de GPUs remotas para acelerar aplicacions científicas ejecuntadose dentro de máquinas virtuales KVM. Llevamos a cabo nuestro estudio con cuatro aplicaciones, a saber CUDA-MEME, CUDASW++, GPU-BLAST, and LAMMPS. Nuestros experimentos muestran que la virtualización de GPUs remotas es un enfoque factíble con un sobrecoste bajo quando se usa el tejido InfiniBand, incrementando el tiempo de ejecución en solo un 3% de media en las aplicaciones consideradas.