Performance analysis of GPU virtualization in low-power systems

Abstract

[EN] Energy consumption is a big concern in data centres. Modern systems try to achieve the best throughput at the price of high energy consumption, high acquisition and maintenance costs and taking a large amount of space to be stored. In GPU-based systems, the GPU is in charge of the compute-intense workload, while the CPU would be doing the rest of the tasks. This might provide the possibility to use low-power CPUs without affecting too much the overall performance. If GPU virtualization was to be used in a system, the GPUs would all be placed in just a few nodes, creating a localized part with a different level of energy consumption and heating. This would simplify the maintenance tasks by centralizing the complexity in only some nodes instead of distributing it globally in the data centre. In this work, we tested the capabilities of low-power CPUs when executing CUDA applications through GPU virtualization. The results demonstrate that low-power processors are not necessarily less powerful in terms of raw performance, but other important factors in their configuration might greatly influence the outcome, like memory speed or the PCIe lanes from the network card.

[ES] El consumo de energía es una gran preocupación en los centros de datos. Los sistemas modernos intentan lograr el mejor rendimientoposible al precio de un alto consumo de energía, elevados costes de adquisición y de mantenimiento, y necesitando una gran cantidad de espacio para ser almacenados. En sistemas basados en GPUs, la GPU está a cargo de la carga de trabajo de cálculo intenso, mientras que la CPU estaría haciendo el resto de las tareas. Esto podría proporcionar la posibilidad de usar una CPU de bajo consumo sin afectar demasiado el rendimiento general. Si se utilizara la virtualización de GPU en un sistema, las GPUs se colocarían en solo unos pocos nodos, creando una parte localizada con un diferente nivel de consumo de energía y temperatura. Esto simplificaría las tareas de mantenimiento, centralizando la complejidad en solo algunos nodos en lugar de distribuirlos a nivel global en el centro de datos. En este trabajo probamos las capacidades de las CPUs de bajo consumo al ejecutar aplicaciones CUDA a través de la virtualización de GPU. Los resultados demuestran que los procesadores de bajo consumo no son necesariamente menos potentes en términos de rendimiento bruto, pero otros factores importantes en su configuración pueden influir en gran medida en el resultado, como la velocidad de la memoria o los carriles PCIe de la tarjeta de red.

[CA] El consum d’energia és una gran preocupació en els centres de dades. Els sistemes moderns intenten aconseguir el millor rendiment possible al preu d’un alt consum d’energia, elevats costos d’adquisició i manteniment, i amb una gran quantitat d’espai per a emmagatzemar-ho. En sistemes basats en GPUs, la GPU està a càrrec de la càrrega de treball de càlcul intens, mentres que la CPU estaria fent la resta de les tasques. Açò podria proporcionar la possibilitat d’usar una CPU de baix consum sense afectar massa el rendiment general. Si s’utilitzara la virtualització de GPU en un sistema, les GPUs es col·locarien en només uns pocs nodes, creant una part localitzada amb un diferent nivell de consum d’energia i calfament. Açò simplificaria les tasques de manteniment, centralitzant la complexitat en només alguns nodes en compte de distribuir-los a nivell global en el centre de dades. En aquest treball provem les capacitats de les CPUs de baix consum a l’hora d’executar aplicacions CUDA a través de la virtualització de GPU. Els resultats demostren que els processadors de baix consum no són necessàriament menys potents en termes de rendiment brut, però altres factors importants en la seua configuració poden influir en gran manera en el resultat, com la velocitat de la memòria o els carrils PCIe de la targeta de xarxa.