Implementación eficiente de núcleos computacionales básicos de álgebra lineal numérica en el procesador Wafer-Scale Engine

Abstract

[ES] La cantidad de datos que se deben procesar ha ido en aumento año tras año. La opción más destacada para enfrentar este problema ha sido la computación paralela. En este contexto ha surgido recientemente la arquitectura Wafer-Scale Engine, que cuenta con cerca de 850,000 núcleos de procesamiento, la cual, aunque ha sido diseñada para la IA, diversas investigaciones han mostrado su potencial en otras áreas.

El foco de este trabajo es la implementación en esta arquitectura de núcleos computacionales básicos de álgebra lineal numérica, tales como la descomposición LU, la descomposición QR y la multiplicación de matrices y, con esto, crear una base para la resolución de problemas en diversas áreas, como la geociencia, grafos, redes, entre otras. Este trabajo realiza la propuesta e implementación de los algoritmos para los núcleos computacionales mencionados en la arquitectura y lleva a cabo pruebas de rendimiento de los mismos.

Los resultados muestran que la carga comunicacional tiene un alto impacto sobre la tendencia de crecimiento del tiempo de ejecución, teniendo que a menor carga comunicacional, el tiempo de ejecución tiene una tendencia lineal, mientras que a mayor carga la tendencia es exponencial. Adicionalmente, se muestra que usar más núcleos con menos datos cada uno obtiene un mejor rendimiento que usar pocos núcleos más poblados.

Finalmente, la experiencia de este trabajo entrega bases sobre las que construir nuevos algoritmos, ya sea mejorando o haciendo uso de lo desarrollado aquí, o bien, implementando otros algoritmos haciendo uso de los consejos de desarrollo propuestos.

[EN] The amount of data to be processed has been increasing year after year. The most prominent option to address this problem has been parallel computing. In this context, the Wafer-Scale Engine architecture has recently emerged, which has about 850,000 processing cores, which, although it has been designed for AI, various investigations have shown its potential in other areas.

The focus of this work is the implementation in this architecture of basic computational cores of numerical linear algebra, such as LU decomposition, QR decomposition and matrix multiplication, and with this, create a basis for solving problems in various areas, such as geoscience, graphs, networks, among others. This work proposes and implements the algorithms for the computational cores mentioned in the architecture and carries out performance tests of them.

The results show that the communication load has a high impact on the growth trend of the execution time, with a lower communication load having a linear trend in the execution time, while a higher load has an exponential trend. Additionally, it is shown that using more cores with less data each obtains better performance than using fewer, more populated cores.

Finally, the experience of this work provides bases on which to build new algorithms, either by improving or making use of what was developed here, or by implementing other algorithms making use of the proposed development tips.