Soporte de instrucciones SIMD para Redes Neuronales

Abstract

[ES] El objetivo principal de este trabajo es la optimización del rendimiento de sistemas que no tienen disponible el acceso a una GPU i dependen, solamente, de la CPU para realizar operaciones que cuentan con un elevado número de cálculos. El trabajo se realiza sobre la herramienta HELENNA, una aplicación para la inferencia de redes neuronales i el entrenamiento de estas. Se centra en añadir instrucciones SIMD para la realización de cálculos, concretamente se hace uso de la extensión AVX-512 proporcionada por Intel. Además, se estudia los casos donde el uso de estas extensiones puede suponer un cambio negativo para el rendimiento de la aplicación.

[CA] El principal objectiu d’aquest treball és l’optimització del rendiment de sistemes que no tenen disponible l’accés a una GPU i depenen, sols, de la CPU per a realitzar operacions amb un elevat nombre de càlculs. El treball es realitza sobre la ferramenta HELENNA, una aplicació per a l’inferència de xarxes neuronals i l’entrenament d’aquestes. Es centra a l’addició d’instruccions SIMD per a realitzar els càlculs, concretament de l’extensió AXV-512 proporcionada per Intel. A més, s’estudia els casos on l’ús d’aquestes extensions pot supossar un canvi negatiu per al rendiment de l’aplicació.

[EN] The goal of this project is to optimize the performance of systems that do not have access to a GPU and can only resort to the use of a CPU while conducting operations that have a large number of calculations. This project is made on HELENNA, a neural network application made for inferencing and training. Thre project is centered on the addition of SMID instructions when making operations, in particular, the use of Intel’s AVX-512 extensions. Finally, it will be also studied the cases when the use of this extensions may be detrimental for the performance of the application.