Generación de un Módulo Optimizado de Inferencia en FPGAs con HLS

Abstract

[ES] Las FPGAs (field-programmable gate array) pueden ser utilizadas para la inferencia de modelos de Redes Neuronales en sistemas embebidos, dado que este tipo de dispositivo presenta una alta eficiencia energética y un alto rendimiento. Asimismo, la posibilidad de diseñar hardware mediante High-level synthesis (HLS) ha disminuido la cantidad de esfuerzo necesario para el desarrollo de código para FPGAs.

Por otra parte, existen escenarios en los cuales no se pueda realizar la inferencia completa sobre FPGAs, necesitando un dispositivo CPU para la ejecución de las partes no soportadas.

En este trabajo, se ha utilizado el acelerador HLSinf. HLSinf es una implementación de HLS de código abierto de aceleradores personalizados para procesos de inferencia de Redes Neuronales sobre dispositivos FPGA. Además, en este proyecto, se han desarrollado nuevos módulos dentro de este acelerador. Asimismo, se ha integrado el acelerador con la libreria EDDL (European Distributed Deep Learning library), la cual permite la ejecución de modelos sobre varios dispositivos.

[CA] Les FPGAs (field-programmable gate array) poden ser utilitzades per a la inferència de models de Xarxes Neuronals en sistemes encastats, donat que aquest tipus de disposi- tiu presenten una alta eficiència energètica i un alt rendiment. Així mateix, la possibilitat de dissenyar maquinari mitjançant High-level synthesis (HLS) ha disminuït la quantitat d’esforç necessari per al desenvolupament de codi per a PGAs. D’altra banda, hi ha escenaris en els quals no es posible realitzar la inferència comple- ta sobre FPGAs, necessitant un dispositiu CPU per a l’execució de les parts no soportades. En aquest treball, s’ha utilitzat l’accelerador HLSinf. HLSinf és una implementació en HLS de codi obert d’acceleradors personalitzats per a processos d’inferència de Xar- xes Neuronals sobre dispositius FPGAs. A més, en aquest projecte, s’han desenvolupat nous mòduls dins d’aquest accelerador. Així mateix, s’ha integrat l’accelerador amb la llibreria EDDL (European Distributed Deep Learning library), la qual permet l’execució de models sobre diversos dispositius.

[EN] FPGAs (field-programmable gate array) can be used for the inference of Neural Networks models in embedded systems since this type of device presents high energy efficiency and high performance. Moreover, the ability to design hardware using High-level synthesis (HLS) has decreased the amount of effort required to develop code for FPGAs.

On the other hand, there are scenarios in which the complete inference on FPGAs cannot be performed, requiring a CPU device to execute the unsupported parts.

In this work, the accelerator HLSinf has been used. HLSinf is an open-source HLS implementation of custom accelerators for DeepLearning inference processes. on FPGA devices. Furthermore, in this project, new modules have been developed within this accelerator. Moreover, the accelerator has been integrated with the EDDL (European Distributed Deep Learning library) library, which allows the execution of models on various devices.