Evaluación de aceleradores de inferencia para Deep Learning (Coral TPU Edge)

Abstract

[ES] En los últimos tiempos, hemos asistido a un resurgimiento de las redes neuronales para la resolución de problemas en múltiples ámbitos. Para un problema dado, en primer lugar se debe realizar el entrenamiento de la red. El entrenamiento es un proceso iterativo, que requiere una gran potencia de cálculo. Una vez se tiene la red entrenada, ésta puede utilizarse para su cometido, proceso que se denomina inferencia. Las necesidades de cómputo para inferencia son menores que las del entrenamiento.

En este sentido, algunos fabricantes ofrecen aceleradores específicos de bajo consumo y bajo coste, enfocados a la inferencia. Una vez se tiene una red entrenada, se transfiere al acelerador para su ejecución. El interés del dispositivo radica en la elevadas potencias de cómputo que ofrece, gracias a su especialización, con un coste y consumo moderado, siendo capaces incluso de mejorar las prestaciones alcanzadas por un ordenador personal convencional.

El objetivo del proyecto es evaluar el comportamiento de uno de estos aceleradores (Coral TPU Edge), analizando sus posibilidades, ventajas e inconvenientes, su flexibilidad de programación y configuración, aplicándolo a la resolución de algunos problemas típicos de inferencia.

[EN] Lately, we have witnessed a surge in the use of neural networks to solve problems from different backgrounds. For a given problem, the first step is to train the network. Training is an iterative process, which requires a lot of processing power. Once the network is trained, it can be used for its original purpose, a process known as inference. The processing power needed for inference is far lower than the one needed for training.

Because of this, some manufacturers offer specific accelerators at a low price which run on low consumption, focused on inference. Once the network is trained, it is executed in the accelerator. The interest in the device is because of the high computing power it offers, thanks to its specialization, with a moderate price and consumption, surpassing even the capabilities of a conventional PC.

The goal of the project is to evaluate the performance of one of the accelerators (Coral TPU Edge), analysing it¿s posibilities, advantages and disadvantages, programming and configuration flexibility, applying it to the resolution of some of the typical inference problems.

[CA] En els últims temps, hem assistit a un ressorgiment de les xarxes neuronals per a la resolució de problemes en múltiples àmbits. Per a un problema donat, en primer lloc s’ha de realitzar l’entrenament de la xarxa. L’entrenament és un procés iteratiu, que requereix una gran potència de càlcul. Una vegada es té la xarxa entrenada, aquesta pot utilitzar-se per a la seua comesa, procés que es denomina inferència. Les necessitats de còmput per a inferència són menors que les de l’entrenament. En aquest sentit, alguns fabricants ofereixen acceleradors específics de baix consum i baix cost, enfocats a la inferència. Una vegada es té una xarxa entrenada, es transfereix a l’accelerador per a la seua execució. L’interès del dispositiu radica en l’elevades potències de còmput que ofereix, gràcies a la seua especialització, amb un cost i consum moderat, sent capaços fins i tot de millorar les prestacions aconseguides per un ordenador personal convencional. L’objectiu del projecte és avaluar el comportament d’un d’aquests acceleradors (Coral TPU Edge), analitzant les seues possibilitats, avantatges i inconvenients, la seua flexibilitat de programació i configuració, aplicant-ho a la resolució d’alguns problemes típics d’inferència.