Reconocimiento de objetos en tiempo real sobre un dispositivo móvil utilizando redes neuronales profundas sobre TensorFlow Lite

Abstract

[ES] Este proyecto trata sobre redes neuronales profundas aplicadas a la detección de objetos. En particular, el trabajo se centra en el entrenamiento y la implementación de un Modelo Tensorflow, utilizando la arquitectura de MobileNets y analizando en profundidad los aspectos del proceso de la señal. Se desarrolla un método de anotar datos y ponerlos a disposición de la API de detección de objetos Tensorflow para su entrenamiento. Además, se explica cómo optimizar la red para dispositivos móviles con Tensorflow Lite y empleando cuantización. Finalmente, el resultado se pondrá en práctica mediante la programación de una aplicación de ejemplo en Android utilizando la API de la red neuronal de Android, haciendo uso del hardware de aceleración, GPU, DSP y NPU.

[EN] This project deals with deep neural networks applied to object detection. In particular, the work is focusing on the training and the implementation of a Tensorflow Model, using the MobileNets architecture while giving an in-depth analysis of the signal processing aspects of the process. It is describing a way to annotate data and making it available to the Tensorflow Object Detection API for training. Furthermore, it is explaining how to optimise the network for mobile devices with Tensorflow Lite and employing quantisation. Finally, the result will put in practice programming an Android example application using the Android Neural Network API to make use of acceleration hardware, such as GPUs, DSPs and NPUs.