Reconocimiento de gestos mediante redes neuronales convolucionales, utilizando imágenes de rango capturadas con el dispositivo Leap Motion

Abstract

[ES] En el presente trabajo final de grado se desarrolla un reconocedor de gestos estáticos realizados con la mano, basado en redes neuronales convolucionales y empleando Leap Motion como dispositivo de toma de imágenes, debido a su buena relación de compromiso entre prestaciones y precio. En el diseño del clasificador, después de analizar las posibles alternativas, se proponen distintas arquitecturas de red de entre las cuales poder seleccionar la mejor. Para ello, se realiza su entrenamiento y test a partir de distintas bases de datos gestuales preparadas para tal fin. Se cuenta con un corpus de datos formado por 16 clases de gestos a partir del cuál se derivan distintas variantes cuya expresividad se valorará también en los experimentos. Por último, a fin de mostrar el resultado obtenido en el trabajo, se presenta un demostrador del reconocedor de gestos a partir de imágenes capturadas en tiempo real, que alimentarán la red convolucional seleccionada.

[EN] In this final degree project, a static hand gesture recognizer is developed, based on convolutional neural networks and using Leap Motion as an imaging device, due to its good compromise between performance and price. In the design of the classifier, after analyzing the possible alternatives, different network architectures are proposed from which the best one can be selected. To do this, their training and tests are carried out from different gesture databases prepared for this purpose. There is a data corpus made up of 16 classes of gestures from which different variants are derived whose expressiveness will also be assessed in the experiments. Finally, in order to show the results obtained in the work, a gesture recognizer demonstrator is presented from images captured in real time, which will feed the selected convolutional network.

[CA] En el present treball final de grau és desenvolupa un reconeixedor de gestos estátics realitzats amb la mà, basat en xarxes neuronals convolucionals i utilitzant Leap Motion com a dispositiu de presa d’imatges, a causa de la seua bona relació de compromis entre prestacions i preu. En el disseny del classificador, després d’analitzar les possibles alternatives, és proposen diferents arquitectures de xarxa d’entre les quals poder seleccionar la millor. Per això, és realitza el seu entrenament i test a partir de diferents bases de dades gestuals preparades per a tal fi. Es compta amb un corpus de dades format per 16 classes de gestos a partir dels quals es deriven diferents variants, l’expresivitat del quals també será evaluada en els experiments. Finalment, a fi de mostrar el resultat obtingut en el treball, és presenta un demostrador del reconeixedor de gestos a partir d’imatges capturades en temps real, que alimentaran la xarxa convolucional seleccionada.