Desarrollo de una aplicación de reconocimiento de gestos usando redes de gran memoria de corto plazo (LSTM) para asistencia a operarios

Abstract

[ES] En esta tesis, se implementa el seguimiento de los gestos de la mano del operario mediante una cámara 3D. En particular, diseñando un marco para reconocer y procesar los gestos de la mano y producir resultados en consecuencia, mediante la realización de un pre-proceso utilizando Análisis de Componentes Principales (PCA) y algoritmos de segmentación. A continuación, los gestos de las manos del usuario deben clasificarse de forma eficiente y correcta, para ello, se utiliza una memoria larga a corto plazo ("Long Short-Term Memory", LSTM) para clasificar los gestos de las manos. Finalmente, se realiza un breve dataset y diferentes modelos de gestos para entrenar eficientemente la red y también validar el concepto.

Este trabajo comienza mostrando la teoría detrás de la lógica aplicada, a partir de la cual se realiza un repaso basado en el Estado del Arte sobre este tema, seguido de la metodología de la investigación y la lógica detrás de los algoritmos aplicados. Luego se evalúa el rendimiento del software en el último capítulo, donde se muestran los resultados.

[EN] In this Thesis, the tracking of hand gestures of blue-collar worker using 3D data is implemented. In particular, designing a Framework to recognise and process the hand gestures and produce outputs accordingly, by conducting a pre-process using Principal Components Analysis (PCA) and segmentation algorithms. Then, the hand gestures of the user need to be efficiently and correctly classified, to this effect, long short-term memory (LSTM) is used to classify the hand gestures. Finally, a short dataset and different gesture models are set to efficiently train the network and also validate the concept.

This paper starts showing the theory behind the applied logic, whereupon it is given a review based on the state-of-the-art regarding this topic, followed by the methodology of the research and the logic behind the algorithms applied. Then the software is evaluated for its performance in the last chapter showing the results.