Gesture recognition using a depth sensor and machine learning techniques

Abstract

Advances in depth sensing provide great opportunities for the development of new methods for human computer interactivity. With the launch of the Microsoft Kinect sensor, high-resolution depth and visual sensing has become available for widespread use. As it is suitable for measuring distances to objects at high frame rate, such kind of sensors are increasingly used for 3D acquisitions, and more generally for applications in robotics or computer vision. The aim of this survey is to implement a gesture recognition system using the Kinect version 2 of Microsoft in order to interact with a virtual TV weather studio. The Kinect sensor was used to build up a dataset, which contains motion recordings of 8 different gestures and was build up by two different gesture training machine learning algorithms. Then, the system is evaluated in a user study, which allows a direct comparison and reveals benefits and limits of using such technique. Finally, it is given an overview of the challenges in this field and future work trends.

Los avances en los sensores de profundidad ofrecen grandes oportunidades para el desarrollo de nuevos métodos para la interactividad computadora-humano. Con el lanzamiento del sensor Kinect de Microsoft, la detección de profundidad de alta resolución se ha convertido en un componente disponible para el uso generalizado. Como es adecuado para medir distancias a objetos a alta velocidad, este tipo de sensores se utilizan cada vez más para adquirir información 3D, y más en general para aplicaciones en robótica o en visión artificial. El objetivo de este estudio es implementar un sistema de reconocimiento de gestos utilizando la Kinect versión 2 de Microsoft con el fin de interactuar con un estudio virtual de TV. El sensor Kinect se utilizó para construir una base de datos, que contiene grabaciones de movimientos para 8 gestos distintos y fue entrenado por dos algoritmos diferentes de aprendizaje de máquinas. A continuación, el sistema se evaluó con un conjunto de usuarios en un estudio virtual, lo que permite una comparación directa y revela los beneficios y los límites de la utilización de tal técnica. Por último, se da una visión general de los retos en este campo y futuras líneas de trabajo

Els avenços en els sensors de profunditat ofereixen grans oportunitats per al desenvolupament de nous mètodes per a la interactivitat ordinador-humà. Amb el llançament del sensor Kinect de Microsoft, la detecció de profunditat d’alta resolució s’ha convertit en un component disponible per a l’ús generalitzat. Com és adequat per mesurar distàncies a objectes a alta velocitat, aquest tipus de sensors s’utilitzen cada vegada més per adquirir informació 3D, i més en general per a aplicacions en robòtica i en visió artificial. L’objectiu d’aquest estudi és implementar un sistema de reconeixement de gestos utilitzant la Kinect versió 2 de Microsoft per tal d’interactuar amb un estudi virtual de TV. El sensor Kinect es va utilitzar per construir una base de dades, que conté gravacions de moviments per a 8 gestos diferents i va ser entrenat per dos algoritmes diferents d’aprenentatge de màquines. A continuació, el sistema es va avaluar amb un conjunt d’usuaris en un estudi virtual, el que permet una comparació directa i revela els beneficis i els límits de la utilització de tal tècnica. Finalment, es dóna una visió general dels reptes en aquest camp i futures línies de treball.