Development of a hand gesture recognition system in an uncontrolled environment for human-computer interaction purposes

Abstract

[EN] The hand is perhaps the single most e ective tool for interactions with machines, but we are still mostly constrained by the need of physically touching a controller device. Hand gestures are a natural medium for simple commands: for a part of the population it is their day-today communication method. There are two main categories of gestures: static, where all the information for the gesture is encoded in a single instant and dynamic, where the temporal character of the hand motion is of relevance. The objective of this work is to assess the di culties and di erent methods of detecting and classifying dynamic hand gestures, design a model that is able to do so and nally implement a system that is able to exploit this information to provide a usable human-computer interface. Some of the speci cations are that the system must work not only at a very close range, but also at distances of at least two meters; the lighting conditions are also unknown, which make it a daunting Computer Vision task. The hand being a highly deformable object also imposes some restrictions on the methods available. This will require extensive research of the existing literature, iterating on the chosen solutions and devising new ones until the classi cation is satisfactory, testing it on benchmark datasets and integrating the model for interaction in real-time.

[ES] Las manos son probablemente la herramienta mas efectiva en la interacción con maquinas, pero todavía estamos limitados por la necesidad de contacto físico con un aparato de control. Los gestos de la mano son un medio natural para comandos simples: para una parte de la población son su método principal de comunicación. Hay dos categorías principales de gestos: estáticos, en los que toda la información del gesto esta codificada en un único instante y dinámicas, en los que el carácter temporal del movimiento de la mano es relevante.

El objetivo de este trabajo es evaluar las dificultades y los diferentes métodos de detectar y clasificar gestos dinámicos, diseñar un modelo que pueda realizar estar tareas y finalmente implementar un sistema capaz de aprovechar esta información para proporcionar una interfaz utilizable con la computadora. Algunas de las especificaciones son que el sistema debe trabajar no solo a muy corto alcance, sino también a distancias de al menos dos metros; las condiciones de iluminación son desconocidas y variables, lo que lo transforma en una difícil tarea de Visión Artificial.

El trabajo requiere un amplio estudio de la literatura existente, iterar sobre las soluciones existentes y diseñar otras nuevas hasta que la clasificación sea satisfactoria, contrastar los resultados con datasets existentes e integrar el modelo para la interacción en tiempo real.