Heterogeneous Gesture Recognition based on Deep Learning for Natural Interaction in Mixed Reality Applications.

Abstract

[ES] El uso de la realidad mixta (MR) ha experimentado en los últimos años un crecimiento destacable. La realidad mixta permite al usuario una experiencia inmersiva, pero en la que puede ver el mundo real a su alrededor e interactuar con la información y elementos digitales que se muestran sobre el mismo, habitualmente utilizando unas gafas traslúcidas sobre las que se proyecta información. Sin embargo, este campo es aún es relativamente nuevo y está en constante evolución, por lo que es necesario abordar el desafío de crear experiencias naturales y cómodas para el usuario. Una de las áreas de interés es la comunicación e interacción con los elementos del entorno de realidad mixta a través de métodos de interacción natural como los gestos. Por lo tanto, es fundamental que los dispositivos de realidad mixta puedan reconocer y comprender los gestos realizados por los usuarios, permitiendo que las aplicaciones reaccionen de manera adecuada a estas acciones.

Este trabajo se centra en el desarrollo de un sistema de reconocimiento de gestos heterogéneos (tanto estáticos como dinámicos) de las manos, empleando técnicas de aprendizaje profundo. El objetivo principal es crear un clasificador que pueda reconocer y distinguir los gestos realizados por el usuario. Además, se busca desarrollar un sistema completo que permita el reconocimiento en tiempo real, de forma que los usuarios puedan interactuar de manera natural con entornos de realidad mixta mediante gestos. Para el entrenamiento del modelo se utilizan datos capturados mediante las gafas de realidad mixta Microsoft HoloLens 2, las cuales proporcionan información espacial sobre las articulaciones de los dedos.

A través de este estudio, exploramos diferentes arquitecturas de redes neuronales y analizamos su rendimiento en el reconocimiento preciso de los gestos de las manos. Además, presentamos un dataset propio, considerablemente más extenso que los conjuntos de datos previamente publicados en este campo. En conjunto, este trabajo proporciona una nueva perspectiva en el reconocimiento de gestos heterogéneos para la interacción natural en aplicaciones de realidad mixta, utilizando técnicas de aprendizaje profundo y un conjunto de datos propio de mayor tamaño. Los resultados obtenidos tratan de demostrar la viabilidad y el potencial de este sistema para mejorar la experiencia del usuario en entornos de realidad mixta, allanando el camino hacia nuevas formas de interacción y desarrollo de aplicaciones inmersivas e intuitivas.

[EN] The use of Mixed Reality (MR) has experienced an outstanding growth in recent years. Mixed Reality allows the users to have an immersive experience, but one in which they can see the real world around them and interact with the information and digital elements displayed on it, usually using translucent glasses where information is projected. However, this field is still relatively new and constantly evolving, so it is necessary to address the challenge of creating natural and comfortable experiences for the user. One of the areas of interest is communication and interaction with the elements of the Mixed Reality environment, through natural interaction methods such as gestures. Therefore, it is essential that MR devices can recognize and understand gestures made by users, allowing applications to react appropriately to these actions.

This work focuses on the development of a heterogeneous (both static and dynamic) Hand Gesture Recognition (HGR) system using Deep Learning techniques. The main objective is to create a classifier that can recognize and distinguish the gestures made by the user. In addition, the aim is to develop a complete system that allows real-time recognition, so that users can interact in a natural way with Mixed Reality environments using gestures. For model training, we use data captured using Microsoft HoloLens 2 Mixed Reality glasses, which provides spatial information about finger joints.

Through this study, we explore different Neural Network architectures and analyze their performance in accurate Hand Gesture Recognition. In addition, we present a self-developed dataset, considerably larger than previously published datasets in this field. Overall, this study provides a new perspective on heterogeneous gesture recognition for natural interaction in Mixed Reality applications, using Deep Learning techniques and a larger proprietary dataset. The results obtained are intended to highlight the feasibility and potential of this system to improve the user experience in MR environments, paving the way towards new types of interaction and the development of immersive and intuitive applications.