Estudio para la selección de descriptores de gestos a partir de la biblioteca "Leap Motion"

Abstract

Este trabajo forma parte de un proyecto más amplio que pretende reconocer gestos correspondientes a la lengua de signos española y traducirlos a voz en tiempo real. En concreto, se ha diseñado e implementado el módulo “Segmentador”, cuyo cometido es distinguir entre los distintos gestos que de forma continua realiza el signante y generar una descripción numérica para el posterior reconocimiento de dichos gestos. En este trabajo se ha utilizado el dispositivo “Leap Motion”, un sensor optimizado para reconocer movimiento de manos. Este dispositivo produce una gran cantidad de datos que describen los movimientos, pero no es viable utilizar directamente estos datos. El Segmentador debe determinar donde empieza y acaba cada signo y representarlo de forma óptima para que pueda ser utilizado por el módulo de reconocimiento. Se ha realizado un estudio de los descriptores que podrían diferenciar de forma más eficiente un gesto de otro y de las diferentes técnicas de segmentación. A partir de él, se ha diseñado e implementado el citado “Segmentador” que ha sido ya probado en combinación con el módulo “Reconocedor”. Las pruebas preliminares muestran unos buenos resultados que validan el trabajo realizado como prueba de concepto, a partir del cuál introducir mejoras y ampliaciones

This work is part of a larger project that aims to recognize the Spanish sign language and translate it to speech in real time. In particular, it designed and implemented the Segmenter module that is tasked with differentiating between the several signs the signer continuously performs and the fact of generating a numerical description for the subsequent recognition of such gestures. In this work, we used the Leap Motion device, a sensor optimized to recognize hand movements. This device produces a vast amount of data describing the movements, although it is not feasible to use this data directly. The Segmenter must determine where each sign begins and ends and must represent it optimally, so the recognition module can use it. A study has been conducted on the descriptors that could differentiate the signs more efficiently, and also on the different segmentation techniques. From this study, we designed and implemented the aforementioned Segmenter, which has already been tested in combination with the Recognizer module. Preliminary tests showed good results that validate the work done as a proof of concept, from which we can make improvements and extensions.