Comparativa de APIs para el uso de las manos como dispositivos para la interacción con el computador

Abstract

[CA] En 1938 es va acabar de construir la Z1, considerada com la primera computadora mecànica programable del món, des d’aquell moment els nostres computadors han avançat a un ritme vertiginós i també ho ha fet la manera d'interactuar amb ells. Hem passat d'haver de connectar i canviar diversos cables, a només tocar un botó o moure un ratolí perquè el computador realitze el que necessitem. Els nostres desitjos de millorar la interacció ens ha portat a aconseguir interactuar mitjançant pantalles tàctils o fins i tot poder utilitzar la nostra empremta dactilar com a mecanisme de seguretat. Des de fa molt de temps ens hem imaginat un futur en el qual poder interactuar amb el computador sense necessitat de contacte i ja hi ha nous dispositius que s'han atrevit a implementar aquesta tecnologia, ja siga mitjançant sensors o captació d'imatge. La comunicació a través de gestos proporciona una forma de comunicació més senzilla i intuïtiva, a més d'aportar avanços per a les persones amb algún tipus de problema de mobilitat o dermatològic i fins i tot evitar propagar malalties pel contacte de diferents persones amb un mateix dispositiu. El projecte aborda la creació d’una aplicació, compatible amb qualsevol computador, que detecte els gestos que realitze una persona amb la mà per a poder interactuar amb el dispositiu, amb l'objectiu d'oferir una forma diferent de comunicació al teclat i ratolí. Per a la seua realització s'han estudiat les diferents possibilitats de detectar els gestos i s’ha explorat el software de codi obert que hem trobat a la web, comparant així les diverses llibreries que utilitzen. La comparació s'ha realitzat mitjançant una sèrie de proves que han mesurat la bondat dels models i el codi utilitzat, observant el temps que s'empra en la seua execució així com els recursos utilitzats. A continuació s'ha determinat la més adequada que servirà com a base de la nostra aplicació. Finalment, mitjançant diferents aportacions al codi base s'ha obtingut el que forma la nostra aplicació final, capaç de reconéixer gestos en temps real i realitzar accions en el computador utilitzant únicament la càmera per a capturar els gestos realitzats.

[ES] En 1938 se terminó de construir la Z1, considerada como la primera computadora mecánica programable del mundo, desde entonces nuestros computadores han avanzado a un ritmo vertiginoso y también la manera de interactuar con ellos.

Hemos pasado de tener que conectar y cambiar diversos cables, a solo tocar un botón o mover un ratón para que el computador realice lo que necesitamos. Nuestros deseos de mejorar la interacción nos ha llevado a conseguir interactuar mediante pantallas táctiles o incluso poder utilizar nuestra huella dactilar como mecanismo de seguridad. Desde hace mucho tiempo nos hemos imaginado un futuro en el que poder interactuar con el computador sin necesidad de contacto y ya hay nuevos dispositivos que se han atrevido a implementar esta tecnología, ya sea mediante sensores o captación de imagen.

La comunicación a través de gestos proporciona una forma de comunicación más sencilla e intuitiva, además de aportar avances para las personas con algún tipo de problema de movilidad o dermatológico e incluso evitar propagar enfermedades por el contacto de diferentes personas con un mismo dispositivo.

El proyecto aborda la creación de una aplicación, compatible con cualquier computador, que detecte los gestos que realice una persona con la mano para poder interactuar con el dispositivo, con el objetivo de ofrecer una forma distinta de comunicación al teclado y ratón.

Para su realización se han estudiado las diferentes posibilidades de detectar los gestos y explorado el software de código abierto que hemos encontrado en la web, comparando así las diversas librerías que utilizan.

La comparación se ha realizado mediante una serie de pruebas que han medido la bondad de los modelos y el código utilizado, observando el tiempo que se emplea en su ejecución así como los recursos utilizados. A continuación se ha determinado la API más adecuada que servirá como base de nuestra aplicación.

Finalmente, mediante diferentes aportaciones al código base se ha obtenido lo que forma nuestra aplicación final, capaz de reconocer gestos en tiempo real y realizar acciones en el computador utilizando únicamente la cámara para capturar los gestos realizados.

[EN] In 1938 the construction of the Z1 was completed, considered to be the first programmable mechanical computer in the world, since then our computers have advanced at a dizzying pace and also the way of interacting with them.

We have gone from having to connect and change various cables, to just touching a button or moving a mouse for the computer to do what we need. Our desire to improve interaction has led us to manage to interact through touch screens or even to be able to use our fingerprint as a security mechanism. For a long time we have imagined a future in which we can interact with the computer without the need for contact and there are already new devices that have dared to implement this technology, either through sensors or image capture.

Communication through gestures provides a simpler and more intuitive form of communication, in addition to providing advances for people with some type of mobility or dermatological problem and even avoiding the spread of diseases due to the contact of different people with the same device.

The project tries to create an application, compatible with any computer that detects the gestures that a person makes with his hand to be able to interact with the device, with the aim of offering a different form of communication than keyboard and mouse.

For its realization, the different possibilities of detecting gestures have been studied and the open source software that we have found on the web has been explored, comparing the various libraries that they use.

The comparison has been made through a series of tests that have measured the goodness of the models and the code used, observing the time spent in their execution as well as the resources used. Next, the most suitable API that will serve as the basis of our application has been determined.

Finally, through different modifications of the base code, what forms our final application has been obtained, capable of recognizing gestures in real time and performing actions on the computer using only the camera to capture the gestures.