Manejo mediante gestos faciales de una aplicación para la programación en Java para personas con diversidad funcional

Abstract

[ES] La programación en computadoras requiere generalmente del uso de pantallas, teclados o ratones para ver el código implementado o para ingresar nuevo código. Sin embargo, estos dispositivos a menudo no son adecuados ni cómodos para personas con diversidad funcional. Por ello, en este trabajo se va a realizar el desarrollo del reconocimiento de gestos faciales para el manejo de COPS, entorno de desarrollo software en Eclipse que facilita la programación a usuarios con diversidad funcional. Esto se conseguirá mediante la localización de los puntos más significativos de la cara de una persona (puntos en los ojos, cejas, contorno de la mandíbula, nariz, boca, etc.) con el objetivo de, a través del movimiento y las distancias entre estos, entrenar modelos correspondientes a cada gesto facial. Estos modelos servirán para posteriormente reconocer qué gesto es el que el usuario está realizando a través de la cámara y, de la misma manera, cuál es la funcionalidad de la aplicación que se desea poner en marcha. Con esto se conseguirá el objetivo de que cualquier usuario, sin exclusiones, pueda disfrutar de este gran mundo de la programación sin ningún tipo de dificultad ni inconveniente.

[EN] Computer programming generally requires the use of screens, keyboards or mice to view the implemented code or to enter new code. However, these devices are often not suitable or comfortable for people with functional diversity. For this reason, in this work, the development of facial gesture recognition for the management of COPS, a software development environment in Eclipse which facilitates programming for users with functional diversity, will be carried out. This will be achieved by locating the most significant points on human's face (points on the eyes, eyebrows, jaw, nose, mouth, etc.) with the aim of, with the movement and the distances between these train models corresponding to each facial gesture. These models will serve to recognize which gesture the user is performing through the camera and, in the same way, which is the function of the application to be launched. With this, the main goal will be achieved, which is that any user, without exclusions, can enjoy this great world of programming without any kind of difficulty or inconvenience.

[CA] La programació en computadores requereix generalment de l'ús de pantalles, teclats o ratolins per a veure el codi implementat o per a ingressar nou codi. No obstant això, aquests dispositius sovint no són adequats ni còmodes per a persones amb diversitat funcional. Per això, en aquest treball es realitzarà el desenvolupament del reconeixement de gestos facials per al maneig de COPS, entorn de desenvolupament de programari en Eclipse que facilita la programació a usuaris amb diversitat funcional. Això s'aconseguirà mitjançant la localització dels punts més significatius de la cara d'una persona (punts en els ulls, celles, contorn de la mandíbula, nas, boca, etc.) amb l'objectiu de, a través del moviment i les distàncies entre aquests, entrenar models corresponents a cada gest facial. Aquests models serviran per a posteriorment reconéixer quin gest és el que l'usuari està realitzant a través de la càmera i, de la mateixa manera, quina és la funcionalitat de l'aplicació que es desitja posar en marxa. Amb això, s'aconseguirà l'objectiu de que qualsevol usuari, sense exclusions, puga gaudir d'aquest gran món de la programació sense cap mena de dificultat ni inconvenient.