Solución basada en aprendizaje profundo para el reconocimiento de lenguaje de signos

Abstract

[ES] En España alrededor del 2,3% de la población total sufre algún tipo de discapacidad auditiva. Además, la OMS señala que los casos de sordera irán en aumento cada año. Este Trabajo Final de Grado, tiene como objetivo crear un algoritmo capaz de identificar y reconocer un subconjunto del lenguaje de signos español. A partir de un conjunto de datos desarrollado desde cero, entrenaremos al algoritmo mediante técnicas de aprendizaje profundo. Una vez entrenado, desplegaremos una aplicación donde el algoritmo será capaz de reconocer y traducir en tiempo real el signo dado por el usuario. Si el algoritmo tiene éxito, ayudará a las personas sordas a comunicarse mejor mediante aplicaciones de visión por computador. Además de un apoyo para las personas que intentan aprender el lenguaje de señas. La introducción de estrategias basadas en reconocimiento visual tiene el potencial de mejorar la comunicación en aquellas personas con discapacidad auditiva, causando impactos beneficiosos en diferentes aspectos de sus vidas.

[EN] In Spain, about 2.3% of the total population suffers from some type of hearing impairment. In addition, the WHO states that the number of deafness cases will increase every year. This Final Degree Project aims to create an algorithm capable of identifying and recognizing a subset of Spanish sign language. From a dataset developed from scratch, we will train the algorithm using deep learning techniques. Once trained, we will deploy an application where the algorithm will be able to predict in real time the sign given by the user. If the algorithm is successful, it will help deaf people to communicate better through computer vision applications. In addition to support for people trying to learn sign language. The introduction of strategies based on visual recognition has the potential to improve communication in those with hearing impairment, causing beneficial impacts in different aspects of their lives.

[CA] A Espanya, al voltant del 2,3% de la població total pateix algun tipus de discapacitat auditiva. A més, l'OMS assenyala que els casos de sordera aniran en augment cada any. Aquest Treball Final de Grau, té com a objectiu crear un algorisme capaç d'identificar i reconèixer un subconjunt del llenguatge de signes espanyol. A partir d'un conjunt de dades desenvolupat des de zero, entrenarem a l'algorisme mitjançant tècniques d'aprenentatge profund. Una vegada entrenat, desplegarem una aplicació on l'algorisme serà capaç de predir en temps real el signe donat per l'usuari. Si l'algorisme té èxit, ajudarà les persones sordes a comunicar-se millor mitjançant aplicacions de visió per computador. A més d'un suport per a les persones que intenten aprendre el llenguatge de senyals. La introducció d'estratègies basades en reconeixement visual té el potencial de millorar la comunicació en aquelles persones amb discapacitat auditiva, causant impactes beneficiosos en diferents aspectes de les seues vides.