Diseño e implementación de un traductor de lengua de signos a voz

Abstract

[EN] The present academic work has been developed as the continuation of the final project degree where the classification of a few gestures from spanish sign language was done. This project introduces improvements with respect to former work, including a more complex algorithm (based on Hidden Markov Mo- del), a broader set of gestures for classification, the recognition of a sequence of words and the implementation of the missing module: the module of the linguistic transformation. The dataset has been ge- nerated using Leap Motion sensor. The first part of the project is focused on the classification of gestu- res. In particular, it is expected to classify a set of 91 gestures with the lowest possible classification error, and also to create a system able to recognise consecutive gestures. The second part is centred in the linguistic transformation because of the difference in structure between sign and oral language. With this purpose, the Moses toolkit was used. For each part, the corresponding state of the art was previously studied. Finally, the results achieved have been exposed and future work has been considered.

[ES] Este trabajo final de máster pretende ser una continuación del trabajo final de grado donde se ha desarrollado el módulo encargado de preprocesar los datos y segmentar las observaciones. El principal objetivo es mejorar el módulo de reconocimiento cuyos algoritmos utilizados hasta ahora eran K-Nearest Neighbors y Dynamic Time Warping. La idea es realizar un estudio de la idoneidad de utilizar modelos ocultos de Markov haciendo uso de la herramienta HTK. Se pretende reconocer gestos sucesivos correspondientes a la lengua de signos española, de forma fluida y en tiempo real creando una base de datos de gestos colaborando con los centros más importantes de normalización lingüística. También se diseñará el módulo de transformación sintáctica de la lengua de signos a la lengua oral.

En concreto se desarrollarán las siguientes tareas:

-Preparación de la base de datos de gestos que permita mantener un diálogo en un ámbito concreto.

-Diseñar e implementar un modo de transferir los datos capturados del sensor a la herramienta HTK.

-Crear el modelo de reconocimiento para cada gesto aislado variando los parámetros del entrenamiento hasta obtener los resultados más óptimos.

-Realizar pruebas del sistema de reconocimiento de gestos aislados creado y presentar los resultados obtenidos.

-Crear una base de datos de gestos consecutivos.

-Desarrollar un modelo de lenguaje coherente con los signos disponible para estructurar frases.

-Entrenar el sistema anterior para lograr reconocer gestos consecutivos variando las características obtenidas hasta obtener los resultados más óptimos.

-Probar el funcionamiento del sistema y presentar los resultados obtenidos.

-Diseñar el módulo lingüístico: haciendo uso de la herramienta moses crear un corpus paralelo de la lengua de signos española y la lengua oral, crear un modelo de lenguaje y entrenar el sistema para que sea capaz realizar la transformación lingüística.