Analysis of feedforward and LSTM deep neural network architectures for self-supervised regression of sEMG signals for multi-grasp robot hand control

Abstract

[ES] EI TFG propuesto se centra en el análisis de diferentes algoritmos de Machine Learning para el desarrollo de una interfaz humano-robot (HRI) eficiente que permita un control intuitivo y fácil de usar de una mano robótica. El objetivo principal es utilizar señales superficiales de Electromiografía (sEMG) para decodificar comandos de control para una mano robótica, tal que realice diferentes tipos de movimientos de agarre. El método combina los algoritmos de Machine Learning llamados Factorización No Negativa de Matrices (NMF) con Redes Neuronales Profundas Prealimentadas y Redes Neuronales Profundas LSTM, así como el uso de señales sEMG para elaborar un modelo de regresión autosupervisado, a la vez que comparando el rendimiento de ambas arquitecturas Prealimentada y LSTM utilizadas para el análisis de las señales sEMG.

La relevancia de esta tesis se basa en el hecho de que las interfaces humano-robot convencionales no son intuitivas ni fáciles de usar, haciendo que el control de una mano robótica difícilmente sea preciso. Al desarrollar una HRI que utiliza señales sEMG y algoritmos de ML, es posible crear una interfaz que permita un manejo natural y efectivo de manos robóticas, la cual tiene un gran potencial en numerosas aplicaciones de la ingeniería y medicina.

A continuación, se presenta una lista con varias actividades que se pretenden desarrollar en el TFG:

- Estudio de los conceptos de: interacción/interfaz humano-robot (HRI), interfaces basadas en Electromiografía superficial (sEMG), control de manos robóticas basado en sEMG, manipulación robótica. - Estudio de algoritmos y procedimientos de machine learning para su aplicación en las señales sEMG y decodificar comandos de control para manos robóticas; en particular, los siguientes métodos de machine learning: Factorización No Negativa de matrices (NMF) y Redes Neuronales Profundas (DNN). - Implementación de los métodos de machine learning en el lenguaje de programación Python, y su aplicación a un conjunto de datos de señales sEMG adquiridas de un grupo de sujetos para la extracción de señales de control para manos robóticas. - Uso de las señales de control computadas para el control de una mano robótica simulada (experimentos simulados). - Análisis de los resultados obtenidos, así como su discusión y presentación.

[EN] The proposed thesis focuses on the analysis of different Machine Learning algorithms for developing an efficient human-robot interface (HRI) that enables intuitive and easy-to-use control of a robotic hand. The main objective is to use surface Electromyography signals (SEMG) to decode control commands for a robot hand, in order to perform different types of grasping movements. The approach combines the machine learning algorithms of Non-negative Matrix Factorization (NMF) with Feedforward Deep Neural Networks and LSTM Deep Neural Networks as well as the use of sEMG signals to elaborate a self-supervised regression model, while comparing the performance of both feedforward and LSTM DNN architectures for sEMG signal analysis.

The relevance of this thesis lies in the fact that conventional human-robot interfaces are not intuitive and easy to use, making it difficult to control robotic hands with precision. By developing an HRI that utilizes sEMG signals and ML algorithms, it is possible to build an instinctive and natural interface for controlling robotic hands, which has a huge potential in numerous engineering and medical applications.

Here is a list of several activities that are planned to be done in the thesis:

- Study of the concepts of: human-robot interaction/interface, surface ElectroMyoGraphy (sEMG)-based interafces, sEMG-based control of robot hands, robotic manipulation - Study of machine learning algorithms and procedures to be applied to the sEMG signals such that to decode control commands for robotic hands, in particular the following machine learning methods: Nonnegative Matrix Factorization (NMF), Deep Neural Networks (DNN) - Implementation in Python programming language of the machine learning methods, and application to a dataset of sEMG signals acquired from a group of subjects in order to extract control signals for robot hands - Usage of the computed control signals to control a simulated robot hand (simulative experiments) - Analysis of the results and discussion/presentation on the obtained outcomes