Desarrollo de aplicaciones de control de robots mediante el reconocimiento de personas con cámaras 3D

Abstract

[ES] El presente TFG se enmarca dentro del área correspondiente al uso de robots con fines terapéuticos, en concreto, para la rehabilitación de miembros inferiores. Para ello, se dispone de un robot paralelo de 3 grados de libertad capaz de seguir una determinada referencia. Con este TFG, sin embargo, el objetivo consiste en dotar al robot de un sistema intuitivo de usar, de manera que el fisioterapeuta pueda generar dichas referencias de manera sencilla. Así, el sistema ideado para ello consiste en que el fisioterapeuta se graba con una cámara 3D, concretamente con una Kinect de Microsoft, a sí mismo realizando los movimientos de rehabilitación de la pierna adecuados, para que la plataforma robótica pueda reproducirlos en el pie del paciente. En el desarrollo del trabajo se han creado varias aplicaciones con los entornos de LabVIEW y C++. Usando estas aplicacionesse han ideado dossistemas para el control y la simulación del robot paralelo: en diferido u offline y en tiempo real u online. Por otra parte, se ha diseñado el código de un robot paralelo virtual simulado en V‐REP con la intención de comprobar el buen funcionamiento del sistema y reproducir el movimiento de la plataforma. La aplicación creada con LabVIEW se ha conectado a la cámara gracias a la librería de Kinesthesia. Esta aplicación se ha diseñado para leer y procesar los datos de la cámara acerca de los movimientos de rehabilitación de la pierna que realiza el usuario, con el objetivo de devolver la información de los movimientos que debe realizar el robot para reproducirlos en el simulador. En el caso de la simulación offline, esta información se deposita en un archivo de texto que se debe copiar en el código del simulador V‐REP. En la simulación online, se ha desarrollado un programa en lenguaje C++ que usa una conexión de tipo TCP/IP para enviar los datos en tiempo real, creando un puente de información entre LabVIEW y el simulador V‐REP

[CA] El present TFG s'emmarca dins de l'àrea corresponent a l'ús de robots amb fins terapèutics, en concret, per a la rehabilitació de membres inferiors. Per a això, es disposa d'un robot paral∙lel de 3 graus de llibertat capaç de seguir una determinada referència. Amb este TFG, no obstant això, l'objectiu consistix a dotar el robot d'un sistema intuïtiu d'utilitzar, de manera que el fisioterapeuta puga generar les esmentades referències de manera senzilla. Així, el sistema ideat per a això consistix en el fet que el fisioterapeuta es grava amb una càmara 3D, concretament amb una Kinect de Microsoft, a si mateix realitzant els moviments de rehabilitació de la cama adequats, perquè la plataforma robòtica puga reproduir‐los en el peu del pacient. S'han dissenyat diverses aplicacions amb els entorns de LabVIEW i C++ per a aconseguir el control i la simulació del robot paral∙lel de dues formes distintes: en diferit o offline i en temps real o online. D'altra banda, s'ha desenvolupat un codi per a un simulador virtual del robot paral∙lel, cridat V‐ REP, amb la intenció de comprovar el bon funcionament del sistema i reproduir el moviment de la plataforma. L'aplicació creada amb LabVIEW s'ha connectat a la càmara gràcies a la llibreria de Kinesthesia. Esta aplicació s'ha dissenyat per a llegir i processar les dades de la càmara sobre els moviments de rehabilitació de la cama que realitza l'usuari, amb l'objectiu de tornar la informació dels moviments que ha de realitzar el robot. En el cas de la simulació offline, esta informació es deposita en un arxiu de text que s'ha de copiar en el codi del simulador V‐REP. En la simulació online, s'ha desenvolupat un programa en llenguatge C++ que usa una connexió de tipus TCP/IP per a enviar les dades en tempsreal, creant un pont d'informació entre LabVIEW i V‐REP.

[EN] This TFG belongs to the area corresponding to the use of robots for therapeutic purposes, in particular for the rehabilitation of lower limbs. To do this, it is available a 3‐DOF parallel robot able to follow a specific reference. However, the objective of this TFG is to provide an intuitive use system for the robot, so that the therapist can generate those references easily. Thus, the system developed consists of recording the therapist himself performing the adequate rehabilitation movements of the leg with a 3D camera, specifically with the Kinect of Microsoft, in order to the robotic platform can reproduce them on the foot of the patient. Several applications with LabVIEW and C++ environments have been designed to get the control and the simulation of the parallel robot in two different ways: delayed or offline and in real time or online. Moreover, a code for a virtual simulator of the parallel robot, called V‐REP, has been developed, in order to check the proper functioning of the system and to reproduce the movement of the platform. Thanks to the Kinesthesia library, the created algorithm in LabVIEW has been connected to the camera. This application has been designed to read and process the camera data related to the leg rehabilitation movements performed by the user, in order to return the information of those movements that should be performed by the robot, to be reproduced at the simulator. In the case of the offline simulation, this information is stored in a text file to be copied in the V‐REP simulator code. In the online simulation, a program in C ++ language using a TCP / IP type to send data in real time has been developed, creating an information bridge between LabVIEW and V‐REP.