Immersive Teleoperation of a Robotic Arm with Grip Recognition and Haptic Feedback

Abstract

[ES] El objetivo principal es configurar y evaluar un sistema de teleoperación háptica que permita a los usuarios manipular objetos con un brazo robótico imitando los movimientos de sus manos y reconociendo los gestos de agarre, incluyendo la fuerza aplicada y dedos involucrados. Además, el proyecto busca probar el sistema configurado en las bandas de frecuencia n78/n40 para mediciones en interiores/exteriores utilizando la Red Privada 5G de iTEAM-UPV.

El sistema está diseñado en torno a dos nodos principales: (1) Nodo de Control y Orquestación Local: Situado junto al brazo robótico, este nodo gestiona la comunicación con controlador y pinza del robot, transmitiendo y recibiendo datos en tiempo real sobre el estado del robot y comandos del usuario. (2) Nodo Háptico y Teleoperación Remota: Operable a distancia, este nodo captura los movimientos del brazo del usuario a través de un dispositivo de seguimiento y los traduce en señales de control. También transmite a los guantes hápticos para proporcionar al usuario retroalimentación táctil basada en interacciones de la pinza.

La comunicación entre nodos utilizando una Red Privada 5G es un aspecto crítico del proyecto. Se evalúa la eficacia de combinar dos protocolos de comunicación (TCP y UDP) en diferentes enlaces en diversas condiciones ambientales y distancias variables a través de seis posiciones de teleoperación dentro del Campus UPV. Además, se investigan tres configuraciones de flujo de comunicación para determinar el intercambio de datos más eficiente y confiable para un rendimiento óptimo del sistema.

El proyecto aprovecha los marcos teóricos existentes y nuevos para control robótico y HMIs. Se emplean técnicas de aprendizaje automático, específicamente una CNN personalizada, para reconocer varios gestos de agarre realizados por el usuario, lo que permite una traducción más matizada de la intención del usuario en comandos de control para el brazo robótico. Además, se configuran, aplican y prueban varias estructuras matemáticas en el sistema general, incluidos mapeos de trayectoria para el brazo robótico, de fuerza y ancho para la pinza, así como distintos modelos para especificar sensaciones hápticas complejas.

Se ha desarrollado un prototipo funcional del sistema utilizando componentes disponibles. El sistema integra un brazo robótico UR5e, pinza OnRobot RG2, guantes bHaptics DK1 e interfaz de cámara para control remoto. Se han empleado librerías como ROS Noetic, mediapipe y tensorflow para facilitar la comunicación, el seguimiento del movimiento y el reconocimiento de gestos de agarre. El trabajo de laboratorio se centró en definir y configurar todo el sistema de estudio, junto con la medición y el análisis de los aspectos de comunicación del sistema. Esto implicó probar el rendimiento de diferentes protocolos en diversas condiciones ambientales y configuraciones de flujo. Se midieron la latencia, el rendimiento, RSRP/RSRQ/SINR, así como requisitos de CPU/RAM para evaluar el impacto de protocolos de comunicación y la ubicación física en la capacidad de respuesta del sistema y la eficiencia de la transmisión.

El proyecto demuestra con éxito la viabilidad de un sistema de teleoperación inmersivo con reconocimiento de agarre y retroalimentación háptica. El análisis de la comunicación produjo un conjunto de datos completo sobre el rendimiento del sistema en diversas condiciones. (A) En entornos interiores con una interferencia mínima de la señal, la latencia media del sistema de extremo a extremo con TCP se midió en alrededor de 95 ms. Esta latencia aumentó a un promedio de 172 ms en entornos exteriores con obstáculos de señal estáticos (e.g., árboles, edificios) y dinámicos (e.g., vehículos, personas). Por otro lado, UDP exhibió una latencia media ligeramente inferior (80 ms en interiores y 148 ms en exteriores) pero con valores de fluctuación más altos, lo que indica tiempos de llegada de paquetes de datos menos predecibles. (B) TCP demostró ser más confiable para transm

[EN] The primary objective of this project is to create and evaluate a 5G haptic teleoperation system that allows users to manipulate objects with a robotic arm by mimicking their hand movements and recognizing grip gestures, including force applied and fingers involved. Also, the project seeks to test the configured system on the n78/n40 frequency bands for indoor/outdoor measurements using the 5G Private Standalone Network of iTEAM-UPV.

The system is designed around two main nodes: (1) Local Control and Orchestration Node: Situated alongside the robotic arm, this node manages communication with the robot controller and gripper, transmitting and receiving real-time data on robot state and user commands. (2) Remote Teleoperation and Haptic Node: Operable at a distance, this node captures user arm movements through a tracking device and translates them into control signals. It also transmits to the haptic gloves to provide the user with touch feedback based on gripper interactions.

The communication between these nodes using a 5G Private Standalone Network is a critical aspect of the project. The effectiveness of combining two communication protocols (TCP and UDP) on different links is evaluated across diverse environmental conditions (indoor, outdoor) and varying distances through six distinct teleoperation positions within UPV Campus. Additionally, three communication flow configurations are investigated to determine the most efficient and reliable data exchange for optimal system performance.

The project leverages existing and new theoretical frameworks for robotic control and human-computer interaction. Machine learning techniques, specifically a custom Convolutional Neural Network, are employed to recognize various grip gestures performed by the user, which allows for a more nuanced translation of user intent into control commands for the robotic arm. Also, several mathematical structures are configured, applied and tested in the overall system, including multiple trajectory mappers for the robot arm, force and width mappers for the gripper, and delay models as well as static, dynamic and adaptive models for specifying complex haptic sensations.

A functional prototype of the teleoperation system has been developed utilizing readily available components. The system integrates a UR5e robotic arm, an OnRobot RG2 gripper, bHaptics TactGloves DK1 for haptic feedback, and a camera interface for remote control. Software libraries such as ROS Noetic, mediapipe, and tensorflow have been employed to facilitate communication, movement tracking, and grip gesture recognition. The laboratory work focused on defining and configuring the entire study system, together with measuring and analyzing the communication aspects of the system. This involved testing the performance of different protocols under various environmental conditions and flow configurations. Latency, jitter, throughput, RSRP/RSRQ and SINR as well as CPU/RAM requirements were measured to assess the impact of communication protocols and physical location on system responsiveness and data transmission efficiency.

The project successfully demonstrates the feasibility of an immersive teleoperation system with grip recognition and haptic feedback. The communication analysis yielded a comprehensive dataset on the system s performance under various conditions. (A) Impact of Environment: In indoor environments with minimal signal interference, the average end-to-end system latency using TCP was measured to be around 95 ms. This latency increased to an average of 172 ms in outdoor environments with static (e.g., trees, buildings) and dynamic signal obstacles (e.g., vehicles, individuals). UDP, on the other hand, exhibited slightly lower average latency (80 ms indoors and 148 ms outdoors) but with higher jitter values, indicating less predictable data packet arrival times. (B) Protocol Suitability: TCP proved more reliable for transmitting critical robot control data due to its in-