Hernández Gobertti, Fernando Agustín
Loading...
Organizational Units
Job Title
ORCID
Panorama page
person.page.panorama
Name
Email Address
1 results
Search Results
Now showing 1 - 1 of 1
- PublicationImmersive Teleoperation of a Robotic Arm with Grip Recognition and Haptic Feedback(Universitat Politècnica de València, 2024-10-10) Hernández Gobertti, Fernando Agustín; Gómez Barquero, David; Trelis Molina, Pablo; Lozano Teruel, Raúl; Escuela Técnica Superior de Ingeniería de Telecomunicación; Departamento de Comunicaciones; Instituto Universitario de Telecomunicación y Aplicaciones Multimedia; Escuela Politécnica Superior de Gandia; European Commission[ES] El objetivo principal es configurar y evaluar un sistema de teleoperación háptica que permita a los usuarios manipular objetos con un brazo robótico imitando los movimientos de sus manos y reconociendo los gestos de agarre, incluyendo la fuerza aplicada y dedos involucrados. Además, el proyecto busca probar el sistema configurado en las bandas de frecuencia n78/n40 para mediciones en interiores/exteriores utilizando la Red Privada 5G de iTEAM-UPV. El sistema está diseñado en torno a dos nodos principales: (1) Nodo de Control y Orquestación Local: Situado junto al brazo robótico, este nodo gestiona la comunicación con controlador y pinza del robot, transmitiendo y recibiendo datos en tiempo real sobre el estado del robot y comandos del usuario. (2) Nodo Háptico y Teleoperación Remota: Operable a distancia, este nodo captura los movimientos del brazo del usuario a través de un dispositivo de seguimiento y los traduce en señales de control. También transmite a los guantes hápticos para proporcionar al usuario retroalimentación táctil basada en interacciones de la pinza. La comunicación entre nodos utilizando una Red Privada 5G es un aspecto crítico del proyecto. Se evalúa la eficacia de combinar dos protocolos de comunicación (TCP y UDP) en diferentes enlaces en diversas condiciones ambientales y distancias variables a través de seis posiciones de teleoperación dentro del Campus UPV. Además, se investigan tres configuraciones de flujo de comunicación para determinar el intercambio de datos más eficiente y confiable para un rendimiento óptimo del sistema. El proyecto aprovecha los marcos teóricos existentes y nuevos para control robótico y HMIs. Se emplean técnicas de aprendizaje automático, específicamente una CNN personalizada, para reconocer varios gestos de agarre realizados por el usuario, lo que permite una traducción más matizada de la intención del usuario en comandos de control para el brazo robótico. Además, se configuran, aplican y prueban varias estructuras matemáticas en el sistema general, incluidos mapeos de trayectoria para el brazo robótico, de fuerza y ancho para la pinza, así como distintos modelos para especificar sensaciones hápticas complejas. Se ha desarrollado un prototipo funcional del sistema utilizando componentes disponibles. El sistema integra un brazo robótico UR5e, pinza OnRobot RG2, guantes bHaptics DK1 e interfaz de cámara para control remoto. Se han empleado librerías como ROS Noetic, mediapipe y tensorflow para facilitar la comunicación, el seguimiento del movimiento y el reconocimiento de gestos de agarre. El trabajo de laboratorio se centró en definir y configurar todo el sistema de estudio, junto con la medición y el análisis de los aspectos de comunicación del sistema. Esto implicó probar el rendimiento de diferentes protocolos en diversas condiciones ambientales y configuraciones de flujo. Se midieron la latencia, el rendimiento, RSRP/RSRQ/SINR, así como requisitos de CPU/RAM para evaluar el impacto de protocolos de comunicación y la ubicación física en la capacidad de respuesta del sistema y la eficiencia de la transmisión. El proyecto demuestra con éxito la viabilidad de un sistema de teleoperación inmersivo con reconocimiento de agarre y retroalimentación háptica. El análisis de la comunicación produjo un conjunto de datos completo sobre el rendimiento del sistema en diversas condiciones. (A) En entornos interiores con una interferencia mínima de la señal, la latencia media del sistema de extremo a extremo con TCP se midió en alrededor de 95 ms. Esta latencia aumentó a un promedio de 172 ms en entornos exteriores con obstáculos de señal estáticos (e.g., árboles, edificios) y dinámicos (e.g., vehículos, personas). Por otro lado, UDP exhibió una latencia media ligeramente inferior (80 ms en interiores y 148 ms en exteriores) pero con valores de fluctuación más altos, lo que indica tiempos de llegada de paquetes de datos menos predecibles. (B) TCP demostró ser más confiable para transm