Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto

Abstract

[EN] This work introduces a hybrid path planning strategy for differential-drive robotic vehicles, combining reinforcement learning methods with sampling techniques. Specifically, Q-Learning (QL) is used to find a global path by exploring and exploiting environ-mental information, where an agent learns to take actions while maximizing rewards. The agent uses a random sampling method based on Rapidly-exploring Random Trees (RRT?) to speed up the search of feasible navigation points, combining the advanta-ges of QL with RRT? (MQL) to improve sampling and generate smooth and feasible paths in high-dimensional spaces (Smooth Q-Learning - SMQL). The effectiveness of the proposed hybrid method was validated under open-pit mining conditions through a performance analysis based on criteria of maneuverability, completeness, reachability, and robustness in environments such as straight roads, narrow spaces, intricate areas, and helicoidal configurations with terrain constraints. Simulations and field experi-ments demonstrated that SMQL overcomes the individual limitations of QL and RRT?, achieving suitable exploration of the search space and rapid convergence of rewards. Paths previously planned with SMQL and MQL are tested on a motion controller and a Husky A200 robot, achieving a reduction in error cost of 81.9 % and 76.4 % and control effort of 79.8 % and 83.5 % compared to QL, respectively. It is expected that these results will impact energy resource savings for the robot when following planned routes in mining environments.

[ES] Este trabajo introduce una estrategia híbrida de planificación de caminos para vehículos robóticos tipo diferencial, combinando métodos de aprendizaje por refuerzo con técnicas de muestreo aleatorio. Específicamente, se utiliza aprendizaje por refuerzo basado en Q-Learning (QL) para encontrar un camino global mediante la exploración y explotación de la información del entorno, donde un agente aprende a tomar acciones maximizando recompensas. El agente utiliza un método de muestreo RRT? (Rapidly-exploring Random Trees) para obtener puntos factibles de camino y acelerar la búsqueda, combinando las ventajas de QL con RRT? (MQL) para mejorar el muestreo y generar caminos suaves y factibles en espacios de alta dimensionalidad (Smooth Q-Learning - SMQL). Se realizó un análisis de rendimiento del método híbrido propuesto en condiciones de minería a cielo abierto, considerando criterios de maniobrabilidad, completitud, alcanzabilidad y robustez en entornos: i) rectos, ii) estrechos, iii) intrincados, y iv) tipo helicoidal con restricciones de terreno. Mediante simulaciones se demostró que SMQL supera las limitaciones de QL y RRT?, al lograr mejor exploración y alcanzar r´ápida convergencia de recompensas. Por completitud, caminos previamente planificados con SMQL y MQL se prueban en un controlador de movimiento y un robot Husky A200, alcanzando una reducción del costo de error del 81.9 % y 76.4 % y esfuerzo de control del 79.8 % y 83.5 % en comparación con QL, respectivamente. Se espera que estos resultados tengan un impacto en el ahorro de recursos energéticos del robot al seguir rutas planificadas en ambientes mineros.