Aplicación de técnicas de aprendizaje por refuerzo para la navegación de robots móviles

Abstract

[ES] Este trabajo se enfoca en el entrenamiento de un agente robótico de navegación diferencial, utilizando técnicas de aprendizaje por refuerzo. El objetivo principal es capacitar al agente para realizar tareas de navegación en entornos desconocidos y cumplir con éxito una tarea de búsqueda específica, utilizando únicamente la información proporcionada por sus sensores en tiempo real. Dado el alto costo y la complejidad asociados con el entrenamiento en entornos físicos reales, se opta por llevar a cabo este proceso en un entorno de simulación mediante el uso del motor de videojuegos Unity3D y su kit de herramientas de aprendizaje por refuerzo ML-Agents.

A lo largo de la memoria se relata el proceso incremental mediante el cual logramos entrenar con éxito un modelo con capacidades de generalización, y al final se proponen una serie de formas en que este modelo podría ser mejorado o extendido en base a los resultados observados durante el proceso de experimentación.

[EN] This work focuses on the training of a differential navigation robotic agent using reinforcement learning techniques. The main objective is to train the agent to perform navigation tasks in unknown environments and successfully accomplish a specific search task, using only the information provided by its real-time sensors. Given the high cost and complexity associated with training in real physical environments, we choose to carry out this process in a simulation environment using the Unity3D video game engine and its reinforcement learning toolkit ML-Agents. Throughout the report, the incremental process by which we successfully trained a model with generalization capabilities is described, and at the end, a series of ways in which this model could be improved or extended based on the results observed during the experimentation process are proposed.