Simulación basada en agentes de vehículos autónomos

Abstract

[ES] En años recientes el desarrollo de vehículos de conducción autónoma para el transporte de personas a nivel personal o de servicio como taxis ha avanzado considerablemente. Esto crea la necesidad de implementar un sistema capaz de aprender a conducir un coche igual o mejor que un ser humano. Es por ello que en este proyecto se ha desarrollado un entorno de simulación que permite el control de un coche de forma automática por parte de un agente inteligente. En esta herramienta se han unido las posibilidades que ofrece un sistema de agentes inteligentes junto con un entorno de simulación y un modelo de aprendizaje por refuerzo. El sistema desarrollado se ha realizado usando una arquitectura que facilita utilizar una unión del sistema de agentes inteligentes SPADE, el simulador de vehículos CARLA y un modelo de aprendizaje por refuerzo. Gracias a esta estructura es posible llevar a cabo el desarrollo de aplicaciones con modelos de agentes inteligentes y modelos de aprendizaje por refuerzo adaptado a la conducción de vehículos. Respecto al modelo de aprendizaje por refuerzo implementado, este trata de tomar acciones que resultan en las maniobras de un vehículo y recibir una recompensa en consecuencia. Esta recompensa representa el grado de beneficio proporcionado para alcanzar el objetivo final. A medida que se realizan las acciones, el algoritmo aprende qué acciones aportan mejores recompensas en determinados estados.

[CA] En anys recents el desenvolupament de vehicles de conducció autònoma per al transport de persones a nivell personal o de servei com a taxis ha avançat considerablement. Això crea la necessitat d'implementar un sistema capaç d'aprendre a conduir un cotxe igual o millor que un ésser humà. És per això que en aquest projecte s'ha desenvolupat un entorn de simulació que permet el control d'un cotxe de manera automàtica per part d'un agent intel·ligent. En aquesta eina s'han unit les possibilitats que ofereix un sistema d'agents intel·ligents juntament amb un entorn de simulació i un model d'aprenentatge per reforç. El sistema desenvolupat s'ha realitzat usant una arquitectura que facilita utilitzar una unió del sistema d'agents intel·ligents SPADE, el simulador de vehicles CARLA i un model d'aprenentatge per reforç. Gràcies a aquesta estructura és possible dur a terme el desenvolupament d'aplicacions amb models d'agents intel·ligents i models d'aprenentatge per reforç adaptat a la conducció de vehicles. Respecte al model d'aprenentatge per reforç implementat, aquest tracta de prendre accions que resulten en les maniobres d'un vehicle i rebre una recompensa en conseqüència. Aquesta recompensa representa el grau de benefici proporcionat per a aconseguir l'objectiu final. A mesura que es realitzen les accions, l'algorisme aprén quines accions aporten millors recompenses en determinats estats.

[EN] In recent years the development of autonomous driving vehicles for transporting people on a personal or service level such as cabs has advanced considerably. This creates the need to implement a system capable of learning to drive a car as well as or better than a human being. That is why in this project a simulation environment has been developed that allows the control of a car automatically by an intelligent agent. In this tool, the possibilities offered by an intelligent agent system have been combined with a simulation environment and a reinforcement learning model. The developed system has been developed using an architecture that facilitates the use of a union of the SPADE intelligent agent system, the CARLA vehicle simulator and a reinforcement learning model. Thanks to this structure it is possible to carry out the development of applications with intelligent agent models and reinforcement learning models adapted to vehicle driving. Regarding the reinforcement learning model implemented, it deals with taking actions that result in the maneuvers of a vehicle and receiving a reward accordingly. This reward represents the degree of benefit provided to achieve the final goal. As actions are taken, the algorithm learns which actions provide better rewards in certain states.