Desarrollo de un simulador para la coordinación de drones usando la plataforma SPADE

Abstract

[ES] En la actualidad el uso de drones para la ejecución de distintas tareas se encuentra en aumento. Este hecho crea la necesidad de utilizar mecanismos que permitan gestionar el control de estas aeronaves de forma automática.

Es por ello que en este proyecto se ha creado una herramienta de simulación que permite el control de drones de forma automática. En esta herramienta se han unido las posibilidades que ofrece un sistema de agentes inteligente junto con un entorno de simulación.

La herramienta desarrollada se ha implementado usando una arquitectura que permite utilizar una unión del sistema de agentes SPADE y el simulador de vehículos AirSim. Gracias a esta estructura es posible llevar a cabo el desarrollo de aplicaciones con modelos de coordinación con agentes inteligentes y modelos de aprendizaje por refuerzo adaptado a drones.

El modelo de coordinación entre agentes, en este caso adaptado a drones, permite realizar tareas conjuntamente gracias a la mensajería instantánea entre los mismos. Durante el transcurso del proyecto se ha desarrollado un ejemplo de coordinación entre drones consiguiendo realizar una serie de maniobras por el entorno de simulación a modo de seguimiento.

En cuanto al modelo de aprendizaje por refuerzo desarrollado, consta de realizar acciones que implican movimientos y obtener una recompensa. Esta recompensa evalúa el grado de beneficio aportado para conseguir el objetivo final. A medida que se realizan las acciones, el algoritmo aprende qué acciones son más beneficiosas bajo determinados estados.

[EN] Currently the use of drones for the execution of different tasks is increasing. This fact generates a need for using mechanisms to manage the control of these aircraft automatically.

For that reason this project has developed a simulation tool that allows the control of drones automatically. Furthermore, this implementation merges the capabilities offered by an intelligent agent system along with a simulation environment.

The developed tool allows the user to use a union of the SPADE agent system and the AirSim vehicle simulator. An architecture has been implemented to support these two technologies, for the development of applications with models of coordination with intelligent agents and models of learning by reinforcement adapted to drones.

The coordination model between agents, in this case adapted to drones, allows the user to perform joined tasks through instant messaging between agents. In the current project an example of coordination between drones has been developed, managing to carry out a series of manoeuvres through the simulation environment using a ¿following¿ mode.

Regarding the reinforcement learning model developed, it consists of performing actions that involve movements and obtaining a reward from them. This reward assesses the degree of benefit brought into the system to achieve the ultimate goal. As actions are performed, the algorithm learns which actions are most beneficial under determinate states.