Application of Reinforcement Learning Algorithms to Air Traffic Control

Abstract

[ES] Este trabajo presenta los resultados obtenidos al utilizar técnicas de aprendizaje por refuerzo para desarrollar un agente capaz de controlar a un dron en el espacio aéreo de la zona de control del aeropuerto de Valencia-Manises, con el objetivo de alcanzar un destino a la vez que se evitan conflictos materializados como geofences o Zonas de No Sobrevuelo.

El agente ha demostrado un rendimiento aceptable a la hora de resolver el escenario propuesto, mostrando un equilibrio entre llegar al destino y evitar los conflictos. Algunos comportamientos indeseados han aparecido, provocando que el agente no sea capaz de resolver una minoría de ejercicios, y este estudio también busca presentar posibles causas de estos fallos.

El análisis busca principalmente ilustrar el alto potencial de la inteligencia artificial para resolver este tipo de problemas, al margen de las soluciones típicas basadas en algoritmos deterministas. De manera cualitativa, este trabajo compara las características del agente desarrollado con el proyecto AURA, que emplea el algoritmo determinista A* para resolver un caso similar.

[EN] This work presents the results obtained when using Reinforcement Learning techniques to develop an agent able to control a drone within the airspace around the Valencia-Manises airport Control Zone, with the aim of reaching a final destination while avoiding conflicts in the form of geofences or No-Flight Zones.

In the end, the agent demonstrated a proper performance when solving the scenario proposed, with a balance between reaching its destination and avoiding conflicts. Some behavioural issues appeared, causing the agent not to be able to solve a minority of exercises, and the study also tries to state possible causes of these malfunctions.

The analysis mainly seeks to illustrate the high potential of Artificial Intelligence to cope with these problems aside from the usual solutions based on deterministic algorithms. Up to a qualitative extent, this work also compares the traits of the agent developed with the AURA project, which uses the A* deterministic algorithm to solve a similar scenario.