Sense and avoid using hybrid convolutional and recurrent neural networks

Abstract

[ES] Los términos "detección y evasión" hacen referencia al requerimiento esencial de un piloto para "ver y evitar" colisiones aire-aire. Para introducir UAVs en el día a día, esta funcion del piloto debe ser replicada por el UAV. En pequeños UAVs como pueden ser los destinados a la entrega de pedidos, existen ciertos aspectos limitantes en relación a tamaño, peso y potencia, por lo que sistemas cooperativos como TCAS o ADS-B no pueden ser utilizados y en su lugar otros sistemas como cámaras electro-ópticas son candidatos potenciales para obtener soluciones efectivas. En este tipo de aplicaciones, la solución debe evitar no solo otras aeronaves sino también otros obstáculos que puedan haber cerca de la superficie donde probablemente se operará la mayoría del tiempo.

En este proyecto se han utilizado redes neuronales híbridas que incluyen redes neuronales convolucionales como primera etapa para clasificar objetos y redes neuronales recurrentes a continuación para deteminar la secuencia de eventos y actuar consecuentemente. Este tipo de red neuronal es muy actual y no se ha investigado en exceso hasta la fecha, por lo que el principal objetivo del proyecto es estudiar si podrían ser aplicadas en sistemas de "detección y evasión". Algoritmos de acceso libre han sido fusionados y mejorados para crear un nuevo modelo capaz de funcionar en este tipo de aplicaciones.

A parte del algoritmo de detección y seguimiento, la parte correspondiente a la evasión de colisiones también fue desarrollada. Un filtro Kalman extendido se utilizó para estimar el rango relativo entre un obstáculo y el UAV. Para obtener una resolución sobre la posibilidad de conflicto, una aproximación estocástica fue considerada. Finalmente, una maniobra de evasión geométrica fue diseñada para utilizar si fuera necesario. Esta segunda parte fue evaluada mediante una simulación que también fue creada para el proyecto.

Adicionalmente, un ensayo experimental se llevó a cabo para integrar las dos partes del algoritmo. Datos del ruido de la medida fueron experimentalmente obtenidos y se comprobó que las colisiones se podían evitar satisfactoriamente con dicho valor.

Las principales conclusiones fueron que este nuevo tipo funciona más rápido que los métodos basados en redes neuronales más comunes, por lo que se recomiendo seguir investigando en ellas. Con la técnica diseñada, se encuentran disponibles multiples parámetros de diseño que pueden ser adaptados a diferentes circumstancias y factores. Las limitaciones principales encontradas se centran en la detección de obstáculos y en la estimación del rango relativo, por lo que se sugiere que la futura investigación se dirija en estas direcciones.

[EN] A Sense and Avoid technique has been developed in this master thesis. A special method for small UAVs which use only an electro-optical camera as the sensor has been considered. This method is based on a sophisticated processing solution using hybrid Convolutional and Recurrent Neural Networks. The aim is to study the feasibility of this kind of neural networks in Sense and Avoid applications.

First, the detection and tracking part of the algorithm is presented. Two models were used for this purpose: a Convolutional Neural Network called YOLO and a hybrid Convolutional and Recurrent Neural Network called Re3.

After that, the collision avoidance part was designed. This consisted of the obstacle relative range estimation using an Extended Kalman Filter, the conflict probability calculation using an analytical approach and the geometric avoidance manoeuvre generation.

Both parts were assessed separately by videos and simulations respectively, and then an experimental test was carried out to integrate them. Measurement noise was experimentally tested and simulations were performed again to check that collisions were avoided with the considered detection and tracking approach.

Results showed that the considered approach can track objects faster than the most common computer vision methods based on neural networks. Furthermore, the conflict was successfully avoided with the proposed technique. Design parameters were allowed to adjust speed and maneuvers accordingly to the expected environment or the required level of safety.

The main conclusion was that this kind of neural network could be successfully applied to Sense and Avoid systems.