Deep Learning para estimación de pose 6D con generación automática de datos sintéticos en entornos de simulación fotorrealista para seguimiento aéreo de objetivos

Abstract

[ES] Este Trabajo de Fin de Máster se centra en el desarrollo y aplicación de técnicas avanzadas de deep learning para la estimación de la pose 6D de objetos en el ámbito de la ingeniería aeronáutica, utilizando la generación automática de datos sintéticos en entornos de simulación fotorrealista. El objetivo principal es implementar estas técnicas en el seguimiento aéreo de objetivos, mejorando la precisión y eficiencia de sistemas autónomos como los drones en diversas aplicaciones, incluyendo la vigilancia, gestión del tráfico aéreo y operaciones de rescate.

Se ha elegido el modelo YOLOv5-6D, evaluado y entrenado utilizando datos generados en entornos simulados con Unreal Engine y AirSim, para abordar los desafíos de etiquetado preciso y variabilidad de escenarios. Los resultados demuestran una alta precisión del modelo, especialmente en condiciones óptimas de iluminación, aunque se identificaron áreas de mejora en la robustez frente a variaciones de iluminación y orientaciones del objeto.

Este proyecto representa un avance significativo hacia la integración de inteligencia artificial en sistemas autónomos de aviación, proporcionando mejoras tangibles en la precisión y eficiencia operativa. Con estas tecnologías, se espera una mayor automatización y optimización de procesos críticos en la industria aeronáutica, reduciendo la carga de trabajo humano y minimizando el riesgo de errores.

[EN] This Master’s Thesis focuses on the development and application of advanced deep learning techniques for 6D pose estimation of objects in the field of aeronautical engineering, using automatic generation of synthetic data in photorealistic simulation environments. The main objective is to implement these techniques in aerial target tracking, improving the accuracy and efficiency of autonomous systems such as drones in various applications, including surveillance, air traffic management, and rescue operations.

The YOLOv5-6D model was selected, evaluated, and trained using data generated in simulated environments with Unreal Engine and AirSim to address the challenges of accurate labeling and scenario variability. The results show a high precision of the model, especially under optimal lighting conditions, although areas for improvement were identified in robustness against lighting variations and object orientations.

This project represents a significant advancement towards the integration of artificial intelligence in autonomous aviation systems, providing tangible improvements in operational accuracy and efficiency. With these technologies, greater automation and optimization of critical processes in the aeronautical industry are expected, reducing human workload and minimizing the risk of errors.