Generación automática a bordo de ortomosaico de imágenes obtenidas por un dron

Abstract

[ES] El presente Proyecto Final de Carrera de Ingeniería Informática desarrolla la obtención automática del mosaico o fotocomposición global de las imágenes obtenidas por un dron (vehículo aéreo no tripulado, UAV, UAS o RPAS) mediante técnicas de visión por computador a bordo; en particular, mediante algoritmos de obtención de mosaico de imágenes (image mosaicing). El proyecto final de carrera combina varias herramientas y tecnologías informáticas de plena actualidad, como son los vehículos aéreos no tripulados, las placas de desarrollo o computadores de placa única (SBC, por sus siglas en inglés) de bajo coste, tamaño y consumo, pero de prestaciones aceptables (RaspBerry Pi, ODroid o Intel Galileo), y el uso de frameworks de visión por computador ampliamente usados en la industria (OpenCV y otros). En la actualidad, los drones (vehículos aéreos no tripulados o remotamente tripulados) se utilizan mayoritariamente como mera cámara en el aire, esto es, sin capacidad de procesamiento de imágenes a bordo. En la mayoría de ocasiones, las imágenes o vídeo se transmiten a tierra en directo o bien se descargan posteriormente, pero cualquier tipo de procesamiento se realiza de forma offline, horas o días después de haberse realizado el vuelo. La idea del presente proyecto consiste en embarcar un ordenador de bajo coste/tamaño/consumo, pero con prestaciones intermedias, con el fin de realizar de forma online (entendido como realizado de forma simultánea a la actividad de vuelo) un procesamiento preliminar de las imágenes adquiridas con el fin de obtener el mosaico de la zona explorada por el vehículo aéreo no tripulado. De esta manera, con dicho mosaico se podría verificar in situ (bien inmediatamente después del vuelo, o inclusive todavía durante el vuelo, transmitiendo a tierra dicho mosaico) que la adquisición de las imágenes se ha realizado de forma satisfactoria y se ha obtenido la información gráfica buscada. Esto supone un ahorro de costes y tiempo frente a la metodología actual más común: realizar el procesamiento a posteriori, llevando las imágenes a la oficina y, en caso de que el resultado no sea satisfactorio, agendando una nueva actividad de vuelo para esa área de exploración. Además, el desarrollo del presente proyecto sirve como banco de pruebas y como vía de entrada hacia tareas más complejas de procesamiento de imágenes online a bordo de un dron, área actualmente poco desarrollada en el sector de aplicación de drones civiles.

[CA] El present Projecte Final de Carrera d’Enginyeria Informàtica desenvolupa l'obtenció automàtica del mosaic o fotocomposició global de les imatges obtingudes per un drone (vehicle aeri no tripulat, UAV, UAS o RPAS) mitjançant tècniques de visió per computador a bord; en particular, mitjançant algorismes d'obtenció de mosaic d'imatges (image mosaicing). El projecte final de carrera combina diverses eines i tecnologies informàtiques de plena actualitat, com són els vehicles aeris no tripulats, les plaques de desenvolupament o computadors de placa única (SBC, per les seues sigles en anglès) de baix cost, dimensions i consum, però de prestacions acceptables (RaspBerry Pi, ODroid o Intel Galileo), i l'ús de frameworks de visió per computador àmpliament usats en la indústria (OpenCV i altres). En l'actualitat, els drones (vehicles aeris no tripulats o remotament tripulats) s'utilitzen majoritàriament com a mera càmera en l'aire, açò és, sense capacitat de processament d'imatges a bord. En la majoria d'ocasions, les imatges o vídeo es transmeten a terra en directe o bé es descarreguen posteriorment, però qualsevol tipus de processament es realitza de forma offline, hores o dies després d'haver-se realitzat el vol. La idea del present projecte consisteix a embarcar un ordinador de baix cost/dimensions/consum, però amb prestacions intermèdies, amb la finalitat de realitzar de forma online (entès com realitzat de forma simultània a l'activitat de vol) un processament preliminar de les imatges adquirides amb la finalitat d'obtindre el mosaic de la zona explorada pel vehicle aeri no tripulat. D'aquesta manera, amb aquest mosaic es podria verificar in situ (bé immediatament després del vol, o fins i tot encara durant el vol, transmetent a terra dit mosaic) que l'adquisició de les imatges s'ha realitzat de forma satisfactòria i s’ha obtingut la informació gràfica buscada. Açò suposa un estalvi de costos i temps enfront de la metodologia actual més comuna: realitzar el processament a posteriori, portant les imatges a l'oficina i, en cas que el resultat no siga satisfactori, planificant una nova activitat de vol per a aqueixa àrea d'exploració. A més, el desenvolupament del present projecte final de carrera serveix com a banc de proves i com a via d'entrada cap a tasques més complexes de processament d'imatges online a bord d'un drone, àrea actualment poc desenvolupada en el sector d'aplicació de drones per a ús civil.

[EN] The present Final Degree Project on Computer Engineering develops the automatic production of the mosaic or global photo of the images obtained by a drone (unmanned aerial vehicle, UAV, UAS or RPAS) by means of on-board computer vision techniques; in particular, by means of image mosaicing algorithms. This Final Degree Project combines several state-of-the-art computing technologies and tools, such as unmanned aerial vehicles, development boards, or low-cost singleboard (SBC) computers, but with acceptable performance (RaspBerry Pi, ODroid or Intel Galileo), and the use of widely used computer vision frameworks (OpenCV and others). Currently, drones (unmanned or remotely piloted aerial vehicles) are mostly used as a mere camera in the air, that is, without on-board image processing capabilities. In most cases, images or videos are transmitted live or downloaded later, but any kind of processing is performed offline, hours or days after flying. The idea of the present project is to place a computer of low cost / size / consumption, with intermediate performance, on board a drone, in order to perform online (understood as realized simultaneously to the flight activity) preliminary processing of the images acquired so as to obtain the mosaic from the area explored by the unmanned aerial vehicle. Thus, thanks to this mosaic it could be verified on site (either immediately after the flight, or even still during the flight, transmitting that orthomosaic to ground) that the image acquisition has been carried out satisfactorily and the required graphical information has been obtained. This is cost- and time-saving compared to the most common current methodology: to carry out image processing later on, taking the images to the office and, in case the result is not satisfactory, scheduling a new flight activity for that survey area. Additionally, the development of this project serves both as a test bench and an entry point to more complex online image processing tasks on board a drone, which is a currently underdeveloped area in the civilian drone sector.