Aumento de resolución de imágenes térmicas procedentes de UAVS mediante algoritmos de pansharpening

Abstract

[EN] Thermal sensors mounted on Unmanned Aerial Vehicles (UAV) provide images with much lower resolution than other sensors typically mounted simultaneously (visual spectrum sensors). This situation causes an inhomogeneity in the information derived from these datasets. Due to physical limitations in thermal sensor's construction, it can reasonably be assumed that the resolution of thermal sensors will not equal that of other sensors (visible and near-infrared spectrum range) in the short and medium term. Since the 1970s a variety of algorithms have been developed in remote sensing to improve the resolution of low-resolution sensors with information from images with higher resolution. These algorithms, originally designed for satellite platforms, are called pansharpening. Previous researches have been made to translate these technics to thermal imaging. The extent of these previous researches was to analyze only one of the many different pansharpening algorithms. In our work, we have studied over ten algorithms from the two main pansharpening families to determine their possibilities, performance, and results when used in thermal imaging, focused on UAV thermal infrared acquisition. Our methodology simulates a lower resolution thermal image, that once combined with visual spectrum images and processed, can be compared with the original resolution infrared thermal image to establish the quality of the fusion product. This methodology has been applied to a UAV thermal-visual spectrum image acquisition campaign over an industrial building near Toledo (Spain), and the quality of the final products has been quantitatively analyzed. Prior research on thermal imaging pansharpening did not monitor performance in measurable and comparable numerical parameters. Their findings were based merely on visual observation and it was impossible to ensure the quality in further processes and analyses using these enhanced images. In our work, we have calculated quality indices of the enhanced thermal images, determining quality values such as those of the BDSD pansharpening algorithm: RMSE = 7.400, ERGAS = 1.084, SAM = 0.048, PSNR = 31.014, UQI = 0.995. In conclusion, we have validated the potential of pansharpening algorithms to enhance the resolution of thermal images with the help of higher-resolution visible spectrum RGB images.

[ES] Los sensores térmicos montados sobre vehículos aéreos pilotados remotamente proveen imágenes con mucha menos resolución que otros sensores montados usualmente a la vez (sensores en el espectro visible). Esta situación provoca una disparidad en la información derivada de estos conjuntos de datos. Debido a limitaciones físicas en la construcción de sensores térmicos, es razonable asumir que la resolución de los sensores térmicos no igualará a la de otros sensores(espectro visible e infrarrojo cercano) en el corto y medio término. Desde los años 1970, variedad de algoritmos han sido desarrollados en Teledetección para mejorar la resolución de sensores de baja resolución con información de imágenes de mayor resolución. Estos algoritmos, originalmente diseñados para plataformas satélite, son llamados pansharpening.Se han realizado investigaciones previas con el objetivo de trasladar estas técnicas a imágenes térmicas. La extensión de estos estudios previos fue analizar sólo uno de los diferentes algoritmos de pansharpening existentes. En nuestro trabajo se han estudiado más de diez algoritmos de las dos principales familias de algoritmos de pansharpening para determinar sus posibilidades, funcionamiento y resultados cuando se aplican a imágenes térmicas, enfocados a aquellas obtenidas desde un dron. Nuestra metodología simula una imagen térmica de menor resolución, que una vez combinada con imágenes de espectro visible, y procesadas, pueden ser comparadas con aquellas imágenes térmicas en la resolución original, para establecer la calidad de la fusión. Esta metodología se ha aplicado en una campaña de adquisición de imágenes térmicas y de espectro visible sobre un edificio industrial cerca de Toledo (España). La calidad de los productos finales se ha calculado cuantitativamente. Investigaciones anteriores no analizaban el desempeño en parámetros numéricos medibles y comparables. Sus resultados sólo eran analizados visualmente y era imposible asegurar la calidad en procesos y análisis siguientes usando estas imágenes mejoradas. Aquí, hemos calculado índices de calidad de las imágenes térmicas mejoradas, llegando a determinar valores de calidad como los correspondientes al algoritmo de pansharpening BDSD: RMSE = 7.400, ERGAS = 1.084, SAM = 0.048, PSNR = 31.014, UQI = 0.995. En conclusión, hemos validado el potencial de los algoritmos de pansharpening para mejorar la resolución de imágenes térmicas con la ayuda de imágenes de espectro visible de mayor resolución.