DESARROLLO DE UN SISTEMA DE RASTREO DE OBJETOS CALIENTES UTILIZANDO UNA CÁMARA INFRARROJA

Abstract

[ES] Históricamente, la detección de objetos calientes con cámaras térmicas de infrarrojos ha sido de interés principalmente para fines militares. Sin embargo, la disminución del precio y tamaño junto con el aumento de la calidad y resolución de imagen en los últimos años han abierto nuevos campos de aplicación, como las tareas de extinción de incendios, que es el foco de este proyecto. En muchos casos, la detección de objetos calientes no es suficiente y su rastreo también es necesario. Es por eso que las cámaras infrarrojas suelen trabajar junto con robots móviles para dotar al sistema de movimiento. El objetivo principal de este proyecto es desarrollar e implementar un sistema compuesto por una cámara infrarroja y un robot móvil autónomo coordinados entre sí para detectar y rastrear objetos calientes en un entorno desconocido. Para ello, dos bloques temáticos correspondientes a ambos dispositivos conforman fundamentalmente la solución propuesta. En cuanto a la selección del equipo, Lepton 3.5 de la marca FLIR es la cámara infrarroja para la parte principal de percepción del sistema, mientras que el SMR desarrollado por el departamento de Automatización y Control de DTU constituye el robot móvil. Un programa en Python se encarga de implementar el algoritmo para detectar objetos calientes y su ubicación en las imágenes captadas por la cámara infrarroja, permitiendo distinguir si corresponden a un potencial incendio según un umbral de temperatura preestablecido. Gracias a la lectura continua de los datos de este objeto caliente, un programa en lenguaje SMR-CL gobierna el algoritmo que permite al robot realizar la siguiente secuencia de tareas: verificar si hay algún incendio en la habitación, rastrear y alcanzar su ubicación, extinguirlo y regresar a la posición inicial. La comunicación entre ambos programas se implementa mediante un complemento en C ++. Los datos recopilados durante los experimentos se visualizan mediante una animación de imágenes infrarrojas desarrollada en Python, y una simulación del mapa de trayectoria y dirección del robot desarrollado en Matlab. Al analizar los resultados obtenidos en la fase experimental, se concluye que la solución constituye un sistema robusto capaz de rastrear tanto objetos calientes estáticos como en movimiento en diferentes entornos, mientras que el diseño es totalmente ajustable a una aplicación real.

[EN] Detection of hot objects with thermal infrared cameras has historically been of interest mostly for military purposes. However, decreasing price and size combined with increasing image quality and resolution in recent years have opened up new application fields, such us firefighting missions, which is the focus of this project. In many cases, the detection of hot objects is not enough and their tracking is also necessary. That is why infrared cameras usually work together with mobile robots to provide the system with movement. The main purpose of this project is to develop and implement a system consisting of an infrared camera and an autonomous mobile robot coordinated with each other to detect and track hot objects in an unknown environment. To achieve this, two thematic blocks corresponding to both devices fundamentally make up the proposed solution. Regarding the equipment selection, Lepton 3.5 from FLIR brand is the IR-camera for the main perception part of the system while the SMR developed by the Automation and Control department of DTU constitutes the mobile robot. A Python script is responsible for implementing the algorithm to detect hot objects and its location in the images captured by the IR-camera, allowing to distinguish if those objects correspond to fires according to a pre-established temperature threshold. Thanks the continuous reading of this hot object data, a SMR-CL script handles the algorithm that allows the robot to perform the following sequence of tasks: check for any fire in the room, track and reach its location, extinguish it and return to the starting position. The communication between both scripts is implemented using a custom made plugin in C++. The collected data during the experiments is shown by means of an infrared imaging animation developed in Python, and a simulation of the robot trajectory and direction map developed in Matlab. By analysing the results obtained in the final testing phase, it is worth to conclude that the solution constitutes a robust system capable of tracking both static and moving hot objects within different environments while the design is fully customizable to a real application.