Developing enhanced Drone Operations: Enabling Gesture Recognition with Integration of a Custom Fleet Management System based on ROOSTER

Abstract

[ES] Los drones se han vuelto indispensables en diversos sectores y ofrecen oportunidades de innovación, eficiencia y seguridad. Esta tesis propone una aportación el papel de la optimización de las operaciones con drones, centrándose en la integración del reconocimiento de gestos y un sistema personalizado de gestión de flotas basado en ROOSTER para mejorar la interacción con el usuario y la eficiencia operativa. En el contexto del proyecto FEROX, esta tesis de máster pretende contribuir al avance de la tecnología de drones en el contexto de la recolección de bayas silvestres en Finlandia. Sobre la base del proyecto, esta tesis tiene como objetivo desarrollar e integrar el reconocimiento de gestos para mejorar la seguridad de los recolectores de bayas y un sistema de gestión de flotas personalizado para mejorar la eficiencia operativa y la seguridad de los drones autónomos en este ámbito especializado. El sistema de gestión de flotas personalizado basado en ROOSTER se integrará con ROS Noetic en un Jetson Nano, que actuará como ordenador de acompañamiento del dron. Esta configuración se comunicará con el software de piloto automático de código abierto PX4, al tiempo que transmitirá un vídeo en directo a una unidad informática en tierra para el reconocimiento de gestos. Ro.O.S.T.E.R. es un proyecto ROS (Roboter Operating System) de código abierto centrado en la gestión de flotas heterogéneas, que incluye la asignación de tareas, la programación y la navegación autónoma. El proyecto Forsteringand EnablingAI, Data and Robotics Technologies for Supporting Human Workers in Harvesting Wild Food (FEROX) aprovecha la IA, la robótica y los datos para ayudar a los trabajadores de los bosques nórdicos a mejorar la recolección de bayas y setas. Los trabajadores extranjeros se enfrentan a dificultades para sortear terrenos desconocidos y barreras lingüísticas, lo que repercute en la productividad y la seguridad. La incertidumbre sobre los lugares óptimos de recolección añade presión, lo que afecta a los índices diarios de recogida y al bienestar de los trabajadores.

[EN] Drones have become indispensable across diverse industries, presenting opportunities for innovation, efficiency and safety. This thesis sheds light on the role of optimized drone operations, focusing on the integration of gesture recognition and a custom fleet management system based on ROOSTER to enhance user interaction and operational efficiency. In the context of the FEROX project, this master's thesis endeavours to contribute to the advancement of drone technology in the context of wild berry picking in Finland. Building upon the project's foundation, this thesis aims to develop and integrate gesture recognition to improve safety of berry pickers and a custom fleet management system to enhance the operational efficiency and safety of autonomous drones in this specialized domain. The custom fleet management system based on ROOSTER will integrate with ROS Noetic on a Jetson Nano, acting as the drone's companion computer. This setup will communicate with the PX4 opensource autopilot software, while also streaming a live video to a ground-based computing unit for gesture recognition. Ro.O.S.T.E.R. is an open-source ROS (Roboter Operating System) project focused on heterogeneous fleet management, including task allocation, scheduling, and autonomous navigation. The Forstering and Enabling AI, Data and Robotics Technologies for Supporting Human Workers in Harvesting Wild Food (FEROX) project leverages AI, robotics, and data to assist workers in Nordic forests, enhancing berry and mushroom collection. Foreign workers face challenges navigating unfamiliar terrain and language barriers, impacting productivity and safety. Uncertainty in optimal picking locations adds pressure, affecting daily collection rates and worker well-being.