Fusión multimodal de datos satelitales para la segmentación de imágenes

Abstract

[ES] Este trabajo investiga técnicas avanzadas de segmentación de imágenes satelitales mediante la fusión multimodal de datos de diferentes satélites, específicamente Sentinel-1 y Sentinel-2. Sentinel-1 ofrece imágenes RADAR con dos bandas, capaces de capturar imágenes independientemente de las condiciones meteorológicas, mientras que Sentinel-2 proporciona imágenes de alta resolución en trece bandas, incluyendo RGB, lo que permite una exploración más detallada para la segmentación. En este estudio, se comparará el rendimiento de los modelos utilizando únicamente imágenes de Sentinel-1 o Sentinel-2, así como diferentes estrategias de fusión: fusión temprana (early fusion), donde todas las imágenes se introducen en un único modelo; fusión intermedia (intermediate fusion), en la que se combinan características de los dos satélites dentro de la arquitectura del modelo; y fusión tardía (late fusion), que integra las salidas de modelos independientes para cada conjunto de datos satelitales, combinándolas al final para obtener la predicción final. Se emplearán sistemas de segmentación basados en redes neuronales convolucionales (CNNs), con arquitecturas adaptadas para integrar la fusión multimodal. Este estudio tiene como objetivo evaluar cómo la fusión de datos multimodal puede mejorar la precisión y eficiencia en la segmentación de imágenes satelitales.

[EN] This work investigates advanced satellite image segmentation techniques by multi- modal fusion of data from different satellites, specifically Sentinel-1 and Sentinel-2. Sentinel-1 provides RADAR imagery with two bands, capable of capturing images regardless of weather conditions, while Sentinel-2 provides high-resolution imagery in thirteen bands, including RGB, allowing for more detailed scanning for segmentation. In this study, model performance will be compared using only Sentinel-1 or Sentinel-2 imagery, as well as different fusion strategies: early fusion, where all images are fed into a single model; intermediate fusion, where features from the two satellites are combined within the model architecture; and late fusion, which integrates independent model out- puts for each satellite dataset, combining them at the end to obtain the final prediction. Segmentation systems based on convolutional neural networks (CNNs) will be used, with architectures adapted to integrate multimodal fusion. This study aims to evaluate how multimodal data fusion can improve the accuracy and efficiency of satellite image segmentation.