Point-Cloud Instance Segmentation for Spinning Laser Sensors

Abstract

[ES] En este artículo, abordamos el problema de la segmentación de nubes de puntos para sensores LIDAR desde una perspectiva de aprendizaje profundo (DL). Dado que los sensores proporcionan de forma nativa sus mediciones en una cuadrícula 2D, utilizamos directamente modelos de visión por computador para la tarea de segmentación y, a continuación, explotamos la información de profundidad para garantizar la precisión tridimensional. Esto nos permite abordar eficazmente los principales retos de la aplicación de técnicas de DL a nubes de puntos, es decir, la falta de estructura y el aumento de la dimensionalidad en los datos. Hasta donde sabemos, éste es el primer trabajo que afronta el problema de la segmentación 3D desde una perspectiva 2D sin reproyectar explícitamente nubes de puntos 3D. Además, nuestro enfoque explota múltiples canales disponibles en los sensores modernos, es decir, profundidad, reflectividad e iluminación ambiental. También introducimos un novedoso proceso de minería de datos que permite la anotación de escaneos 3D sin intervención humana. Junto con este artículo, presentamos un nuevo dataset público con todos los datos recopilados para entrenar y evaluar nuestro modelo, en el que las nubes de puntos conservan la estructura nativa del sensor y en el que cada medición contiene información sobre el profundidad, la reflectividad y la iluminación ambiental. Como demuestran los resultados experimentales, nuestro método alcanza los mejores resultados tanto en términos de precisión como de tiempo de inferencia. Además, proporcionamos una nueva prueba de ablación que analiza las contribuciones individuales y combinadas de los distintos canales proporcionados.

[EN] In this paper, we face the point-cloud segmentation problem for spinning laser sensors from a deep-learning (DL) perspective. Since the sensors natively provide their measurements in a 2D grid, we directly use state-of-the-art models designed for visual information for the segmentation task and then exploit the range information to ensure 3D accuracy. This allows us to effectively address the main challenges of applying DL techniques to point clouds, i.e., lack of structure and increased dimensionality. To the best of our knowledge, this is the first work that faces the 3D segmentation problem from a 2D perspective without explicitly re-projecting 3D point clouds. Moreover, our approach exploits multiple channels available in modern sensors, i.e., range, reflectivity, and ambient illumination. We also introduce a novel data-mining pipeline that enables the annotation of 3D scans without human intervention. Together with this paper, we present a new public dataset with all the data collected for training and evaluating our approach, where point clouds preserve their native sensor structure and where every single measurement contains range, reflectivity, and ambient information, together with its associated 3D point. As experimental results show, our approach achieves state-of-the-art results both in terms of performance and inference time. Additionally, we provide a novel ablation test that analyses the individual and combined contributions of the different channels provided by modern laser sensors.