Reconstrucción 3D de espacios interiores mediante técnicas de Visión Artificial y el uso de una cámara RGB-D

Abstract

[ES] El principal objetivo del TFG es la recreación y reconstrucción 3D de múltiples instancias de espacios interiores, mediante el uso técnicas de Visión Artificial y usando como principal dispositivo de captura un sensor RGB-D. Para conseguir dicho objetivo se utilizará la implementación oficial del algoritmo BundleFusion, la cual permite obtener, de forma detallada y en tiempo real, una geometría con color del espacio físico de interés. En este trabajo se explorarán las limitaciones de dicho método (Bundlefusion), la configuración óptima de los parámetros de éste para diferentes casos de uso, la usabilidad de la herramienta (conjunto software/hardware) y el testeo de ésta frente a diferentes condiciones del entorno (p. ej. condiciones lumínicas del entorno), así como los posibles errores críticos del software. Finalmente, todas las conclusiones extraídas del estudio anterior se aplicarán en la creación de un novedoso dataset formado por múltiples instancias de espacios interiores (p. ej. una sala de reuniones o un cuarto de baño). De este modo, el usuario podrá fácilmente recrear en un sistema de Realidad Virtual el espacio físico, así como obtener otro tipo de información relevante (p. ej. plano 2D y medidas reales entre otros).

[CA] El principal objectiu del present TFG és la recreació i reconstrucció 3D de diverses instàncies d'espais interiors, mitjançant l'ús de tècniques de visió artificial i utilitzant com a principal dispositiu de captura un sensor RGB-D. Per a aconseguir aquest objectiu s'utilitzarà la implementació oficial de l'algoritme BundleFusion, el qual ens permet obtindre de forma detallada i en temps real, una geometria amb un color de l'espai físic d'interés. En aquest treball s'exploraran les distintes limitacions d'aquest mètode (BundleFusion), la configuració optima dels diferents paràmetres d’aquest per a diferents situacions d'ús, la forma d'utilitzar la ferramenta (conjunt software/hardware) i el testege d'aquest front a distintes condicions en l'entorn (p. ex. Condicions lumíniques de l'entorn), així com als possibles errors crítics del software. Finalment, totes les conclusions estretes de l'estudi realitzat s'inclouran a la creació d'un dataset compost per diverses instàncies d'espais interiors (p. ex. Un bany, una sala de reunions). D’aquesta manera, l'usuari podrà fàcilment recrear en un sistema de Realitat Virtual l'espai físic, així com obtindre altre tipus d'informació rellevant (p. ex. Una imatge en 2D i mesures reals entre altres.)

[EN] The main objective of this FDP is the recreation and 3D reconstruction of multiple instances of interior spaces, through the use of Computer Vision techniques and using as main capture device an RGB-D sensor. In order to achieve this goal, the official implementation of the BundleFusion algorithm will be used, which allows to obtain, in detail and in real time, a colored geometry of the physical space of interest. This work will explore the limitations of this method (Bundlefusion), the optimal parameter configurations for different use cases, the usability of the tool (software/hardware set) and the testing of the tool against different environmental conditions (e.g., ambient lighting conditions), as well as the possible critical software errors. Finally, all the conclusions drawn from the previous study will be applied in the creation of a novel dataset consisting of multiple instances of indoor spaces (e.g., a meeting room or a bathroom). In this way, the user will be able to easily recreate in a Virtual Reality system the physical space, as well as to obtain other relevant information (e.g., 2D floor plan and real physical dimensions among others).