Escenas 3D mediante campos de radiancia neuronales: plataforma colaborativa de entrenamiento, optimización y renderizado

Abstract

[ES] En este TFG se pretende desarrollar una plataforma para facilitar el entrenamiento, renderizado y visualización de escenas mediante campos de radiancia neuronal, incluyendo comprensión de la escena vía segmentación panóptica. La plataforma: 1) inicializa una escena desde un video capturado manualmente; 2) entrena una escena mediante campos de radiancia neuronal (NeRF) a partir de este video; 3) optimiza la escena con técnicas de primitivas de gráficos neuronales instantáneas (Instant NGP). Su visualización se realiza en tiempo real desde un cliente visor. Un cliente remoto podrá tener control completo de la visualización del cliente visor desde cualquier red doméstica. Además, la plataforma permite la segmentación panóptica de los objetos en la escena manteniendo la consistencia temporal independientemente del ángulo. La plataforma también permite la creación, eliminación y manipulación de los objetos de la escena. Para ello altera el mapa de profundidad de la escena y a partir de ahí edita la textura. El objetivo principal es crear una plataforma fácil de usar para un profesional no informático que pretenda crear escenas realistas para diferentes propósitos de una forma simple. Otros objetivos incluyen optimizar el entrenamiento de la escena 3D con técnicas de primitivas de gráficos neuronales instantáneas, crear un instalador fácil de usar que automatice toda la puesta en marcha e instalación del cliente visor/remoto, un túnel que funcione por códigos sencillos facilitando la conexión entre ambos clientes incluso en redes domésticas restrictivas, conexión con la plataforma de entrenamiento (GPU propia, Kaggle, etc.) para una mayor facilidad y un cliente visor fácil e intuitivo.

[EN] This TFG develops a platform to facilitate the training, rendering and visualization of scenes using neural radiance fields, including scene understanding via panoptic segmentation. The platform: 1) initializes a scene from a manually captured video; 2) train a scene using neural radiance fields from this video; 3) optimize the scene with instant neural graphics primitives techniques. Its visualization is achieved in real time from a viewer client. A remote client has complete control of the viewer client display from any home network. Additionally, the platform enables panoptic segmentation of objects in the scene while maintaining temporal consistency regardless of angle. The platform also allows the creation, deletion and manipulation of objects in the scene. To do this, alter the depth map of the scene and from there edit the texture. The main goal is to create an easy-to-use platform for a non-IT professional who aims to create realistic scenes for different purposes in a simple way.

Subobjectives include optimizing 3D scene training with instant neural graphics primitives techniques, creating an easy-to-use installer that automates the entire setup and installation of the viewer/remote client, a tunnel that works by simple codes making it easy to connect between both clients even on restrictive home networks, connection with the training platform (own GPU, Kaggle, etc.) for greater ease and an easy and intuitive viewer client.

[CA] En aquest TFG s’ha desenvolupat una plataforma per facilitar l’entrenament, la renderització i la visualització d’escenes mitjançant camps de radiància neuronal, incloent-hi comprensió de l’escena via segmentació panòptica. La plataforma: 1) inicialitza una escena des d’un vídeo capturat manualment; 2) entrena una escena mitjançant camps de radiància neuronal a partir d’aquest vídeo; 3) optimitza l’escena amb tècniques de primitives de gràfics neuronals instantànies. La seva visualització es fa en temps real des d’un client visor. Un client remot podrà tenir control complet de la visualització del client visor des de qualsevol xarxa domèstica. A més, la plataforma permet la segmentació panòptica dels objectes a l’escena mantenint la consistència temporal independentment de l’angle. La plataforma també permet la creació, l’eliminació i la manipulació dels objectes de l’escena. Per fer-ho altera el mapa de profunditat de l’escena i a partir d’açí edita la textura. L’objectiu principal és crear una plataforma fàcil d’usar per a un professional no informàtic que pretengui crear escenes realistes per a diferents propòsits d’una manera simple. Els subobjectius inclouen optimitzar l’entrenament de l’escena 3D amb tècniques de primitives de gràfics neuronals instantànies, crear un instal·lador fàcil d’usar que automatitze tota la posada en marxa i instal·lació del client visor/remot, un túnel que funcione per codis senzills facilitant la connexió entre tots dos clients fins i tot en xarxes domèstiques restrictives, connexió amb la plataforma d’entrenament (GPU pròpia, Kaggle, etc.) per a més facilitat i un client visor fàcil i intuïtiu.