Depth Image-Based Rendering for Multiview Plenoptic Camera

Abstract

[EN] Nowadays, the field of virtual reality is becoming increasingly more popular: many applications are surfacing, with better results each passing day. 3D information of the scene that will be rendered in virtual reality is mandatory for it to be realistic. That 3D information can be used to compute the depth of a scene and allow rendering virtual scenes that achieve realistic levels of depth, making the user perceive it as he/she would in the real world. The 3D information can be captured by means of a plenoptic camera, which is a specialized camera that can capture the depth of a scene, along with the image corresponding to the scene itself. Common approaches to compute the depth of an image (known as depth map) require, in general, long computation time which makes it impossible to use the computed depth in real-time applications, making plenoptic cameras much more suitable for the job. Rendering virtual views can be achieved with a technique called Depth Image Based Rendering (DIBR). It uses real images captured by some camera and their respective depths to synthesize virtual views located in between the reference images. This technique, combined with plenoptic cameras, would enable view synthesis in real-time. This master thesis evaluates the performance of plenoptic 2.0 cameras for DIBR. It will also present a reproducible methodology that can be used for any kind of depth-sensing device. To evaluate the performance of the plenoptic camera, a dataset of images will be captured using a RayTrix plenoptic 2.0 camera. Then, depth estimation using tools will be performed. Those tools are the MPEG-I reference software Depth Estimation Reference Software (DERS) and the open source 3D reconstruction software Colmap. DIBR will be performed using the depth maps generated by these two offline approaches, as well as with the depth map generated in real-time by the plenoptic camera. The synthesized views will be used as a measure for quality assessment of the depth maps generated by each one of the three approaches. There will be two view synthesis experiments: one using only one view as reference and the other using multiple views as reference. Finally, a comparison with another depth-sensing device, he Azure Kinect, will be done. Results show that the best depth maps are yielded by DERS, followed by RayTrix. Colmap falls behind because its depth maps are very limited since they are incomplete, but having great potential. Lastly, performance of RayTrix camera is better than the one of Azure Kinect when capturing close detail in the scene, whereas the Kinect can capture a wider area.

[ES] Hoy en día, el campo de la realidad virtual se está volviendo cada vez más popular: están surgiendo muchas aplicaciones, con mejores resultados cada día que pasa. Información 3D de la escena que se renderizará en realidad virtual es necesaria para que ésta sea realista. Esa información 3D se puede usar para calcular la profundidad de una escena y permitir renderizar escenas virtuales que alcanzan niveles realistas de profundidad, haciendo que el usuario las perciba como lo haría en el mundo real. La información 3D se puede capturar por medio de una Cámara Plenóptica, que es una cámara especializada que puede capturar la profundidad de una escena, junto con la imagen correspondiente a la misma. Los enfoques comunes para calcular la profundidad de una imagen (conocidos como mapas de profundidad) requieren, en general, un tiempo de computación prolongado, lo que hace imposible utilizar la profundidad calculada en aplicaciones en tiempo real, lo que hace que las cámaras plenóptica sean mucho m ´ as adecuadas para el trabajo. El renderizado de vistas virtuales se puede lograr con una técnica llamada Depth Image Based Rendering (DIBR). Utiliza imágenes reales captadas por alguna cámara y sus respectivas profundidades para sintetizar vistas virtuales situadas entre las imágenes de referencia. Esta técnica, combinada con cámaras plenópticas, permitir la síntesis de vistas en tiempo real. Este trabajo de final de master evalúa el rendimiento de las cámaras plenópticas 2.0 para DIBR. También presenta una metodología reproducible que se puede utilizar para cualquier tipo de dispositivo de deteccion de profundidad. Para evaluar el rendimiento de la cámara plenóptica, se capturará un conjunto de datos de imágenes utilizando una cámara plenóptica 2.0 RayTrix. Luego, se realizará la estimación de la profundidad utilizando herramientas. Esas herramientas son el software de referencia MPEG-I Depth Estimation Reference Software (DERS) y el software de reconstrucción 3D de código abierta Colmap. DIBR se realizará utilizando los mapas de profundidad generados por estos dos enfoques online, así como con el mapa de profundidad generado en tiempo real por la cámara plenóptica. Las vistas sintetizadas se utilizarán como medida para evaluar la calidad de los mapas de profundidad generados por cada uno de los tres enfoques. Habrá dos experimentos de síntesis de vistas: uno usando solo una vista como referencia y el otro usando múltiples vistas como referencia. Finalmente, se realizará una comparación con otro dispositivo capaz de capturar la profundidad, el Azure Kinect. Los resultados muestran que los mejores mapas de profundidad son producidos por DERS, seguidos por los de RayTrix. Colmap se queda atrás porque sus mapas de profundidad son muy limitados ya que están incompletos, pero tienen un gran potencial. Por último, el rendimiento de la cámara RayTrix es mejor que el de Azure Kinect al capturar detalle en la escena, mientras que Kinect puede capturar un área más amplia.