Application of 3D reconstruction techniques for realistic images over drawings and sketches

Abstract

[ES] La reconstrucción a partir de imágenes realistas ha evolucionado de forma muy diferente a la reconstrucción a partir de bocetos. Si bien ambos presentan similitudes, el segundo pretende superar la subjetividad de los dibujos, lo que aumenta la incertidumbre y complejidad de la tarea. En este trabajo aspiramos a estudiar el dominio de la reconstrucción 3D a partir de bocetos y dibujos multivista, inspirándonos en la reconstrucción sobre imágenes realistas multivista. A diferencia de los anteriores métodos de reconstrucción a partir de bocetos, este trabajo tiene como objetivo recuperar tanto la forma como el color, ofreciendo un sistema basado en optimización que no requiera entrenamiento previo. Hacemos dos propuestas. En primer lugar, presentamos un flujo de trabajo basado en NVDiffRec para aplicar el estado de la cuestión en reconstrucción realista, estudiando su rendimiento en el dominio no-realista. En segundo lugar, adaptamos métodos existentes, utilizando renderizado inverso para refinar mallas 3D coloreadas y proponiendo modificaciones para aplicarlo en el dominio de los dibujos. Finalmente, exponemos los retos asociados a ambas propuestas y evaluamos cómo diferentes factores de calidad en los bocetos afectan a la calidad de la reconstrucción, determinando su viabilidad para la generación de contenido ficticio 3D a partir de arte conceptual.

[EN] Reconstruction from realistic images has evolved very differently when compared to reconstruction from sketches. Even though both present similarities, the latter aims to surpass the subjectivity that drawings present, increasing the task's uncertainty and complexity. In this work, we aim to study the domain of 3D reconstruction from multi-view sketches and drawings by taking inspiration from reconstruction over realistic multi-view images. In contrast to previous reconstruction methods from sketches, we aim to recover not only shape but also color, offering an optimization system that does not require prior training. We make two proposals. Firstly, we present a workflow for applying the state of the art in realistic reconstruction by leveraging NVDiffRec to study its performance over the non-realistic domain. Secondly, we adapt existing methods, using inverse rendering as a refinement process for 3D colored meshes, and propose modifications to work over the domain of drawings. Finally, we highlight the challenges of using both proposals and evaluate how different quality factors in sketches affect the reconstruction quality to determine their viability for fictional 3D content generation from concept art.