In-the-wild Material Appearance Editing using Perceptual Attributes

Abstract

[ES] Editar intuitivamente la apariencia de los materiales, solo a partir de una sola imagen, es una tarea desafiante dada la complejidad y ambigüedad de las interacciones entre luz y materia. Este problema se ha resuelto tradicionalmente mediante la estimación de factores de la escena como la geometría o la iluminación, resolviendo así un problema de renderizado inverso donde se necesita modelar la interacción de la luz y la materia. En este trabajo, presentamos un marco de edición de apariencia de una sola imagen que permite modificar intuitivamente la apariencia material de un objeto aumentando o disminuyendo los atributos de percepción de alto nivel que describen la apariencia (por ejemplo, brillante o metálico). Nuestro marco utiliza solo una imagen real como entrada, donde la geometría o la iluminación no se controlan. Nos basamos en redes neuronales generativas y, en particular, sobre Redes Adversarias Generativas de Transferencia Selectiva (STGAN) que permiten conservar los detalles de alta frecuencia de la imagen de entrada en la editada. Para entrenar nuestro modelo combinamos pares de imágenes sintéticas, renderizadas con algoritmos de trazado físicos y sus correspondientes calificaciones de los atributos de alto nivel, dadas por humanos a través de estudios de usuarios de fuentes múltiples. Además, aunque usemos imágenes sintéticas en el entrenamiento, demostramos la aplicabilidad de nuestro método en imágenes del mundo real obtenidas de catálogos en línea y tomados manualmente usando nuestros teléfonos móviles.

[EN] Intuitively editing the appearance of materials, just from a single image, is a challenging task given the complexity and ambiguity of the interactions between light and matter. This problem has been traditionally solved by estimating additional factors of the scene like geometry or illumination, thus solving an inverse rendering problem where the interaction of light and matter needs to be modelled. Instead, in this Master Thesis, we present a single-image appearance editing framework that allows to intuitively modify the material appearance of an object by increasing or decreasing high-level perceptual attributes describing appearance (e.g., glossy or metallic). Our framework uses just an in-the-wild image as the input, where geometry or illumination are not controlled. We rely on generative neural networks and, in particular, on Selective Transfer Generative Adversarial Networks (STGAN) that allow to preserve high-frequency details from the input image in the edited one. To train our model we combine pairs of synthetic images, rendered with physically-based ray tracing algorithms, and their corresponding ratings of the high-level attributes, given by humans through crowd-sourced user studies. Last, although trained on synthetic images, we demonstrate the applicability of our method on real-world photographs downloaded from online catalogs and manually taken using our mobile phones.