Estudio e implementación de un sistema de transferencia de estilo artístico en tiempo real para la inmersión en obras de arte

Abstract

[ES] En el último decenio, las Redes Neuronales a Convolución han mostrado sobresaliente capacidades de reconocimiento de patrones en imágenes. Esta capacidad se puede utilizar para realizar transferencias de estilo, i.e extraer el estilo de una imagen objetivo y aplicarlo a una imagen de contenido. La meta de este trabajo es la creación de un sistema pantalla-cámara que le permite al usuario verse en tiempo real con el estilo artístico de una obra de arte. Este sistema podría estar en un museo y le permitir al visitante del museo sumergirse en sus obras de arte favoritas. Para resolver esta tarea de Transferencia de Estilo para video en tiempo real, implementé un modelo propuesto por H. Huang et al [0] que consiste en una red convolucional residual feed-forward que se optimiza para minimizar una función perdida híbrida de contenido, estilo y coherencia temporal.

Este proyecto se divide en 3 partes: 1) Estudio del estado del arte de la transferencia de estilo aplicada a imágenes y videos. 2) Implementación del modelo más relevante: una red convolucional residual feed-forward que desempeña la transferencia de un estilo elegido, un módulo que computa la de coherencia temporal usando el flujo óptico denso y una red de perdida fijada) que calcula las pérdidas de estilo y de contenido 3) Implementación del modelo y creación de un prototipo pantalla-cámara.

[EN] Convolutional Neural Networks have been proven to be extremely powerful tool to solve image recognition tasks, outperforming previous models by far. Using the internal image representation of some models, it is possible to automatically perform style transfer, i.e extract the style of a target image and apply it to a content image. The goal of this work is the creation of a screen-camera system that allows the user to see in real time the artistic style of a work of art. This system could be displayed in a museum allowing the visitors to immerse themselves in their favorite pieces of art. This Real-time Video Style Transfer task will be solved by implementing the Network-optimization-based technique proposed by H. Huang et al [0], where a feed-forward transformation network is optimized to minimize a hybrid loss of content, style and temporal coherence.

This project is divided into 3 parts:

1) Study of the state of the art of style transfer applied to images and videos; 2) Description of the most relevant model: a feed-forward Image Transformation Network that can be optimized to perform style transfer for a given style, a module that calculates the temporal loss using dense optical flow, and a pre-trained fixed Loss Network that computes content and style losses; 3) Model implementation and prototype creation.