Transferencia de timbre acústico en tiempo real mediante técnicas de aprendizaje profundo

Abstract

[ES] La transferencia de timbre acústico es una aplicación de la teoría del procesamiento de la señal, que tiene como objeto transformar el timbre de una señal de audio en otro timbre completamente distinto. Un ejemplo representativo sería transformar la voz de un hombre cantando en música de violín, manteniendo el tono y la expresividad originales de la voz humana. Esta aplicación viene experimentando, en los últimos años, un creciente interés por parte de la industria de los videojuegos, entre otras, ya que permite a los jugadores dotar de voces personalizadas a sus identidades digitales (avatares), enriqueciendo significativamente su experiencia «gaming». Prueba de este interés es el reciente desarrollo por parte de Google de la librería de código abierto Differentiable Digital Signal Processing (DDSP), que permite solucionar el problema de la transferencia de timbre acústico mediante técnicas de aprendizaje profundo. No obstante, esta librería solo permite trabajar en contextos «off-line», esto es, requiere procesar toda la señal del audio para poder generar la transformación acústica (generación en diferido). El objetivo principal de este trabajo es adaptar esta tecnología a entornos de «streaming», lo cual permitiría realizar la transformación de timbre al mismo tiempo que se genera la señal acústica original (generación en tiempo real). Para ello, se propone y se evalúa una modificación de la arquitectura interna de la librería, basada en redes neuronales, que satisfaga las restricciones temporales inherentes del contexto de «streaming».

[EN] Acoustic timbre transfer is an application of the theory of signal processing, the aim of which is to transform the timbre of an audio signal into a completely different timbre. A representative example would be to transform the voice of a man singing into violin music, keeping the original tone and expressiveness of the human voice. This application has experienced a growing interest among the video game and other industries over the last years, as it allows gamers to provide personalized voices to their digital identities (avatars), significantly enriching their gaming experience. Proof of this interest is the recent development by Google of the open source library Differentiable Digital Signal Processing (DDSP), which allows the problem of acoustic timbre transfer to be solved using deep learning techniques. Nevertheless, this library is only capable of working in off-line contexts, in other words, it requires processing the entire audio signal in order to generate the acoustic transformation (non-real-time generation). The main objective of this work is to adapt this technology to streaming environments, which would allow the timbre to be transformed at the same time as the original acoustic signal is generated (real-time generation). To this end, a modification of the internal architecture of the library, based in neural networks, that would satisfy the temporal constraints inherent to the streaming context is proposed and evaluated.