Comparative implementation of Greedy InfoMax and Slow Feature Analysis for self-supervised neural networks

Abstract

[EN] Over the past years, supervised models with end-to-end backpropagation have dominated the Deep Learning paradigm. However, great potential can be observed in out-of-the-box approaches like Greedy InfoMax, an unsupervised approach based on the modularization of neural networks and driven by the goal of optimizing local information as an alternative to global error backpropagation. This novel technique has been proven useful for experiments in both visual and auditive domains. The experiments described in this report aim to implement this method and compare it with a well-established approach for Unsupervised Learning: Slow Feature Analysis. This second method focuses on the extraction of slowly varying features from a quickly varying input signal and has also been proven effective for numerous tasks.

[ES] En los últimos años, los modelos supervisados con retropropagación de extremo a extremo han dominado el paradigma del aprendizaje profundo. Sin embargo, se puede observar un gran potencial en enfoques listos para usar como Greedy InfoMax, un enfoque no supervisado basado en la modularización de las redes neuronales e impulsada por el objetivo de optimizar información como alternativa a la propagación inversa de errores globales. Esta novedosa técnica ha demostrado ser útil para experimentos en dominios tanto visuales como auditivos. los Los experimentos descritos en este informe tienen como objetivo implementar este método y compararlo con un enfoque bien establecido para el aprendizaje no supervisado: Slow Feature Analysis. Este segundo método se centra en la extracción de características que varían lentamente de un señal de entrada variable y también se ha demostrado su eficacia para numerosas tareas.