Low-Rank Approximation in Neuronal Networks

Abstract

[EN] Artificial intelligence algorithms have experienced a dramatic improvement in the last decade generating very precise models in all fields of study. This has led us to a new problematic of mass data storage and long training times for these models.

Low-rank approximations are a compression technique that reduce both the amount of stored parameters and the computations. Making use of tensors decomposition, the basic unit of a neural network, we are able to speeds up trainings. Given this decomposition, we propose a new training method based on low-rank approaches that will provide greater convergence of our model using less data and adding enrichments that will prevent the stagnation of learning. We will use fully-connected neural network (NN) as well as convolutional neural network (CNN).

[ES] Los algoritmos de Inteligencia Artificial han experimentado una drástica mejora en la última década generando modelos muy precisos en todos los campos de estudio. Esto nos ha llevado a una nueva problemática de almacenamiento masivo de datos y largos tiempos de entrenamiento para estos modelos.

Las aproximaciones de bajo orden son una técnica de compresión que reduceN tanto la cantidad de parámetros almacenados como los cálculos realizados. Haciendo uso de la descomposición de tensores, la unidad básica de una red neurona, somos capaces de acelerar los entrenamientos. Dada esta descomposición, proponemos un nuevo método de entrenamiento basado en estas aproximaciones de bajo orden que proporcionarán una convergencia de nuestro modelo utilizando menos datos y añadiendo enriquecimientos que evitarán el estancamiento del aprendizaje. Utilizaremos redes neuronales (NN) totalmente conectadas, así como redes neuronales convolutivas (CNN).

[CA] Els algoritmes d’intel·ligència artificial han experimentat una dràstica millora en l’última dècada generant models molt precisos en tots els camps d’estudi. Això ens ha portat a un nou problema d’emmagatzematge massiu de dades i llargs temps d’entrenament per a aquests models. Les aproximacions de baix ordre són una tècnica de compressió que redueix tant la quantitat de paràmetres emmagatzemats com els càlculs realitzats. Fent ús de descomposició tensorial, la unitat bàsica d’una xarxa neuronal, som capaços de accelerar els entrenaments. Donada aquesta descomposició, proposem un nou mètode d’entrenament basat en enfocaments de baix rang que proporcionarà major convergència del nostre model usant menys dades i afegint enriquiments que evitarà l’estancament de l’aprenentatge. Farem servir xarxes neuronals completament connectades (NN) així com xarxes neurals convolutivas (CNN).