Federated learning distribuido mediante procesos de consenso en redes

Abstract

[ES] La técnica de federated learning permite distribuir el entrenamiento de una red entre varios ordenadores y luego enviar los modelos entrenados a un servidos central para que los combine. De esta forma, se consigue reducir el número de rondas en el entrenamiento de una red neuronal (RN). Sin embargo, en ocasiones este proceso puede resultar costoso. Por un lado, puede ocurrir que exista alguna limitación física que impida a todos los ordenadores conectarse con el servidor. Por otro lado, los modelos o los conjuntos de datos pueden ser tan grandes que resulta impracticable centralizar el proceso.

Los procesos de consenso en redes permiten a un conjunto de nodos conectados en red realizar cálculos de manera distribuida, intercambiando información con los vecinos directos únicamente. En este trabajo se propone construir un prototipo que perrmita validar la aplicación de estos algoritmos para realizar federated learning distribuido en una red.

[EN] The federated learning technique makes it possible to distribute the training of a network among several computers and then send the trained models to a central server to combine them. In this way, it is possible to reduce the number of rounds in the training of a neural network (NN). However, sometimes this process can be costly. On the one hand, there may be some physical limitation that prevents all computers from connecting to the server. On the other hand, the models or datasets may be so large that it is impractical to centralize the process.

Consensus processes in networks allow a set of networked nodes to perform computations in a distributed manner, exchanging information with direct neighbors only. In this work we propose to build a prototype to validate the application of these algorithms to perform distributed federated learning in a network.