Analysis of Deep Learning Inference Compute and Energy Consumption Trends

Abstract

[EN] In the last decade, deep learning has achieved spectacular results in numerous applications. The increase in performance has been accompanied by a significant increase in the size of these networks, measured in number of parameters. But how does this increase in the size of the networks affect the energy consumed by them? In this work we analyze the computation (number of operations) and required energy to carry out an inference (or forward propagation) with different neural networks. We chose inference since for neural networks that are deployed for large scale use, the computation necessary to make the inferences ends up dominating the computation necessary to train the network, since a large number of inferences are executed over time. To carry out the study we collected data on a large number of neural networks and hardware, in order to estimate consumption and its evolution. We focus the analysis in the field of computer vision and in the field of natural language processing. We observe that the evolution of energy consumption grows exponentially for networks that mark a milestone at research level, but for networks that consolidate innovation this growth is much lower; their performance improves significantly over the years, even with constant energy consumption.

[ES] En la última década, el aprendizaje profundo ha conseguido resultados espectaculares en numerosas aplicaciones. El incremento del desempeño ha venido acompañado de un importante incremento en el tamaño de estas redes, medido en número de parámetros. Pero ¿cómo afecta este incremento del tamaño de las redes a la energía consumida por éstas? En este trabajo analizamos el cómputo (número de operaciones) y energía necesaria para llevar a cabo una inferencia (o propagación hacia delante) con diferentes redes neuronales. Elegimos inferencia ya que para las redes neuronales que se despliegan para uso masivo, el cómputo necesario para realizar las inferencias acaba dominando al cómputo necesario para entrenar la red, ya que se llegan a ejecutar una gran cantidad de inferencias a lo largo del tiempo. Para llevar a cabo el estudio recogemos datos sobre una gran cantidad de redes neuronales y sobre hardware, para poder así estimar el consumo y su evolución. Centramos el análisis en el campo de la visión artificial y en el campo del procesamiento de lenguaje natural. Observamos que la evolución del consumo energético crece exponencialmente para las redes que marcan un hito a nivel investigador, pero para las redes que consolidan la innovación este crecimiento es mucho menor; mejoran sus prestaciones significativamente a lo largo de los años, incluso con consumo de energía constante.

[CA] En l’última dècada, l’aprenentatge profund ha aconseguit resultats espectaculars en nombroses aplicacions. L’increment de les prestacions ha vingut acompanyat d’un important increment en la grandària d’aquestes xarxes, mesurat en nombre de paràmetres. Però com afecta aquest increment de la mida de les xarxes a l’energia consumida per aquestes? En aquest treball analitzem el còmput (nombre d’operacions) i energia necessària per dur a terme una inferència (o propagació cap endavant) amb diferents xarxes neuronals. Triem inferència ja que per a les xarxes neuronals que es despleguen per a ús massiu, el còmput necessari per realitzar les inferències acaba dominant el còmput necessari per entrenar la xarxa, ja que s’arriben a executar una gran quantitat d’inferències al llarg del temps. Per dur a terme l’estudi recollim dades sobre una gran quantitat de xarxes neuronals i sobre hardware, per poder així estimar el consum i la seua evolució. Centrem l’anàlisi en el camp de la visió artificial i en el camp del processament de llenguatge natural. Observem que l’evolució del consum energètic creix exponencialment per a les xarxes que marquen una fita a nivell investigador, però per a les xarxes que consoliden la innovació aquest creixement és molt menor; milloren les seues prestacions significativament al llarg dels anys, fins i tot amb consum d’energia constant.