Power simulations of machine learning pipelines for ASICs

Abstract

[ES] En los últimos años, el aprendizaje automático ha acelerado muchas aplicaciones, desde los coches autoconducidos hasta la gestión del estado de salud de la maquinaria compleja. Los facilitadores de estas aplicaciones son, en la mayoría de los casos, sistemas de sensores que crean un puente entre el mundo real y el procesamiento de señales que se ejecuta en un elemento de computación central. Con el aumento de las capacidades de las plataformas integradas, la tendencia es trasladar los pasos del procesamiento de señales de la nube al dispositivo, lo que permite una ejecución más segura con menos latencia. Sin embargo, agrupar el cálculo y la lectura de los sensores en una sola plataforma supone una mayor carga para el consumo de energía y los requisitos de la batería. Por lo tanto, los algoritmos de aprendizaje automático utilizados para procesar cada sensor deben ser lo más eficientes posible desde el punto de vista energético, lo que crea la necesidad de un proceso de selección de modelos basado en el rendimiento y el consumo de energía. Esta tarea se vuelve especialmente compleja cuando se utiliza una plataforma ASIC que incluye unidades de aceleración. En la tesis propuesta, se realizan simulaciones de potencia para crear una línea de base exacta para la estimación del consumo de energía. Estas simulaciones deben incluir una amplia variedad de pipelines de aprendizaje automático para dar información sobre el consumo de energía en tareas acelerables y no acelerables por hardware. Además, el impacto de las diferentes configuraciones de hardware (por ejemplo, el tamaño de la caché y de la RAM) también debería considerarse en las simulaciones. El trabajo de análisis se realiza utilizando herramientas de última generación como Cadence JoulesRTL, Cadence Xcelium, Mentor Questa y SystemVerilog HDL. Para finalizar la tesis, un análisis para un caso de uso específico debería modelar la combinación más óptima del pipeline de aprendizaje automático y la configuración de hardware creando un buen ejemplo para el codiseño de hardware/software.

[EN] In recent years, machine learning has accelerated many applications from self-driving cars to prognostic health management for complex machinery. Enablers for these applications are most of the time sensor systems creating a bridge between the real world and the signal-processing running on a central compute element. With the increased capabilities of embedded platforms, the trend goes to moving the signal processing steps from cloud to edge, enabling a more secure execution with less latency. However, bundling the computation and sensor readout on one platform creates an increased load to energy consumption and battery requirements. Therefore, the machine learning algorithms used to process every sensor needs to be as energy-efficient as possible, creating the need for a model selection process based on performance and energy consumption. This task becomes especially complex when using an ASIC platform including acceleration units.

In the proposed thesis, power simulations are conducted to create an exact baseline for energy consumption estimation. These simulations should include a broad variety of machine learning pipelines to give information over the power consumption in hardware-acceleratable and non-acceleratable tasks. Furthermore, the impact of different hardware configurations (e.g. cache- and RAM-size) should also be considered in the simulations. The analysis work is done using state of the art tools like Cadence JoulesRTL, Cadence Xcelium, Mentor Questa and SystemVerilog HDL. Finishing the thesis, an analysis for a specific use case should model the most optimal combination of machine learning pipeline and hardware configuration creating a good example for hardware/software co-design.