Physics-Informed Reinforcement Learning Feasibility Study for Building energy optimization

Abstract

[ES] Los edificios en todo el mundo representan el 30% del consumo de energía y la calefacción, ventilación y aire acondicionado (HVAC) representan aproximadamente el 38% del consumo de un edificio. Por tanto, el ahorro energético es crucial para la sostenibilidad. La complejidad de los edificios, con diversos dominios físicos y componentes de gran escala, presenta desafíos para lograr un funcionamiento energéticamente eficiente. La implementación de controles de alto rendimiento es eficaz, pero lleva tiempo y requiere expertos calificados. El Aprendizaje Reforzado (RL) ofrece adaptabilidad, pero exige una gran cantidad de datos, lo que dificulta la ampliación a sistemas grandes. RL se utiliza ampliamente en entornos sin modelos, como video juegos; sin embargo, cuando se trata de control automático el problema es un poco más desafiante ya que se tiene que lograr un controlador estable y robusto. Este proyecto explora el RL informado por física (PIRL) para la optimización energética de edificios, centrándose en el nivel de control supervisor. Cierta información de modelos físicos se selecciona para acelerar el aprendizaje y se estudia el impacto del aprendizaje reforzado en el sistema de refrigeración de un edificio. Las preguntas clave incluyen seleccionar la información adecuada de modelos físicos, determinar los requisitos de datos y explotar la arquitectura de los sistemas de refrigeración en edificios para facilitar la escalabilidad del PIRL. En la tesis se utilizan modelos dinámicos desarrollados en Modelica, un lenguaje de modelado con una biblioteca de edificios open-source. También se realizan experimentos numéricos para evaluar el potencial del PIRL. Se demostrará que la información de modelos físicos contribuye al aprendizaje reduciendo el tiempo de entrenamiento y que es posible ahorrar energía usando PIRL, comparándolo con un controlador de referencia.

[EN] Buildings worldwide account for 30% of energy consumption and Heating, Ventilation and Air Conditioning (HVAC) represent roughly 38% of a building s consumption. Therefore, energy savings are crucial for sustainability. The complexity of buildings, with diverse physical domains and large-scale components, presents challenges to achieving energy-efficient operation. Implementing high-performance controls is effective but takes time and requires qualified experts. Reinforcement learning (RL) offers adaptability but demands extensive data, making it difficult to scale to large systems. RL is extensively used in model-free environments, such as video games; however, when it comes to control the problem is a bit more challenging since it has to achieve stability and robustness of the system. This project explores Physics-Informed RL (PIRL) for building energy optimization, focusing on the supervisory control level. Information from physical models is selected to accelerate learning, and the impact of reinforcement learning on a building s cooling system is studied. Key questions include selecting appropriate information from physical models, determining data requirements, and exploiting the building system architecture for the scalability of PIRL. Dynamic models developed in the Modelica language with an open-source building library are used in the thesis. Numerical experiments are then performed to evaluate the scaling potential of PIRL. One goal is to understand and apply software in the loop methods using the PIRL methodology and Carrier automated logic building control software. It will be shown that physics information helps to reduce training time and that it is possible to save energy using PIRL, in comparison with the baseline controller.