Surrogate models, physics-informed neural networks and climate change

Abstract

[ES] Esta investigación contribuye al avance de la modelación sustitutiva como una técnica poderosa en el campo de la simulación computacional que ofrece numerosas ventajas para resolver eficientemente problemas complejos. En particular, este estudio destaca el papel crucial de la modelación sustitutiva en la gestión de aguas subterráneas. El impacto del cambio climático es un enfoque central, y el primer estudio tiene como objetivo construir modelos de datos sustitutivos para evaluar los efectos del cambio climático en los recursos de aguas subterráneas, también en el futuro. El estudio implica la comparación entre métodos estadísticos y diferentes tipos de Redes Neuronales Artificiales (ANN). La eficacia de los modelos sustitutivos se demostró en el norte de la Toscana (Italia), pero puede extenderse fácilmente a cualquier área de interés. El método estadístico adoptado implica analizar datos históricos de precipitación y temperatura junto con niveles de agua registrados en pozos de monitoreo. Inicialmente, el estudio explora posibles correlaciones entre índices meteorológicos e índices de agua subterránea; si se identifica una correlación, se emplea un análisis de regresión lineal. Estas relaciones establecidas se utilizan luego para estimar los futuros niveles de agua subterránea en función de las proyecciones de precipitación y temperatura obtenidas de un conjunto de Modelos Climáticos Regionales, bajo dos Trayectorias de Concentración Representativa: RCP4.5 y RCP8.5. Posteriormente, se implementaron tres modelos distintos de Inteligencia Artificial (AI), AutoRegressive No Lineal con Entradas Exógenas (NARX), Memoria a Largo y Corto Plazo (LSTM) y Red Neuronal Convolucional (CNN) para evaluar el impacto del cambio climático en los recursos de aguas subterráneas para el mismo caso de estudio. Específicamente, estos modelos fueron entrenados utilizando directamente datos históricos de precipitación y temperatura como entrada para proporcionar niveles de agua subterránea como salida. Después de la fase de entrenamiento, los modelos de IA desarrollados se utilizaron para prever los futuros niveles de agua subterránea utilizando las mismas proyecciones de precipitación y temperatura y escenarios climáticos descritos anteriormente. Los resultados resal-taron diferentes salidas entre los modelos utilizados en este trabajo. Sin embargo, la mayoría de ellos predice una disminución en los niveles de agua subterránea como resultado de futuras variaciones en la precipitación y temperatura. Notablemente, el modelo LSTM emerge como el enfoque más prometedor para predecir futuros niveles de agua subterránea. Dentro del mismo campo, se desarrolló una ANN con la capacidad de simular las condiciones de agua subterránea en la cuenca cerrada de Konya, Turquía, uno de los sitios piloto investigados como parte del proyecto InTheMED. Este modelo sirve como herramienta para examinar los impactos potenciales del cambio climático y las políticas agrícolas en los recursos de agua subterránea dentro de la región. El objetivo final de esta aplicación es proporcionar una herramienta fácil de usar, basada en la red neuronal entrenada. La simplicidad inherente del modelo sustitutivo, con una interfaz directa y resultados fáciles de entender, juega un papel crucial en los procesos de toma de decisiones. En cuanto al transporte de contaminantes, se implementó una ANN para resolver diferentes problemas directos e inversos. El problema directo trata sobre la evaluación de concentraciones en pozos de monitoreo, mientras que el probl-ma inverso implica la identificación de fuentes de contaminantes y su historial de liberación. Demostró eficiencia al abordar problemas de transporte tanto directos como inversos, ofreciendo resultados confiables con una carga computacional reducida. El estudio también aborda el desafío de la interpretabilidad de las ANNs y el llamado "problema de generalización" a través de las Redes Neuronales Informadas por la Física (PINNs)

[CA] Aquesta investigació contribueix a l'avanç de la modelació substitutiva com una tècnica potent en el camp de la simulació computacional que ofereix nombroses avantatges per a resoldre eficientment problemes complexos. En particular, aquest estudi destaca el paper crucial de la modelació substitutiva en la gestió d'aigües subterrànies. L'impacte del canvi climàtic és un enfocament central, i el primer estudi té com a objectiu construir models de dades substitutius per avaluar els efectes del canvi climàtic en els recursos d'aigües subterrànies, també en el futur. L'estudi implica la comparació entre mètodes estadístics i diferents tipus de Xarxes Neuronals Artificials (ANN). L'eficàcia dels models substitutius es va demostrar al nord de la Toscana (Itàlia), però pot estendre's fàcilment a qualsevol àrea d'interès. El mètode estadístic adoptat implica analitzar dades històriques de precipitació i temperatura juntament amb nivells d'aigua registrats en pous de monitorització. Inicialment, l'estudi explora possibles correlacions entre índexs meteorològics i índexs d'aigua subterrània; si s'identifica una correlació, s'emplea una anàlisi de regressió lineal. Aquestes relacions establertes s'utilitzen després per estimar els futurs nivells d'aigua subterrània en funció de les projeccions de precipitació i temperatura obtingudes d'un conjunt de Models Climàtics Regionals, sota dues Trajectòries de Concentració Representativa: RCP4.5 i RCP8.5. Posteriorment, es van implementar tres models diferents d'Intel·ligència Artificial (IA), AutoRegressive No Lineal amb Entrades Exògenes (NARX), Memòria a Llarg i Curt Terme (LSTM) i Xarxa Neuronal Convolucional (CNN) per avaluar l'impacte del canvi climàtic en els recursos d'aigües subterrànies per al mateix cas d'estudi. Específicament, aquests models van ser entrenats utilitzant directament dades històriques de precipitació i temperatura com a entrada per proporcionar nivells d'aigua subterrània com a sortida. Després de la fase d'entrenament, els models d'IA desenvolupats es van utilitzar per predir els futurs nivells d'aigua subterrània utilitzant les mateixes projeccions de precipitació i temperatura i escenaris climàtics descrits anteriorment. Els resultats van destacar diferents sortides entre els models utilitzats en aquest treball. No obstant això, la majoria d'ells preveu una disminució en els nivells d'aigua subterrània com a resultat de futures variacions en la precipitació i temperatura. Notablement, el model LSTM emergeix com l'enfocament més prometedor per predir futurs nivells d'aigua subterrània. Dins del mateix camp, es va desenvolupar una ANN amb la capacitat de simular les condicions d'aigua subterrània a la conca tancada de Konya, Turquia, un dels llocs pilot investigats com a part del projecte InTheMED. Aquest model serveix com a eina per examinar els impactes potencials del canvi climàtic i les polítiques agrícoles en els recursos d'aigua subterrània dins de la regió. L'objectiu final d'aquesta aplicació és proporcionar una eina fàcil d'usar, basada en la xarxa neuronal entrenada. La simplicitat inherent del model substitutiu, amb una interfície directa i resultats fàcils d'entendre, juga un paper crucial en els processos de presa de decisions. Pel que fa al transport de contaminants, es va implementar una ANN per resoldre diferents problemes directes i inversos. El problema directe tracta sobre l'avaluació de concentracions en pous de monitorització, mentre que el problema invers implica la identificació de fonts de contaminants i el seu historial de lliberació. Va demostrar eficiència en abordar problemes de transport tant directes com inversos, oferint resultats fiables amb una càrrega computacional reduïda. L'estudi també aborda el repte de la interpretabilitat de les ANNs i el denominat "problema de generalització" a través de les Xarxes Neuronals Informades per la Física (PINNs).

[EN] This research contributes to the advancement of surrogate modelling as a powerful technique in the field of computational simulation that offers numerous advantages for solving complex problems efficiently. In particular, this study emphasizes the pivotal role of surrogate modeling in groundwater management. By integrating key factors like climate change and leveraging machine learning, particularly neural networks, the research facilitates more informed decision-making, significantly reducing the computational cost of complex numerical models. The impact of climate change is a central focus and the first study aims to construct surrogate data-driven models for evaluating climate change effects on groundwater resources, also in the future. The study involves a comparison between statistical methods and different types of artificial neural networks (ANNs). The effectiveness of surrogate models was demonstrated in Northern Tuscany (Italy) but can easily extend to any area of interest. The adopted statistical method involves analyzing historical precipitation and temperature data along with groundwater levels recorded in monitoring wells. Initially, the study explores potential correlations between meteorological and groundwater indices; if a correlation is identified, a linear regression analysis is employed to establish relationships between them. These established relationships are then used to estimate future groundwater levels based on projected precipitation and temperature obtained from an ensemble of Regional Climate Models, under two Representative Concentration Pathways, namely RCP4.5 and RCP8.5. Then, three distinct Artificial Intelligence (AI) models, Nonlinear AutoRegressive with eXogenous inputs (NARX), Long-Short Term Memory (LSTM) and Convolutional Neural Network (CNN) were implemented to evaluate the impact of cli-mate change on groundwater resources for the same case study. Specifically, these models were trained using directly historical precipitation and temperature data as input to provide groundwater levels as output. Following the training phase, the developed AI models were utilized to forecast future groundwater levels using the same precipitation and temperature projections and climate scenarios described above. The results highlighted different outputs among the models used in this work. However, most of them predict a decrease in groundwater levels as a result of future variations in precipitation and temperature. The study also presents the strengths and weaknesses of each model. Notably, the LSTM model emerges as the most promising approach to predict future groundwater levels. Within the same field, an ANN was developed with the capability to simulate groundwater conditions in the Konya closed basin, Turkey, one of the pilot sites investigated as part of the InTheMED project. This model serves as a tool for examining the potential impacts of climate change and agricultural policies on groundwater resources within the region. The final goal of this application, is to provide a user-friendly tool, based on the trained neural network. The inherent simplicity of the surrogate model, with a straightforward interface and results that are simple to understand, plays a crucial role in decision-making processes. Shifting to pollutant transport, an ANN was implemented to solve different direct and inverse problems. The direct problem deals with the evaluation of concentrations in monitoring wells, while the inverse problem involves the identification of contaminant sources and their release history. It demonstrated efficiency in addressing both direct and inverse transport problems, offering reliable results with reduced computational burden. The study also addresses the interpretability challenge of ANNs and the so called "generalization problem" through Physics-Informed Neural Networks (PINNs reducing the gap between data-driven modeling and physics-based interpretations.