Posicionamiento de estaciones base en tiempo real basado en aprendizaje de refuerzo profundo para futuras redes 6G.

Abstract

[ES] Las comunicaciones móviles son esenciales en la sociedad actual, definiendo cómo nos comunicamos y relacionamos, e influyendo en cómo vivimos. La optimización de este bien tan valioso es esencial para proporcionar la mejor experiencia posible de forma sostenible. Para mejorar las prestaciones de la red y su eficiencia energética, se espera que las futuras generaciones de comunicaciones incorporen estaciones base capaces de reposicionarse de forma sencilla, sin intervención humana, mediante vehículos terrestres o aeronaves no tripuladas, como drones.

En esta tesis, proponemos una solución inteligente que permite a dichas estaciones base móviles adaptarse y aprender los patrones de movimiento de los usuarios, y encontrar su posición óptima en tiempo real. Para cuantificar la experiencia del usuario, utilizamos la tasa de datos media de los usuarios. Para guiar dichas decisiones y aprender políticas óptimas, hemos utilizado técnicas avanzadas de aprendizaje, en más detalle, aprendizaje reforzado profundo (DRL, del inglés deep reinforcement learning).

Como primer punto de trabajo, es importante enfatizar el uso, desarrollo y optimización de un entorno de simulación avanzado de redes de comunicaciones móviles 4G/5G/6G, llamado Giulia, basado en Python. Dicha optimización implicó la transformación de un número suwstancial de operaciones a métodos más eficientes, como el uso de GPU a través de la biblioteca PyTorch. Como mayor contribución de este trabajo, implementamos técnicas avanzadas de DRL, adaptándolas a nuestro problema específico, que combinan la potencia de las redes neuronales profundas (DNN, del inglés deep neural networks) con la optimización del aprendizaje reforzado. A través del trabajo de esta tesis hemos sentado unas bases sólidas y conocimiento acerca de la integración de DRL con entornos de simulación complejos para la toma de decisiones en tiempo real. Hemos demostrado que el uso de estadísticas acerca de la potencia de señal recibida, el ángulo de llegada y la tasa de datos de los usuarios es información suficiente para aprender patrones de movimiento de grupos de usuarios, y optimizar en tiempo real el movimiento de estaciones base móviles que pretenden maximizar la experiencia de dichos usuarios. Los resultados de la tesis indican que DRL puede ser utilizado en las siguientes generaciones de redes de comunicaciones que pueden ser controladas por agentes autónomos en tiempo real.

[EN] Mobile communications are essential in today's society, defining how we communicate and interact, and influencing how we live. The optimization of this valuable asset is crucial to provide the best possible experience in a sustainable way. To improve network performance and energy efficiency, it is expected that future generations of communications will incorporate base stations capable of repositioning easily, without human intervention, using ground vehicles or unmanned aerial vehicles (UAVs), such as drones.

In this thesis, we propose an intelligent solution that allows these mobile base stations to adapt and learn user movement patterns, and find their optimal position in real-time. To quantify the user experience, we use the average data rate of users. To guide these decisions and learn optimal policies, we have used advanced learning techniques, specifically, deep reinforcement learning (DRL).

As the first point of work, it is important to emphasize the use, development, and optimization of an advanced simulation environment for 4G/5G/6G mobile communication networks, called Giulia, based on Python. This optimization involved transforming a substantial number of operations into more efficient methods, such as using GPU through the PyTorch library. As the main contribution of this work, we implemented advanced DRL techniques, adapting them to our specific problem, which combine the power of deep neural networks (DNN) with the optimization of reinforcement learning. Through the work of this thesis, we have laid a solid foundation and knowledge about the integration of DRL with complex simulation environments for real-time decision-making. We have demonstrated that the use of statistics on received signal strength, angle of arrival, and user data rate is sufficient information to learn movement patterns of user groups and optimize in real-time the movement of mobile base stations that aim to maximize the experience of these users. The results of the thesis indicate that DRL can be used in the next generations of communication networks that can be controlled by autonomous agents in real-time.