Políticas de Control de Congestión basadas en Reinforcement Learning para mMTC en Redes 5G

Abstract

[ES] En los últimos años, la aparición de las comunicaciones masivas de tipo máquina (mMTC) ha provocado un aumento significativo del número de dispositivos conectados en las redes 5G. Este rápido crecimiento de los dispositivos mMTC ha creado un nuevo reto para los operadores de redes, ya que la congestión causada por estos dispositivos puede provocar fallos en la red y degradación del servicio. Para hacer frente a este problema, se ha implantado el método Access Class Barring (ACB) en las redes celulares 5G. Su objetivo es aumentar la probabilidad de éxito del acceso retrasando aleatoriamente las solicitudes de acceso de los equipos de usuario (UE) en función de una tasa y un tiempo de restricción. La selección adecuada de estos parámetros es esencial para un control eficaz de la congestión. Sin embargo, el 3GPP no proporciona ningún algoritmo específico para establecer y adaptar estos parámetros. Este estudio se centra en una versión simplificada del algoritmo ACB que utiliza el aprendizaje por refuerzo (RL) para adaptar dinámicamente la probabilidad de acceso (tasa de restricción) con el fin de maximizar el rendimiento de la red. En este escenario se ha utilizado un protocolo de acceso del tipo `grant-free¿ para reducir el consumo de energía de los dispositivos al minimizarse la necesidad de señalización para el acceso a la red. El esquema propuesto se evaluó mediante simulación de eventos discretos y se comparó con un esquema de control de congestión ideal y otro heurístico. Los resultados muestran que las políticas de control de la congestión basadas en RL pueden reducir eficazmente las colisiones y mejorar la eficiencia de la red, pero pueden requerir un ajuste cuidadoso de los hiperparámetros para lograr un rendimiento óptimo en diferentes métricas.

[EN] In recent years, the emergence of massive machine type communications (mMTC) has led to a significant increase in the number of connected devices in 5G networks. This rapid growth of mMTC devices has created a new challenge for network operators, as the congestion caused by these devices can result in network failure and service degradation. To address this issue, the Access Class Barring (ACB) method has been implemented in 5G cellular networks. It aims to increase the probability of successful access by randomly delaying access requests of User Equipments (UEs) based on a barring rate and a barring time. Proper selection of those parameters is essential for effective congestion control. However, the 3GPP does not provide any specific algorithm for setting and adapting these parameters. This study focuses on a simplified version of the ACB algorithm using Reinforcement Learning (RL) to dynamically adapt the access probability (barring rate) to maximize network performance. A grant-free access type protocol has been used in this scenario to reduce energy consumption, as they minimize the signalling need for network access. The proposed scheme was evaluated using discrete-event simulation and compared with an ideal and a heuristic congestion control schemes. The results show that RL-based congestion control policies can effectively reduce collisions and improve network efficiency but may require careful tuning of hyperparameters to achieve optimal performance across different metrics.