Optimization of Network Slice Placement in Distributed Large Scale Infrastructures From Heuristics to Controlled Deep Reinforcement Learning - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 2021

Optimization of Network Slice Placement in Distributed Large Scale Infrastructures From Heuristics to Controlled Deep Reinforcement Learning

Optimisation du placement des tranches de réseau dans les infrastructures distribuées à grande échelle: des heuristiques à l'apprentissage par renforcement profond contrôlée

Résumé

Network Slicing is a major stake in 5G networks and beyond, which is mainly enabled by Network Function Virtualization (NFV) and Software Defined Networks (SDN). These two paradigms enable telcos to offer virtual networks meeting specific needs of the vertical markets on the top on the same shared physical infrastructure. An important challenge in the implementation at scale of Network Slicing is Network Slice Placement and the optimal allocation of virtualized resources. This can be formulated as a multi-objective Integer Linear Programming (ILP) problem. However, ILP suffers from combinatorial explosion when solving NP-hard problem, especially for large-scale scenarios. Heuristics and Machine Learning (ML) algorithms have been investigated as efficient means of tackling this kind of problem. This PhD thesis investigates how to optimize Network Slice Placement in distributed large-scale infrastructures focusing on online heuristic and Deep Reinforcement Learning (DRL) based approaches. First, we rely on ILP to propose a data model for enabling on-Edge and on-Network Slice Placement. In contrary to most studies related to placement in the NFV context, the proposed ILP model considers complex Network Slice topologies and pays special attention to the geographic location of Network Slice Users and its impact on the End-to-End (E2E) latency. Extensive numerical experiments show the relevance of taking into account the user location constraints. Then, we rely on an approach called the “Power of Two Choices"(P2C) to propose an online heuristic algorithm for the problem which is adapted to support placement on large-scale distributed infrastructures while integrating Edge-specific constraints. The evaluation results show the good performance of the heuristic that solves the problem in few seconds under a large-scale scenario. The heuristic also improves the acceptance ratio of Network Slice Placement Requests when compared against a deterministic online ILP-based solution. Finally, we investigate the use of ML methods, more specifically DRL, for increasing scalability and automation of Network Slice Placement considering a multi-objective optimization approach to the problem. We first propose a DRL algorithm for Network Slice Placement which relies on the Advantage Actor Critic algorithm for fast learning, and Graph Convolutional Networks for feature extraction automation. Then, we propose an approach we call Heuristically Assisted Deep Reinforcement Learning (HA-DRL), which uses heuristics to control the learning and execution of the DRL agent. We evaluate this solution trough simulations under stationary, cycle-stationary and non-stationary network load conditions. The evaluation results show that heuristic control is an efficient way of speeding up the learning process of DRL, achieving a substantial gain in resource utilization, reducing performance degradation, and is more reliable under unpredictable changes in network load than non-controlled DRL algorithms.
Le découpage du réseau est un enjeu majeur des réseaux 5G et au-delà, ce qui est principalement permis par la virtualisation des fonctions réseau (NFV) et les réseaux définis par logiciel (SDN). Ces deux paradigmes permettent aux opérateurs de télécommunications de proposer des réseaux virtuels répondant aux besoins spécifiques des marchés verticaux en utilisant une même infrastructure physique partagée. Un défi important dans la mise en oeuvre à l’échelle du découpage du réseau est le placement des tranches de réseau et l’allocation optimale des ressources virtualisées. Ce problème peut être formulé comme un problème d’optimisation multi-objectifs via la programmation linéaire en nombres entiers (ILP). Cependant, l’ILP souffre d’une explosion combinatoire lors de la résolution de problèmes NP-difficiles, en particulier pour les scénarios à grande échelle. Les heuristiques et les algorithmes d’apprentissage automatique (ML) sont envisagés comme des moyens efficaces pour résoudre ce type de problème. Cette thèse examine comment optimiser le placement de tranches (slices) de réseau dans les infrastructures distribuées à grande échelle en se concentrant sur des approches heuristiques en ligne et basées sur l’apprentissage par renforcement profond (DRL). Tout d’abord, nous nous appuyons sur l’ILP pour proposer un modèle de données permettant le placement de tranches de réseau sur le bord et le coeur du réseau. Contrairement à la plupart des études relatives au placement de fonctions réseau virtualisées, le modèle ILP proposé prend en compte les topologies complexes des tranches de réseau et accorde une attention particulière à l’emplacement géographique des utilisateurs des tranches réseau et à son impact sur le calcul de la latence de bout en bout. Des expérimentations numériques nous ont permis de montrer la pertinence de la prise en compte des contraintes de localisation des utilisateurs. Ensuite, nous nous appuyons sur une approche appelée "Power of Two Choices" pour proposer un algorithme heuristique en ligne qui est adapté à supporter le placement sur des infrastructures distribuées à grande échelle tout en intégrant des contraintes spécifiques au bord du réseau. Les résultats de l’évaluation montrent la bonne performance de l’heuristique qui résout le problème en quelques secondes dans un scénario à grande échelle. L’heuristique améliore également le taux d’acceptation des demandes de placement de tranches de réseau par rapport à une solution déterministe en ligne en utilisant l’ILP. Enfin, nous étudions l’utilisation de méthodes de ML, et plus particulièrement de DRL, pour améliorer l’extensibilité et l’automatisation du placement de tranches réseau en considérant une version multi-objectif du problème. Nous proposons d’abord un algorithme DRL pour le placement de tranches réseau qui s’appuie sur l’algorithme "Advantage Actor Critic" pour un apprentissage rapide, et sur les réseaux convolutionels de graphes pour l’extraction de propriétés. Ensuite, nous proposons une approche que nous appelons "Heuristically Assisted DRL" (HA-DRL), qui utilise des heuristiques pour contrôler l’apprentissage et l’exécution de l’agent DRL. Nous évaluons cette solution par des simulations dans des conditions de charge de réseau stationnaire, ensuite cyclique et enfin non-stationnaire. Les résultats de l’évaluation montrent que le contrôle par heuristique est un moyen efficace d’accélérer le processus d’apprentissage du DRL, et permet d’obtenir un gain substantiel dans l’utilisation des ressources, de réduire la dégradation des performances et d’être plus fiable en cas de changements imprévisibles de la charge du réseau que les algorithmes DRL non contrôlés.
Fichier principal
Vignette du fichier
ALVES_ESTEVES_Thesis_Manuscript.pdf (11.09 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03563082 , version 1 (22-12-2021)
tel-03563082 , version 2 (09-02-2022)

Identifiants

  • HAL Id : tel-03563082 , version 1

Citer

Jose Jurandir Alves Esteves. Optimization of Network Slice Placement in Distributed Large Scale Infrastructures From Heuristics to Controlled Deep Reinforcement Learning. Computer Science [cs]. Sorbonne Universites, UPMC University of Paris 6; Orange Labs, 2021. English. ⟨NNT : ⟩. ⟨tel-03563082v1⟩
348 Consultations
226 Téléchargements

Partager

Gmail Facebook X LinkedIn More