Autonomous Service Management in the Cloud - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 2023

Autonomous Service Management in the Cloud

La Gestion Autonome des Services dans le Cloud

Résumé

Applications and services have become more complex, while the Internet has become increasingly difficult to evolve both regarding its physical infrastructure, and its protocols and performance. Being responsible for policy configurations as well as network management and performance tuning, network operators are shifting towards the use of more and more automated tools to accomplish these tasks. The concept of “programmable networks” has emerged to alleviate the challenges, and to facilitate network evolution. This includes paradigms such as (i) software-defined networking (SDN) and (ii) network function virtualisation (NFV), which decouple the forwarding hardware into the control plane and data plane, and seek to abstract network forwarding, and other networking functions, from the hardware. In the era of “big data” on cloud computing, these paradigms have enabled rich network traffic processing services, while having also reduced the granularity of task allocation in data centers. It has been recognized that shifting controllers from logically centralised to distributed will increase not only scalability but also robustness to inconsistency. Machine-Learning (ML)-based approaches have been proposed to deploy more intelligence in networks, when using decoupled control and data planes. In this context, the question explored in this thesis is whether, and how, it is possible to offer generic, data-driven networking functions in data center networks as services, for constructing autonomous networking systems which optimise networking performances with minimal human intervention and operational complexity. This thesis investigates the increasing scale, complexity, and heterogeneity of networking infrastructure, and protocols, as well as the demand for virtualisation and cloud support services in terms of efficient resource management, rapid provisioning, and scalability present a set of new challenges in effective network organization, management, and optimization. This is accomplished by studying how certain network functions and primitives (traffic classification, auto-scaling, load balancing) can be reliably enhanced by various data-driven algorithms, while bearing in mind the in-production requirements in data center networks – high scalability, high throughput, low latency, and low overheads. The characteristics of networking features in the context of in-production overlay networks are investigated first, which opens the discussion of the challenges of collecting measurements and deploying data-driven networking policies in real-world systems. To tackle these challenges, a generic tool to extract networking features from the data plane and deploy ML algorithms for various networking functions in real-world networking systems is built. A methodological framework is also designed and showcased, allowing for the developing of algorithms of different learning paradigms for networking problems. This thesis then dedicates the study to network load balancing problems in data center networks, on which a survey of state-of-the-art load balancers is provided. A hardware-based load balancing mechanism is proposed, achieving line-rate load-aware workload distribution by exploiting server load information embedded in packet headers as feedback signals. Finally, both an open-loop and a closed-loop learning load balancing algorithms are proposed based on learning algorithms, and they show better performance than state-of-the-art load balancing methods.
Les applications et services sont devenus plus complexes, rendant la configuration et la gestion des politiques de mise en réseau plus difficiles pour des performances optimisées. Les paradigmes de réseau programmable, tels que le réseau définie par logiciel (SDN) et la virtualisation des fonctions réseau (NFV), ont émergé pour faciliter l'évolution du réseau et permettre des services riches de traitement du trafic réseau. Cette thèse explore comment offrir des fonctions de mise en réseau génériques basées sur les données dans les réseaux de centres de données pour construire des systèmes autonomes qui optimisent les performances de mise en réseau avec un minimum d'intervention humaine et complexité opérationnelle. Elle étudie également comment les fonctions et primitives du réseau peuvent être améliorées par des algorithmes basés sur les données, tout en gardant à l'esprit les exigences de production des réseaux de centres de données. Pour relever les défis de la collecte de mesures et du déploiement de politiques de mise en réseau basées sur les données, un outil générique est construit pour extraire les fonctionnalités de mise en réseau du plan de données et déployer des algorithmes basées sur l'apprentissage automatique (ML) pour diverses fonctions de mise en réseau dans des systèmes de mise en réseau du monde réel. Cette thèse se concentre sur les problèmes d'équilibrage de charge réseau dans les réseaux de centres de données, sur lesquels un état de l'art des équilibreurs de charge est fourni. Des algorithmes d'équilibrage de charge d'apprentissage sont proposés sur la base d'algorithmes d'apprentissage, montrant de meilleures performances que les méthodes d'équilibrage de charge de pointe.
Fichier principal
Vignette du fichier
yao_x_thesis_2023.pdf (21.04 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04116293 , version 1 (03-06-2023)
tel-04116293 , version 2 (01-03-2024)

Identifiants

  • HAL Id : tel-04116293 , version 1

Citer

Zhiyuan Yao. Autonomous Service Management in the Cloud. Computer Science [cs]. École Polytechnique; Cisco Systems France, 2023. English. ⟨NNT : 2023IPPAX019⟩. ⟨tel-04116293v1⟩
935 Consultations
154 Téléchargements

Partager

Gmail Facebook X LinkedIn More