SDN-based traffic engineering in data centers, Interconnects, and Carrier Networks

Subedi, Tara Nath (2018). SDN-based traffic engineering in data centers, Interconnects, and Carrier Networks. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (5MB) | Prévisualisation
Prévisualisation	PDF Télécharger (2MB) | Prévisualisation

Résumé

Server virtualization and cloud computing have escalated the bandwidth and performance demands on the DCN (data center network). The main challenges in DCN are maximizing network utilization and ensuring fault tolerance to address multiple node-and-link failures. A multitenant and highly dynamic virtualized environment consists of a large number of endstations, leading to a very large number of flows that challenge the scalability of a solution to network throughput maximization. The challenges are scalability, in terms of address learning, forwarding decision convergence, and forwarding state size, as well as flexibility for offloading with VM migration.

Geographically distributed data centers are inter-connected through service providers’ carrier network. Service providers offer wide-area network (WAN) connection such as private lines and MPLS circuits between edges of data centers. DC sides of network operators try to maximize the utilization of such defined overlay WAN connection i.e. data center interconnection (DCI), which applies to edges of DC networks. Service provider sides of network operators try to optimize the core of carrier network. Along with the increasing adoption of ROADM, OTN, and packet switching technologies, traditional two-layer IP/MPLS-over-WDM network has evolved into three-layer IP/MPLS-over-OTN-over-DWDM network and once defined overlay topology is now transitioning to dynamic topologies based on on-demand traffic demands.

Network operations are thus divided into three physical sub-networks: DCN, overlay DCI, and multi-layer carrier network. Server virtualization, cloud computing and evolving multilayer carrier network challenge traffic engineering to maximize utilization on all physical subnetworks. The emerging software-defined networking (SDN) architecture moves path computation towards a centralized controller, which has global visibility. Carriers indicate a strong preference for SDN to be interoperable between multiple vendors in heterogeneous transport networks. SDN is a natural way to create a unified control plane across multiple administrative divisions. This thesis contributes SDN-based traffic engineering techniques for maximizing network utilization of DCN, DCI, and carrier network.

The first part of the thesis focuses on DCN traffic engineering. Traditional forwarding mechanisms using a single path are not able to take advantages of available multiple physical paths. The state-of-the-art MPTCP (Multipath Transmission Control Protocol) solution uses multiple randomly selected paths, but cannot give total aggregated capacity. Moreover, it works as a TCP process, and so does not support other protocols like UDP. To address these issues, this thesis presents a solution using adaptive multipath routing in a Layer-2 network with static (capacity and latency) metrics, which adapts link and path failures. This solution provides innetwork aggregated path capacity to individual flows, as well as scalability and multitenancy, by separating end-station services from the provider’s network. The results demonstrate an improvement of 14% in the worst bisection bandwidth utilization, compared to the MPTCP with 5 sub-flows.

The second part of the thesis focuses on DCI traffic engineering. The existing approaches to reservation services provide limited reservation capabilities, e.g. limited connections over links returned by the traceroute over traditional IP-based networks. Moreover, most existing approaches do not address fault tolerance in the event of node or link failures. To address these issues, this thesis presents ECMP-like multipath routing algorithm and forwarding assignment scheme that increase reservation acceptance rate compared to state-of-art reservation frameworks in the WAN-links between data centers, and such reservations can be configured with a limited number of static forwarding rules on switches. Our prototype provides the RESTful web service interface for link-fail event management and re-routes paths for all the affected reservations.

In the final part of the thesis, we focused on multi-layer carrier network traffic engineering. New dynamic traffic trends in upper layers (e.g. IP routing) require dynamic configuration of the optical transport to re-direct the traffic, and this in turn requires an integration of multiple administrative control layers. When multiple bandwidth path requests come from different nodes in different layers, a distributed sequential computation cannot optimize the entire network. Most prior research has focused on the two-layer problem, and recent three-layer research studies are limited to the capacity dimensioning problem. In this thesis, we present an optimization model with MILP formulation for dynamic traffic in a three-layer network, especially taking into account the unique technological constraints of the distinct OTN layer. Our experimental results show how unit cost values of different layers affect network cost and parameters in the presence of multiple sets of traffic loads. We also demonstrate the effectiveness of our proposed heuristic approach.

Titre traduit

Ingénierie du trafic basee sur SDN dans les centres de données, les interconnexions et l'infrastructure réseau

Résumé traduit

La virtualisation des serveurs et le cloud computing ont augmenté les demandes en bande passante et en performances des réseaux des centres de données (DCN). Les principaux defies des DCN sont la maximisation de l’utilisation du réseau et la garantie d’une tolérance aux pannes pour résoudre les défaillances multiples de noeuds et de liaisons. Un environnement multitenant virtualisé et hautement dynamique se compose d’un grand nombre de stations terminales, entraînant un nombre important de flux qui remettent en cause l’évolutivité d’une solution qui maximise le débit du réseau. Les défis sont l’évolutivité, en termes d’apprentissage de l’adresse, de convergence des décisions de transmission et de taille de l’état de transfert, ainsi que la flexibilité pour l’envoi des flux avec la migration des machines virtuelles.

Les centres de données géographiquement répartis sont interconnectés par l’intermédiaire de l’infrastructure de réseau des fournisseurs de services. Les fournisseurs de services offrent une connexion de réseau étendu (WAN) tels que des lignes privées et des circuits MPLS entre les centres de données. Les centres de données des opérateurs de réseau essaient de maximiser l’utilisation d’un tel réseau WAN déjà existant, c’est-à-dire l’interconnexion entre les centres de données (DCI) appliquée du côté réseau des centres de données. Alors que les fournisseurs de services des opérateurs de réseau tentent d’optimiser le coeur du réseau de l’opérateur. Parallèlement à l’adoption croissante des technologies ROADM, OTN et de la technologie de commutation de paquets, le réseau IP/MPLS-over-WDM traditionnel à deux couches a évolué pour devenir un réseau IP/MPLS-over-OTN sur DWDM à trois couches et la topologie de superposition définie est en train de changer pour des topologies dynamiques basées sur les demandes de trafic en temps réel.

Les opérations sur le réseau sont ainsi divisées en trois sous-réseaux physiques: DCN, DCI overlay et l’infrastructure réseau multicouche de l’opérateur. La virtualisation de serveurs, le cloud computing et l’infrastructure réseau multicouche évolutive de l’opérateur défient l’ingénierie du trafic pour optimiser l’utilisation de tous ces sous-réseaux physiques. L’architecture émergente de réseau défini par logiciel (SDN) déplace le calcul des chemins vers un contrôleur centralisé, qui a une vue globale du réseau. Les opérateurs indiquent une forte preference pour que le SDN soit interopérable entre plusieurs fournisseurs dans des réseaux de transport hétérogènes. SDN est un moyen naturel de créer une planification de contrôle unifié à travers plusieurs divisions administratives. Cette thèse contribue avec des techniques d’ingénierie de trafic basées sur SDN pour maximiser l’utilisation du réseau DCN, DCI et du réseau de transport.

La première partie de la thèse porte sur l’ingénierie du trafic DCN. Les mécanismes d’acheminement traditionnels utilisant un seul chemin ne peuvent pas tirer parti des multiples chemins physiques disponibles. La solution MPTCP (Multipath Transmission Control Protocol) de pointe utilise plusieurs chemins sélectionnés de manière aléatoire, mais ne peut pas fournir une capacité totale agrégée. De plus, cela fonctionne comme un processus TCP et ne supporte donc pas d’autres protocoles comme UDP. Pour résoudre ces problèmes, cette thèse présente une solution utilisant le routage multivoie adaptatif dans un réseau de deux couches avec des métriques statiques (capacité et latence), qui s’adapte aux ruptures de lien et de chemin. Cette solution fournit une agrégation dans le réseau des capacités des chemins aux flux individuels, ainsi que l’évolutivité et la Multi-Tenancy, en séparant les services de station terminale du réseau du fournisseur. Les résultats démontrent une amélioration de 14% de la pire utilization de la bande passante de bissection, lorsque comparée au MPTCP avec 5 sous-flux.

La deuxième partie de la thèse porte sur l’ingénierie du trafic DCI. Les approches existantes pour les services de réservation fournissent des capacités de réservation limitées, par ex. connexions limitées sur les liens renvoyés par le traceroute par rapport aux réseaux IP traditionnels. De plus, la plupart des approches existantes n’abordent pas la tolérance aux erreurs en cas de défaillance de noeuds ou de liaisons. Pour résoudre ces problèmes, cette thèse présente ECMP-comme l’algorithme de routage multi-chemins et la technique d’assignation de routes qui augmente le taux d’acceptation des réservations par rapport aux infrastructures de reservation de pointe dans les liaisons WAN entre centres de données. Ces réservations peuvent être configurées avec un nombre limité de règles de transfert statiques sur les commutateurs. Notre prototype fournit l’interface de service Web RESTful pour la gestion des événements de migration de liens et d’hôtes finaux et réachemine les chemins pour toutes les reservations affectées.

Dans la dernière partie de la thèse, nous nous sommes concentrés sur l’ingénierie du traffic du réseau de transport multicouche. Les nouvelles tendances de trafic dynamiques dans les couches supérieures (par exemple le routage IP) nécessitent une configuration dynamique du transport optique pour rediriger le trafic, ce qui nécessite à son tour l’intégration de plusieurs couches de contrôle administratif. Lorsque plusieurs demandes de bande passante proviennent de différents noeuds dans différentes couches, un calcul séquentiel distribué ne peut pas optimizer le réseau entier. La plupart des recherches antérieures se sont concentrées sur le problem des deux couches, et les récentes études de recherche en trois couches se limitent au problem de dimensionnement de la capacité. Nous présentons dans cette thèse un modèle d’optimisation avec une formulation MILP pour le trafic dynamique dans un réseau à trois couches, ou nous avons tenu compte des contraintes technologiques uniques de la couche OTN distincte. Nos résultats expérimentaux montrent comment les valeurs de coût unitaire des différentes couches affectent le coût du réseau et les paramètres par la présence de plusieurs ensembles de charges de trafic. Nous démontrons également l’efficacité de notre approche heuristique proposée.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Bibliographie : pages 159-171.
Mots-clés libres:	Réseaux d'ordinateurs Trafic. Réseaux SDN. Réseaux à grande distance (Informatique) Centres de traitement de l'information. Interconnexion de réseaux (Télécommunications) Télécommunications Équipement. Conceptions inter-couches (Télécommunications) Routage adaptatif. Multitrajets. Télécommunications par fibres optiques. OpenFlow (Protocole de réseaux d'ordinateurs) Transmission sans fil Gestion. allocation, bande, passant, multipath, capacité de chemin agrégé, transfert, à la demande, à l’avance, réservation, SDN, inter-DC WAN, multicouche, paquet-optique, OTN, transport, optimisation
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Doctorat en génie > Génie
Date de dépôt:	01 août 2018 15:07
Dernière modification:	01 août 2018 15:07
URI:	https://espace.etsmtl.ca/id/eprint/2075

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt