Planification intelligente des flux entre centres de données

Si Saber, Meriem Amina (2024). Planification intelligente des flux entre centres de données. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

La croissance importante des utilisateurs des centres de données et les échanges entre ces centres soulignent l’importance d’une planification efficace des flux.

Cependant, le problème dans les réseaux actuels interconnectant les centres de données, est que le scénario où les utilisateurs finaux précisent clairement les exigences pour leurs transferts, est irréaliste en raison de l’absence d’une interface permettant d’accomplir efficacement cette tâche. Par conséquent, et pour maintenir le niveau de performance à atteindre, la plupart des travaux existants supposent la disponibilité d’informations caractérisant les flux et se concentrent uniquement sur l’efficacité plutôt que sur la généralité, cet environnement est appelé agnostique à l’information.

L’idée principale de ce mémoire est de surmonter ce défi et de proposer une alternative efficace qui représente correctement les caractéristiques du trafic sans nécessiter une interface utilisateur évolutive et surtout onéreuse. Nous proposons ainsi une approche de planification basée sur une classification en ligne.

Tout d’abord, nous avons construit un nouveau module de classification basé sur la corrélation et combinant une approche sensible aux coûts avec un algorithme d’ensemble de forêts aléatoires, pour traiter le problème de déséquilibre des classes tout en répondant aux exigences de délais des différentes classes de trafic. Afin de calculer les corrélations entre flux qui représentent les poids de rééquilibrage, nous proposons un algorithme des k voisins les plus proches inversé.

Les résultats révèlent que l’algorithme proposé surpasse la plupart des approches dans les différents ensembles de données en termes de précision, rappel, mesure F1, AUC et Kappa. Les autres algorithmes ont donné une haute précision avec un faible rappel ou une faible précision et un haut rappel provoquant une congestion ou un sur-aprovisionnement des ressources.

Le résultat du module de classification représente des paramètres clé pour caractériser le trafic entrant dans le module de planification décrit par un problème d’optimisation, qui, en plus de garantir de meilleures performances de qualité mesurées par des délais d’acheminement optimaux, vise également à la minimisation des coûts en proposant une stratégie de provisionnent rentable.

Alors que d’autres approches obtiennent des taux de pertes élevés, notre approche préserve la qualité et la quantité du trafic échangé. De plus, notre approche surpasse les approches existantes, en particulier dans l’aspect généralisation, puisque c’est une méthode de planification en ligne, mais surtout multi-classe. La partie la plus longue de notre méthode est le réglage (qui est tout à fait négligeable).

Titre traduit

Information-agnostic inter-data center traffic scheduling

Résumé traduit

The important growth of data center users and inter-data center exchanges highlights the importance of efficient flow scheduling.

However, the problem in the current inter-DC WANs is that the scenario where end users clearly specify the requirements for their transfers is unrealistic because of the absence of an interface that accomplishes this task. Consequently, and to maintain the level of performance that must be met, most existing works assume the availability of flow information and focus only on efficiency rather than generality, this environment is referred to as information-agnostic.

The main idea behind this thesis is to overcome this challenge and propose an efficient alternative that understands traffic characteristics without requiring an expensive and non-scalable user interface. We thus propose an information-agnostic classification-based scheduling approach that differentiates inter-datacenter traffic classes in an online manner.

First, we built a novel correlation-based classification module combining a cost-sensitive approach with a Bagged Random Forest ensemble algorithm (BRF), to address the interclass imbalance problem while meeting the critical time requirements of the different traffic classes. In order to calculate interflow correlations representing the rebalancing weights, we propose Reverse k-Nearest Neighbors (RkNN), a new algorithm that outperforms several data level, algorithm level and cost-sensitive strategies on four real-world datasets.

The results reveal that the proposed algorithm outperforms most approaches in the different datasets in terms of precision, recall, F1 measure, AUC, and Kappa. The other algorithms resulted in either high precision with low recall or low precision and high recall causing congestion or resource over provisioning.

The outcome of the classification module represents key parameters to characterize the entering traffic in the scheduling module described through an optimization problem, which besides guaranteeing better QoS performances measured by optimal Flow Completion Times, also targets cost minimization by proposing a cost-effective resource provisioning strategy for inter-data center networks.

While other approaches result in high loss rates, our approach preserves the quality and the amount of exchanged traffic. Also, our approach outperforms existing approaches, particularly in the generalization aspect, since our scheduling approach is an online, multi-class scheduling method. The most time-consuming part of our method is tuning (which is still quite negligible).

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire en génie concentration réseaux de télécommunication". Comprend des références bibliographiques (pages 111-118).
Mots-clés libres:	planification, optimisation, agnostique à l’information, classification, données non-balancées, algorithme de type ensemble
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cheriet, Mohamed
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	16 avr. 2025 18:55
Dernière modification:	16 avr. 2025 18:55
URI:	https://espace.etsmtl.ca/id/eprint/3576

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt