A proposed framework for the design and analysis of metaheuristics

Gagnon, Iannick (2026). A proposed framework for the design and analysis of metaheuristics. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (2MB) | Prévisualisation

Résumé

This doctoral thesis critically evaluates and seeks to improve methodological practices in metaheuristics research. These black-box stochastic optimization algorithms are widely applied to NP-complete problems, including vehicle routing, neural network training, and aerospace structure design. Despite their popularity, the literature reveals significant shortcomings in methodological rigor, transparency, and reproducibility, which undermine the scientific validity of reported results.

To address these issues, the research is structured around three complementary studies: (1) a critical analysis of the Bat Algorithm, revealing its structural similarities to earlier methods and the lack of robust evidence supporting its claimed superiority; (2) an investigation into the use of chaotic maps, showing that reported performance gains often stem from sequence effects rather than intrinsic properties; (3) a quantitative assessment of statistical practices in 70 recent articles, highlighting systematic deficiencies in hypothesis testing, effect size reporting, and confidence interval usage.

Building on these findings, the thesis introduces the Metaheuristics Design and Analysis Framework (MDAF) as a structured methodological framework integrating guidelines for experimental design, statistical analysis, and transparent reporting. Adoption of the MDAF aims to enhance the quality, reproducibility, and practical relevance of metaheuristics research, ultimately contributing to more robust and scientifically credible optimization solutions.

Titre traduit

Un nouveau cadre d’applications pour la conception et l’analyse des métaheuristiques

Résumé traduit

Cette thèse de doctorat propose une évaluation critique et une amélioration des pratiques méthodologiques dans la recherche sur les métaheuristiques. Ces algorithmes stochastiques de type « boîte noire » sont largement utilisés pour résoudre des problèmes NP-complets, tels que l’optimisation de tournées de véhicules, l’entraînement de réseaux neuronaux ou la conception de structures aérospatiales. Malgré leur popularité, la littérature révèle un manque de rigueur méthodologique, de transparence et de reproductibilité, compromettant la validité scientifique des résultats publiés.

Pour répondre à ces lacunes, la recherche s’appuie sur trois études complémentaires : (1) une analyse critique de l’algorithme de la chauve-souris, démontrant ses similitudes structurelles avec des méthodes antérieures et l’absence de preuves robustes de sa supériorité; (2) une investigation des effets des cartes chaotiques, révélant que les gains de performance rapportés dans la littérature sont souvent dus à des effets de séquence plutôt qu’à des propriétés intrinsèques; (3) une évaluation quantitative des pratiques statistiques dans articles scientifiques récents, mettant en évidence des insuffisances systématiques dans l’usage des tests d’hypothèse, des tailles d’effet et des intervalles de confiance.

À partir de ces constats, la thèse propose le Metaheuristics Design and Analysis Framework (MDAF), un cadre méthodologique structuré qui intègre des lignes directrices pour la conception expérimentale, l’analyse statistique et la présentation des résultats. L’adoption du MDAF vise à renforcer la qualité, la reproductibilité et la pertinence des recherches en métaheuristiques, ouvrant la voie à des solutions d’optimisation plus robustes et scientifiquement fiables.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 213-222).
Mots-clés libres:	métaheuristiques, optimisation mathématique, optimisation stochastique, pratiques méthodologiques
Directeur de mémoire/thèse:	Directeur(-trice) April, Alain
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Abran, Alain
Programme:	Doctorat en génie > Génie
Date de dépôt:	15 avr. 2026 18:51
Dernière modification:	15 avr. 2026 18:51
URI:	https://espace.etsmtl.ca/id/eprint/3874

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt