Toward the optimization of peer review effort in DevOps: an empirical investigation using merge request traces

Kansab, Samah (2026). Toward the optimization of peer review effort in DevOps: an empirical investigation using merge request traces. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (3MB) | Prévisualisation

Résumé

Peer review is a central stage of modern DevOps workflows, where software changes are examined before integration through mechanisms such as merge requests (MRs). Although prior research has studied peer review from several angles, review effort is still commonly approximated by temporal measures that conflate review work with waiting time, reviewer availability, and organizational urgency. This thesis studies peer review effort as a software process phenomenon rather than a purely temporal indicator, and investigates how it can be better characterized, analyzed, and optimized in DevOps environments.

The thesis follows an empirical approach based on MR traces from two industrial partners (Kaloom and TELUS) and open-source GitLab projects. It establishes MR traces as an observability instrument that captures review activity together with environmental disruption, technological transitions, organizational priorities, and automation–human interactions. It introduces the amount of post-submission change as a time independent effort indicator, shows that it captures a distinct dimension of review work, and predicts it at MR creation time with an AUC of up to 0.88. It examines how review effort and quality vary across development, configuration, and documentation MRs, highlighting the specific profile of configuration changes and the amplifying effect of bug presence. It defines a taxonomy of workflow deviations, shows that they affect up to 37% of industrial MRs, detects them with up to 91% accuracy, and demonstrates their impact on effort analysis. It then extends the analysis upstream, by linking review effort to task estimation, and downstream, by relating review decisions to CI/CD outcomes and predicting safely self-approvable MRs with an AUC above 0.82. Finally, it presents RevMine, an LLM-assisted tool for reproducible DevOps-pipeline data collection and analysis across GitHub and GitLab, which integrates Kanban-style planning data, peer review data, and CI/CD delivery data into a single cross-stage workflow and thereby operationalizes the full upstream–review–downstream chain studied in the preceding chapters.

Across these contributions, the thesis argues that peer review effort is a multi dimensional construct that no single indicator captures adequately, and that its optimization is a calibration problem rather than a minimization one: effort should be reduced where evidence shows it is unnecessary and preserved where it is under-invested. By connecting upstream planning, the review stage itself, and downstream delivery outcomes, the thesis provides empirical foundations, methodological artifacts, and tooling support to interpret and manage peer review effort in DevOps settings.

Titre traduit

Optimisation de l’effort de revue par les pairs dans les environnements DevOps : une étude empirique fondée sur les traces de merge requests

Résumé traduit

La revue par les pairs constitue une étape centrale des flux de travail DevOps modernes, où les changements logiciels sont examinés avant leur intégration au moyen de mécanismes tels que les merge requests (MRs). Bien que les travaux antérieurs aient étudié la revue par les pairs sous plusieurs angles, l’effort de revue est encore souvent approximé par des mesures temporelles qui confondent le travail de revue proprement dit avec les temps d’attente, la disponibilité des réviseurs et les contraintes organisationnelles. Cette thèse étudie l’effort de revue par les pairs comme un phénomène de processus logiciel plutôt que comme un simple indicateur temporel, et examine comment il peut être mieux caractérisé, analysé et optimisé dans les environnements DevOps.

La thèse adopte une approche empirique fondée sur des traces de MRs recueillies auprès de deux partenaires industriels (Kaloom et TELUS) ainsi que dans des projets open source GitLab. Elle établit les traces de MRs comme un instrument d’observabilité qui capture non seulement l’activité de revue, mais aussi les perturbations environnementales, les transitions technologiques, les priorités organisationnelles et les interactions entre automatisation et humains. Elle introduit la quantité de changements réalisés après soumission comme un indicateur d’effort indépendant du temps, montre qu’il capture une dimension distincte du travail induit par la revue et le prédit dès la création de la MR avec une AUC atteignant 0,88. Elle examine comment l’effort et la qualité de la revue varient selon les types de MRs (développement, configuration, documentation), en mettant en évidence le profil particulier des changements de configuration et l’effet amplificateur de la présence de bogues. Elle définit une taxonomie des déviations de flux de travail, montre qu’elles touchent jusqu’à 37% des MRs industrielles, les détecte avec une précision atteignant 91% et démontre leur impact sur l’analyse de l’effort. Elle étend ensuite l’analyse en amont, en reliant l’effort de revue aux pratiques d’estimation des tâches, puis en aval, en reliant les décisions de revue aux résultats CI/CD et en prédisant les MRs pouvant être auto-approuvées de manière sûre avec une AUC supérieure à 0,82. Enfin, elle présente RevMine, un outil assisté par grand modèle de langage pour la collecte et l’analyse reproductibles des données du pipeline DevOps sur GitHub et GitLab, intégrant les données de planification de type Kanban, les données de revue par les pairs et les données de livraison CI/CD dans un même flux d’analyse transversal, et opérationnalisant ainsi la chaîne complète amont revue aval étudiée dans les chapitres précédents.

À travers ces contributions, la thèse soutient que l’effort de revue par les pairs est un construit multi-dimensionnel qu’aucun indicateur unique ne peut capturer adéquatement, et que son optimisation est un problème de calibration plutôt que de minimisation : l’effort doit être réduit là où il s’avère non nécessaire et préservé là où il est sous investi. En reliant la planification en amont, l’étape de revue elle-même et les résultats de livraison en aval, la thèse fournit des fondements empiriques, des artefacts méthodologiques et un support outillé pour interpréter et gérer l’effort de revue par les pairs dans les contextes DevOps.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of Doctor of Philosophy". Comprend des références bibliographiques (pages 315-357).
Mots-clés libres:	revue par les pairs, merge requests, effort de revue, DevOps, amélioration des processus logiciels, génie logiciel empirique
Directeur de mémoire/thèse:	Directeur(-trice) Bordeleau, Francis
Programme:	Doctorat en génie > Génie
Date de dépôt:	24 juill. 2026 15:02
Dernière modification:	24 juill. 2026 15:02
URI:	https://espace.etsmtl.ca/id/eprint/4026

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt