Defining KPIs to assess the impact of innovation in construction: Insights from Public Project Owners

Tabatabaee, Seyed Mohammad Ehsan (2025). Defining KPIs to assess the impact of innovation in construction: Insights from Public Project Owners. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

This thesis aims to define key performance indicators (KPIs) for evaluating the impact of innovations in the AECO industry. The work began by clarifying core concepts - innovation, performance measurement, and impact assessment - to build a shared vocabulary and an analytical baseline. With these foundations, an investigation of current practice was carried out with public project owners (PPOs) in Québec to understand what is measured, how it is measured, and why.

A Design Science Research (DSR) approach was used. First, a literature review assembled 42 KPIs grouped into nine categories: Cost, Time, Productivity, Quality, Safety, Scope (changes/claims/RFIs), Risk, Sustainability, and Innovation. Second, semi-structured interviews with five Québec PPOs documented current KPI practice, data workflows, and difficulties. Third, prioritization workshops with the same four PPOs plus one additional owner positioned the 42 KPIs on a usefulness–measurability matrix. Finally, a post-workshop validation questionnaire (seven responses from six PPOs) confirmed priorities for implementation.

Findings show a narrow core in current dashboards - cost and time - together with implementation barriers: data-quality issues, fragmented systems, and cultural factors affecting adoption. At the same time, owners expressed a clear interest in moving beyond the “iron triangle” toward scope discipline, risk management, productivity, quality and stakeholder outcomes, safety, sustainability, and innovation. Workshop inputs were ordered by combining the average scores for usefulness and ease of measurement with agreement weights based on the interquartile range (IQR). Usefulness was emphasized (80%), while ease of measurement contributed (20%) to reflect feasibility without letting it dominate. This procedure produced an owner-endorsed shortlist of 17 KPIs that balances decision value, consensus, and practicality.

The prioritized set comprises the following metrics: cost predictability (design/construction), cost per unit, time predictability (design/construction), time per unit, labor productivity expressed as dollars per unit, stakeholder satisfaction, lost-time incidents, change order (cost) – client-initiated, change order (cost) – contractor-initiated, number of change orders – clientinitiated, number of change orders – contractor-initiated, requests for information (RFI), waste generation, carbon footprint, energy consumption, scope of risks (risk-exposure score), and cost of risk mitigation. Together, these cover the main control needs of public owners while opening space for sustainability and risk-informed decisions as data pipelines mature.

The main contribution is an owner-validated KPI set spanning nine categories and a replicable prioritization procedure that integrates perceived value, stakeholder agreement, and measurability. Practically, owners can begin routine reporting with the validated shortlist, while planning staged adoption of sustainability and future innovation-specific indicators as data governance improves. Limitations include a small, Québec-based sample and a crosssectional snapshot of the current practices of public project owners. Future work will pilot the prioritized KPIs on live projects, strengthen data governance and integration, and run longitudinal studies linking project-phase indicators to post-handover outcomes, enabling a more complete evaluation of innovation impacts across the asset life cycle. With these results, the impact of innovation can be identified across a wider set of dimensions than time and cost, and assessed beyond immediate outputs to include longer-term outcomes.

Titre traduit

Définir des indicateurs de performance clés (KPI) pour évaluer l’impact de l’innovation dans la construction: Perspectives des donneurs d’ouvrage publics

Résumé traduit

Cette thèse vise à définir des indicateurs clés de performance (KPI) pour évaluer l’impact des innovations dans l’industrie AECO. Les concepts de base — innovation, mesure de la performance et évaluation des impacts — ont d’abord été clarifiés afin d’établir un vocabulaire commun et un socle analytique. Sur cette base, une enquête de pratiques a été menée avec des donneurs d’ouvrage publics (DOP) au Québec pour comprendre ce qui est mesuré, comment cela est fait et à quelles fins.

Une approche de ‘recherche par la conception’ (en anglais - Design Science Research (DSR)) a été mobilisée. Premièrement, une revue de la littérature a recensé 42 KPI répartis en neuf catégories: Coût, Délai, Productivité, Qualité, Sécurité, Portée (modifications/ réclamations/ RFI), Risque, Durabilité et Innovation. Deuxièmement, des entretiens semi-directifs avec cinq DOP québécois ont documenté les pratiques actuelles en matière de KPI, les flux de données et les difficultés rencontrées. Troisièmement, des ateliers de priorisation avec les mêmes quatre DOP, rejoints par un DOP additionnel, ont positionné les 42 KPI sur une matrice utilité– mesurabilité. Enfin, un questionnaire de validation post-atelier (sept réponses provenant de six DOP) a confirmé les priorités d’implantation.

Les résultats mettent en évidence un noyau serré dans les tableaux de bord — coûts et délais — ainsi que des frictions d’implantation : problèmes de qualité des données, systèmes fragmentés et facteurs culturels influençant l’adoption. Parallèlement, les DOP manifestent une volonté claire de dépasser le « triangle de fer » vers la maîtrise de la portée, la gestion des risques, la productivité, la qualité et les résultats pour les parties prenantes, la sécurité, la durabilité et l’innovation. Les apports des ateliers ont été classés en combinant les scores moyens d’utilité et de facilité de mesure avec des pondérations d’accord fondées sur l’intervalle interquartile (IQR). L’utilité a été privilégiée (80 %), tandis que la facilité de mesure a contribué à hauteur de 20 % afin de refléter la faisabilité sans pour autant dominer le processus de hiérarchisation. Cette procédure a produit une liste courte de 17 KPI, validée par les DOP, qui équilibre valeur décisionnelle, consensus et praticité.

L’ensemble priorisé comprend : la prévisibilité des coûts (conception/réalisation), le coût unitaire, la prévisibilité des délais (conception/réalisation), le délai (temps) par unité, la productivité de la main-d’oeuvre (en $/unité), la satisfaction des parties prenantes, les accidents avec perte de temps, les ordres de changement (coût) – initiés par le client, les ordres de changement (coût) – initiés par l’entrepreneur, le nombre d’ordres de changement – initiés par le client, le nombre d’ordres de changement – initiés par l’entrepreneur, les demandes d’information (RFI), la génération de déchets, l’empreinte carbone, la consommation d’énergie, l’étendue des risques (score d’exposition) et le coût de mitigation des risques. Ensemble, ces indicateurs couvrent les besoins essentiels de gestion et contrôle, tout en ouvrant la voie à des décisions éclairées par la durabilité et le risque, à mesure que les chaînes de données se renforcent.

La contribution principale de cette maîtrise consiste en : un jeu de KPI validés par les DOP (neuf catégories) et une procédure de priorisation reproductible intégrant valeur, consensus et mesurabilité. Concrètement, les DOP peuvent lancer le suivi avec cette liste, puis adopter progressivement des indicateurs de durabilité et d’innovation à mesure que la gouvernance des données progresse. Les limites incluent un petit échantillon basé au Québec et un aperçu transversal des pratiques actuelles des donneurs d’ouvrage publics. À l’venir, la recherche peut être continuée par des projets pilotes intégrant les KPI, le renforcement de la gouvernance et les études longitudinales reliant les indicateurs de phase aux résultats post-livraison. Ces résultats permettent désormais d’évaluer l’innovation au-delà du duo coût-délai et des effets immédiats, en intégrant des retombées à plus long terme.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of the requirements for a master’s degree with thesis in construction engineering". Comprend des références bibliographiques (pages 149-163).
Mots-clés libres:	innovation en construction, mesure de la performance, évaluation des impacts, indicateurs clés de performance, AECO
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Iordanova, Ivanka
Codirecteur:	Codirecteur Poirier, Erik Andrew
Programme:	Maîtrise en ingénierie > Génie de la construction
Date de dépôt:	04 mars 2026 20:39
Dernière modification:	04 mars 2026 20:39
URI:	https://espace.etsmtl.ca/id/eprint/3837

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt