Enhancing data accessibility in built asset digital twins with neural language models and immersive technologies

Shahinmoghadam, Mehrzad (2024). Enhancing data accessibility in built asset digital twins with neural language models and immersive technologies. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (3MB) | Prévisualisation

Résumé

The rapid digital transformation within the architecture, engineering, construction, and facilities management industries has led to a growing interest in digital twinning for built assets—creating virtual, data-driven representations that mirror the states and and behaviors of real-world built asset components and systems. To actualize the full potential of digital twins—as dynamic, data-driven representations of physical assets—it is essential to integrate real-time data streams with static information. In this light, Building Information Modeling (BIM) and Internet of Things (IoT) systems can serve as foundational components of built asset digital twins— combining BIM’s static geometrical and rich semantic data with live IoT sensor data. However, despite extensive research and advancements in interoperability and data exchange frameworks, particularly those centered around the open BIM paradigm, the complexity of accessing and interpreting built asset data remains a significant barrier to intuitive user interactions with digital twin interfaces.

This thesis sets out to address the critical issue of data accessibility in digital twin interfaces by investigating the practical potentials of two synergistic approaches: virtual reality (VR) for enhancing data representation and neural language models for improving information retrieval. In particular, the thesis examines the potential of immersive VR environments to intuitively represent the complex built asset data, offering users a more interactive and spatially coherent means of navigating and interpreting multimodal information that comes from various sources. Through a case study focused on real-time thermal comfort monitoring, the research demonstrates how VR-based interfaces can provide an effective medium for seamless representation of BIM and IoT data, which can significantly improve the data-driven decision-making process for practitioners in complex real-world scenarios.

In parallel, the thesis investigates the application of neural language models, including customtrained deep neural networks and pre-trained large language models (LLMs), for enhancing information retrieval in BIM-centered digital twin systems. Motivated by the promising potential of advanced natural language processing techniques for improving search systems by incorporating semantics, this work evaluates the effectiveness of state-of-the-art neural language modeling techniques for the specific task of entity extraction from user queries. The experimental results, comparing traditional and emerging deep learning architectures, provide novel insights for both research and practice. They underscore the critical importance of domain adaptation strategies for effective model performance in this specialized context.

Moreover, to address the shortcomings of existing general-purpose benchmarks in examining the transferability of the pre-trained LLMs’ capabilities for downstream tasks, such as those related to information retrieval, the thesis presents a comprehensive benchmark of state-of-the-art models. The thesis is accompanied by the public release of the proposed benchmark resources, including large-scale, high-quality datasets curated from industry-renowned sources. Given the surge of interest in applying LLMs to various applications within the built environment research, this is a particularly timely and essential contribution in this rapidly evolving field. The thesis concludes by highlighting key limitations and challenges encountered, accompanied by recommendations for future research with the central theme of fostering more intuitive user interactions with built asset digital twins.

Titre traduit

Améliorer l’accessibilité des données dans les jumeaux numériques de biens construits grâce à des modèles de langage neuronaux et à des technologies immersives

Résumé traduit

La transformation numérique rapide dans les secteurs de l’architecture, de l’ingénierie, de la construction et de la gestion des installations a suscité un intérêt croissant pour le jumelage numérique des actifs bâtis - créant des représentations virtuelles basées sur les données qui reflètent les états et les comportements des composants et systèmes d’actifs construits du monde réel. Pour actualiser le plein potentiel des jumeaux numériques - en tant que représentations dynamiques et axées sur les données des actifs physiques - il est essentiel d’intégrer des flux de données en temps réel à des informations statiques. Dans cette optique, les systèmes de modélisation des informations du bâtiment (BIM) et de l’internet des objets (IoT) peuvent servir de composants fondamentaux des jumeaux numériques des actifs bâtis, en combinant les données géométriques statiques et les données sémantiques riches de la BIM avec les données des capteurs IoT en temps réel. Cependant, malgré des recherches approfondies et des avancées dans les cadres d’interopérabilité et d’échange de données, en particulier ceux centrés sur le paradigme BIM ouvert, la complexité de l’accès et de l’interprétation des données sur les actifs bâtis reste un obstacle important aux interactions intuitives des utilisateurs avec les interfaces de jumeaux numériques.

Cette thèse vise à aborder la question critique de l’accessibilité des données dans les interfaces de jumeaux numériques en étudiant les potentiels pratiques de deux approches synergiques : la réalité virtuelle (RV) pour améliorer la représentation des données et les modèles de langage neuronaux pour améliorer la recherche d’informations. En particulier, la thèse examine le potentiel des environnements immersifs de RV pour représenter intuitivement les données complexes des actifs construits, offrant aux utilisateurs un moyen plus interactif et spatialement cohérent de naviguer et d’interpréter les informations multimodales provenant de diverses sources. Grâce à une étude de cas axée sur la surveillance du confort thermique en temps réel, la recherche démontre comment les interfaces basées sur la RV peuvent fournir un support efficace pour une représentation transparente des données BIM et IoT, ce qui peut améliorer de manière significative le processus de prise de décision basé sur les données pour les praticiens dans des scénarios complexes du monde réel.

En parallèle, la thèse étudie l’application de modèles de langage neuronaux, y compris les réseaux neuronaux profonds formés sur mesure et les grands modèles de langage (LLM) préformés, pour améliorer la recherche d’informations dans les systèmes de jumeaux numériques centrés sur le BIM. Motivé par le potentiel prometteur des techniques avancées de traitement du langage naturel pour améliorer les systèmes de recherche en incorporant la sémantique, ce travail évalue l’efficacité des techniques de modélisation du langage neuronal de pointe pour la tâche spécifique d’extraction d’entités à partir de requêtes d’utilisateurs. Les résultats expérimentaux, qui comparent les architectures d’apprentissage profond traditionnelles et émergentes, offrent de nouvelles perspectives pour la recherche et la pratique. Ils soulignent l’importance critique des stratégies d’adaptation au domaine pour une performance efficace du modèle dans ce contexte spécialisé.

En outre, pour répondre aux lacunes des repères généraux existants dans l’examen de la transférabilité des capacités des LLMs pré-entraînés pour les tâches en aval, telles que celles liées à la recherche d’informations, la thèse présente un repère complet des modèles de pointe. La thèse est accompagnée de la publication des ressources de référence proposées, y compris des ensembles de données à grande échelle et de haute qualité provenant de sources reconnues par l’industrie. Compte tenu de l’intérêt croissant pour l’application des LLM à diverses applications dans la recherche sur l’environnement bâti, il s’agit d’une contribution particulièrement opportune et essentielle dans ce domaine qui évolue rapidement. La thèse conclut en soulignant les principales limites et les défis rencontrés, accompagnés de recommandations pour la recherche future avec le thème central de favoriser des interactions plus intuitives entre les utilisateurs et les jumeaux numériques du patrimoine bâti.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 121-138).
Mots-clés libres:	jumeau numérique, modélisation des informations de construction, internet des objets, réalité virtuelle, traitement du langage naturel, recherche d’informations, reconnaissance d’entités nommées, apprentissage profond, intégration de texte, modélisation neuronale du langage, modèles de langage de grande taille, banc d’essai
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Motamedi, Ali
Programme:	Doctorat en génie > Génie
Date de dépôt:	23 mai 2025 18:03
Dernière modification:	23 mai 2025 18:03
URI:	https://espace.etsmtl.ca/id/eprint/3604

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt