Reconstruction par étalage gaussien 3D de phénomènes gazeux pour les effets visuels

Alix-Joly, Vincent (2026). Reconstruction par étalage gaussien 3D de phénomènes gazeux pour les effets visuels. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (8MB) | Prévisualisation

Résumé

Le rendu de volumes transparents tels la fumée, le feu, la vapeur et les nuages requiert des temps de calcul prohibitifs. Au contraire, les méthodes basées sur l’étalage gaussien 3D permettent, par l’utilisation d’une représentation géométrique nouvelle, de capturer la radiance d’un sujet, puis de la rendre sous des vues nouvelles à des vitesses interactives et à des fidélités pratiquement inatteignables par les méthodes antérieures. Or, les efforts de recherche se sont marginalement intéressés au problème de la capture de volumes et de l’utilisation de celles-ci dans un contexte de création d’effets spéciaux. Nous pensons pouvoir tirer profit de l’étalage gaussien 3D pour transcoder les volumes en une représentation plus rapide pour le rendu. Le présent mémoire propose une méthode pour ledit transcodage de volumes transparents en gaussiennes 3D étalées. Notre méthode permet de circonscrire à la phase de prétraitement les opérations prohibitives propres à l’édition d’effets visuels volumiques, telles le transport lumineux, et s’articule autour d’améliorations à la robustesse de l’initialisation des gaussiennes 3D et de modifications à la boucle d’optimisation. L’amélioration de la robustesse de l’initialisation est implémentée d’une part grâce à l’extraction de la disposition des caméras depuis l’environnement de rendu des volumes, et d’autre part grâce à la conversion de l’information de densité des volumes préalablement simulés depuis leur format de stockage. Les modifications à l’optimisation consistent en des algorithmes de régularisation de position et d’anisotropie, en l’implémentation d’un noyau d’étalage quadratique comme alternative au noyau gaussien, et en un entraînement multifond. Nous testons aussi d’autres travaux de recherche en reconstruction, modélisation et rendu gaussiens pour mettre à l’épreuve leurs conclusions dans notre contexte. Nos résultats montrent que nos méthodes permettent de reconstruire les sujets volumiques à de meilleures qualités photométriques que les méthodes de reconstruction gaussienne existantes. Nos méthodes produisent des reconstruction plus géométriquement cohésives et mieux séparées de leur environnement d’entraînement. Les modèles ainsi reconstruits sont conséquemment utilisables dans des situations de composition avec d’autres modèles gaussiens et polygonaux et avec des fonds inconnus tels des cartes d’environnement présentant des conditions d’éclairage similaires à celles vues à l’entraînement.

Titre traduit

3D gaussian splatting-based reconstruction of gaseous phenomena for visual effects

Résumé traduit

Rendering volumetric phenomena such as smoke, fire, vapour, and clouds require prohibitive computation times. Meanwhile, 3D gaussian splatting-based (3DGS) methods are an emergent family of differenciable rendering algorithms which allow to capture and subsequently render a subject’s radiance from novel viewpoints at unmatched interactive framerates and quality. However, only a few projects researched the possibility of leveraging 3DGS in the context of volumetric visual effects (VFX) productions. We think that 3DGS can be used to transcode (also known as baking) volumes to a 3DGS representation to accelerate post-authoring renders. The present master’s thesis proposes such a method. Our method allows to circumscribe the computationally prohibitive light transport simulation to the volumetric VFX authoring step. We achieve this by proposing modifications to the 3DGS method in the initialization and optimization steps. We improve the initialization by leveraging properties of standard volumetric storage formats and of the camera parametrization used in VFX authoring software; this addresses the issues that arise when using photogrammetric registration, as proposed by the 3DGS reference implementation, in our volumetric context. To specifically improve the reconstruction of low opacity volumetric subjects, we propose anisotropy and position regularizations, an implementation of the quadratic splatting kernel as an alternative to the gaussian kernel, and a multi-background rendering and evalution algorithm. We test the conclusions of other gaussian reconstruction, modelization, and rendering research endeavours when applied in our context. Our results show that our method allows the reconstruction of volumetric subjects with greater photometric accuracy than existing gaussian reconstruction methods. Our method produces gaussian models which are more geometrically cohesive and are better separated from their training environment. Consequently, the models are usable in a compositing workflow. Our gaussian models’ transparency correctly encode their respective ground-truth’s transparency, allowing them to be composited with other gaussian models, with polygonal models, and with environment maps featuring similar lighting conditions as the ground truth, as demonstrated by our results.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise avec mémoire en génie des technologies de l'information". Comprend des références bibliographiques (pages 89-92).
Mots-clés libres:	étalage gaussien, 3DGS, volume transparent, débiaisement multifond, effets visuels, VFX, transcodage, nuage, vapeur, feu, fumée
Directeur de mémoire/thèse:	Directeur(-trice) Paquette, Eric
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	14 juill. 2026 13:17
Dernière modification:	14 juill. 2026 13:17
URI:	https://espace.etsmtl.ca/id/eprint/3945

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt