Direct estimation of the knee flexion angle from a monocular image during walking

Fakhfakh, Anis (2025). Direct estimation of the knee flexion angle from a monocular image during walking. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (15MB) | Prévisualisation

Résumé

The recent use of deep learning techniques in biomechanical applications has opened new avenues for non-invasive image-based motion capture and assessment. With the growing importance of deep learning-based computer vision models, the healthcare innovation company Emovi aims to replace KneeKG-based MoCap Marker-based methods with markerless-based strategies to estimate and assess certain anatomical landmarks of the lower limbs.

This thesis proposes a novel deep regression model built with a ResNet backbone enhanced with feature map constraints to directly estimate lower limb anatomical landmarks, specifically knee flexion angles; by enforcing spatial consistency through internal feature map supervision; from monocular RGB images of defined functional movement sequences.
A dataset was collected in a controlled laboratory environment using the KneeKG system, which provides clinically validated kinematic reference data. Unlike prior methods that rely on multi-view setups or complex marker-based systems, this work introduces an approach to infer knee joint angles from a RGB image.

This works also introduces image inpainting strategies to help with a more focused model training. Quantitative evaluations demonstrate a test mean absolute error of 2.4◦ in flexion angle estimation, indicating a potential use for clinical applications where cost-effective and accessible motion analysis tools are needed.

Titre traduit

Estimation directe de l’angle de flexion du genou pendant la marche à partir d’une image RGB

Résumé traduit

L’utilisation récente de techniques d’apprentissage profond dans les applications biomécaniques a ouvert de nouvelles opportunités pour la capture de mouvement et l’évaluation fonctionnelle à partir d’images, de manière non-invasive. Avec l’augmentation de l’importance des modèles de vision par ordinateur basés sur l’apprentissage profond, l’entreprise Emovi vise à remplacer les méthodes de capture de mouvement basées sur le système KneeKG (capture de mouvement avec marqueurs) par des stratégies sans marqueurs permettant d’estimer et d’évaluer certains paramètres anatomiques des membres inférieurs.

Ce mémoire propose un nouveau modèle de régression directe, construit autour d’une architecture de base ResNet et enrichi par des contraintes sur les cartes de caractéristiques intermédiaires, afin d’estimer directement les angles de flexion du genou à partir des séquences de mouvements fonctionnels sous forme d’images RGB monoculaires. Cette supervision intermédiaire sur les cartes de caractéristiques vise à renforcer la cohérence spatiale des représentations internes du réseau.

Une base de données a été acquise dans un environnement de laboratoire contrôlé en utilisant le système KneeKG, qui fournit des données cinématiques de référence validées cliniquement. Contrairement aux approches antérieures basées sur des configurations multi-vues ou des systèmes complexes avec marqueurs, ce travail introduit une méthode capable d’estimer les angles articulaires du genou à partir d’une seule image monoculaire.

Ce travail introduit également des stratégies d’inpainting d’image afin d’encourager un apprentissage du modèle plus orientévers la tâche d’estimation. Les évaluations quantitatives démontrent une erreur absolue moyenne de 2.4◦ sur les données de test pour l’estimation de l’angle de flexion. Ces résultats indiquent un potentiel d’application en contexte clinique où des outils d’analyse du mouvement accessibles et à faible coût sont favorisés.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in information technology". Comprend des références bibliographiques (pages 141-152).
Mots-clés libres:	vision par ordinateur, apprentissage profond, MoCap, flexion, KneeKG, cartes de caractéristiques, inpainting d’image
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Vázquez, Carlos
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	23 sept. 2025 18:19
Dernière modification:	23 sept. 2025 18:19
URI:	https://espace.etsmtl.ca/id/eprint/3698

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt