Détection de la déglutition avec un microphone intra-auriculaire

Ben Cheikh, Elyes (2026). Détection de la déglutition avec un microphone intra-auriculaire. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (5MB) | Prévisualisation

Résumé

La déglutition figure parmi les fonctions motrices les plus fréquemment sollicitées de l’organisme et constitue un marqueur clinique majeur de la santé neurologique et comportementale. Tant sa fréquence que sa dynamique temporelle sont altérées par la dysphagie, les maladies neurodégénératives et le vieillissement, et se trouvent également modulées par l’état émotionnel, la charge cognitive et la prise alimentaire.

Les outils cliniques de référence fournissent des observations brèves de la déglutition en environnement contrôlé et ne permettent pas une surveillance continue dans la vie quotidienne. Les capteurs portés au cou, bien que prometteurs, restent limités par leur faible acceptabilité sociale pour un usage prolongé.

Les hearables, dispositifs portables conçus pour l’oreille, constituent une plateforme socialement acceptable pour la surveillance physiologique non intrusive. En particulier, les microphones intra-auriculaires, placés dans le conduit auditif occlus, exploitent l’effet d’occlusion pour amplifier les sons transmis par voie osseuse et tissulaire, dont les sons de déglutition. Cependant, le signal capté est un mélange bioacoustique hétérogène (respiration, bruits cardiovasculaires, parole, mastication, mouvements physiques) au sein duquel la déglutition constitue une classe d’événement minoritaire, brève (durée moyenne ∼860 ms) et fortement variable entre sujets. À ce défi s’ajoute l’absence de bases de données publiques d’audio intra-auriculaire synchronisé avec des annotations de déglutition validées par des mesures de référence.

Ce mémoire propose un cadre complet de détection de la déglutition à partir de signaux audio intra-auriculaires bilatéraux, structuré autour de deux contributions complémentaires. La première est la conception et la validation d’une base de données multimodale collectée auprès de 34 adultes sains (14 femmes, 20 hommes, âgés de 20 à 29 ans), comprenant des enregistrements synchronisés de signaux audio intra- et extra-auriculaires ainsi que des enregistrements multimodaux provenant d’une ceinture thoracique (électrocardiogramme, signaux respiratoires et accélérométrie), et d’imagerie échographique linguale servant de référence pour l’annotation. Le protocole couvre des tâches verbales et non verbales sous trois conditions acoustiques (silencieuse, bruit de foule, bruit d’usine) et plusieurs types de bolus (sec, eau, yaourt). En tant que preuve de concept, la première contribution présente un réseau entièrement connecté entraîné sur des représentations vectorielles de Yet Another Mobile Network (YAMNet) complétées par le taux de passages par zéro, atteint un score F1 de 0,875 ± 0,013 pour la classification binaire de la déglutition. La seconde contribution est un système de détection d’événements basé sur une architecture de réseau de neurones convolutif récurrent (CRNN) bilatérale opérant sur des spectrogrammes de normalisation d’énergie par canal (PCEN), avec fusion adaptative par confiance des deux oreilles et post-traitement par hystérésis.

Évalué sur les 34 participants par validation croisée à cinq plis disjoints au niveau sujet, le système atteint un score F1 de classification au niveau fenêtre de 0,892 ± 0,006 et un score F1 de détection au niveau événement de 0,835 ± 0,012, avec une précision de 0,779 ± 0,014 et un rappel de 0,900 ± 0,020, le rappel dépassant systématiquement 0,870 dans toutes les conditions de bruit. Ces résultats démontrent la faisabilité d’une détection robuste de la déglutition à partir d’audio intra-auriculaire en conditions acoustiques réalistes et ouvrent la voie à un suivi longitudinal de la dysphagie et de la sialorrhée à l’aide d’appareils auditifs.

Titre traduit

Swallowing detection with an in-ear microphone

Résumé traduit

Swallowing is one of the most frequently performed motor functions in the body and constitutes a major clinical marker of neurological and behavioural health. Both its frequency and temporal dynamics are altered by dysphagia, neurodegenerative diseases and ageing, and are also modulated by emotional state, cognitive load and food intake. Reference clinical tools provide brief observations of swallowing in controlled environments and do not allow continuous monitoring in daily life. Neck-worn sensors, although promising, remain limited due to limited social acceptability for prolonged use.

Hearables, wearable devices designed for the ear, constitute a socially acceptable platform for non-invasive physiological monitoring. In particular, in-ear microphones, placed in the occluded ear canal, exploit the occlusion effect to amplify sounds transmitted via bone and tissue conduction, including swallowing sounds. However, the captured signal is a heterogeneous bioacoustic mixture (breathing, cardiovascular sounds, speech, chewing, physical movements) within which swallowing constitutes a minority event class, brief (average duration ∼860 ms) and highly variable between subjects. Added to this challenge is the absence of public databases of in-ear audio synchronised with swallowing annotations validated by reference measurements.

This thesis proposes a complete framework for swallowing detection from bilateral in-ear audio signals, structured around two complementary contributions. The first is the design and validation of a multimodal database collected from 34 healthy adults (14 women, 20 men, aged 20 to 29 years), comprising synchronised recordings of in-ear and outer-ear audio signals as well as multimodal recordings from a thoracic belt (electrocardiogram, respiratory signals and accelerometry), and tongue ultrasound imaging serving as annotation reference. The protocol covers verbal and non-verbal tasks under three acoustic conditions (silent, babble noise, factory noise) and several bolus types (dry, water, yoghurt). As a proof of concept, the first contribution presents a fully connected network trained on Yet Another Mobile Network (YAMNet) vector representations supplemented by the zero-crossing rate, which achieves an F1 score of 0.875 ± 0.013 for binary swallowing classification.

The second contribution is an event detection system based on a bilateral Convolutional Recurrent Neural Network (CRNN) architecture operating on Per Channel Energy Normalization (PCEN) spectrograms, with confidence-based adaptive fusion of both ears and hysteresis post-processing. Evaluated on the 34 participants by five-fold subject disjoint cross-validation, the system achieves a window-level classification F1 score of 0.892 ± 0.006 and an event-level detection F1 score of 0.835 ± 0.012, with a precision of 0.779 ± 0.014 and a recall of 0.900 ± 0.020, recall consistently exceeding 0.870 across all noise conditions. These results demonstrate the feasibility of robust swallowing detection from in-ear audio in realistic acoustic conditions and pave the way for longitudinal monitoring of dysphagia and sialorrhoea using hearables.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire par articles présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise avec mémoire en génie des technologies de la santé". Comprend des références bibliographiques (pages 83-93).
Mots-clés libres:	bioacoustique, déglutition, microphones intra-auriculaires, CRNN, effet d’occlusion, PCEN, fusion bilatérale
Directeur de mémoire/thèse:	Directeur(-trice) Bouserhal, Rachel
Codirecteur:	Codirecteur(-trice) de mémoire/thèse Laporte, Catherine
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	14 juill. 2026 13:50
Dernière modification:	14 juill. 2026 13:50
URI:	https://espace.etsmtl.ca/id/eprint/3960

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt