Development of algorithms for smart hearing protection devices

Lezzoum, Narimene (2016). Development of algorithms for smart hearing protection devices. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (5MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

In industrial environments, wearing hearing protection devices is required to protect the wearers from high noise levels and prevent hearing loss. In addition to their protection against excessive noise, hearing protectors block other types of signals, even if they are useful and convenient. Therefore, if people want to communicate and exchange information, they must remove their hearing protectors, which is not convenient, or even dangerous.

To overcome the problems encountered with the traditional passive hearing protection devices, this thesis outlines the steps and the process followed for the development of signal processing algorithms for a hearing protector that allows protection against external noise and oral communication between wearers. This hearing protector is called the “smart hearing protection device”.

The smart hearing protection device is a traditional hearing protector in which a miniature digital signal processor is embedded in order to process the incoming signals, in addition to a miniature microphone to pickup external signals and a miniature internal loudspeaker to transmit the processed signals to the protected ear.

To enable oral communication without removing the smart hearing protectors, signal processing algorithms must be developed. Therefore, the objective of this thesis consists of developing a noise-robust voice activity detection algorithm and a noise reduction algorithm to improve the quality and intelligibility of the speech signal.

The methodology followed for the development of the algorithms is divided into three steps: first, the speech detection and noise reduction algorithms must be developed, second, these algorithms need to be evaluated and validated in software, and third, they must be implemented in the digital signal processor to validate their feasibility for the intended application.

During the development of the two algorithms, the following constraints must be taken into account: the hardware resources of the digital signal processor embedded in the hearing protector (memory, number of operations per second), and the real-time constraint since the algorithm processing time should not exceed a certain threshold not to generate a perceptible delay between the active and passive paths of the hearing protector or a delay between the lips movement and the speech perception.

From a scientific perspective, the thesis determines the thresholds that the digital signal processor should not exceed to not generate a perceptible delay between the active and passive paths of the hearing protector. These thresholds were obtained from a subjective study, where it was found that this delay depends on different parameters: (a) the degree of attenuation of the hearing protector, (b) the duration of the signal, (c) the level of the background noise, and (d) the type of the background noise. This study showed that when the fit of the hearing protector is shallow, 20 % of participants begin to perceive a delay after 8 ms for a bell sound (transient), 16 ms for a clean speech signal and 22 ms for a speech signal corrupted by babble noise. On the other hand, when having a deep hearing rotection fit, it was found that the delay between the two paths is 18 ms for the bell signal, 26 ms for the speech signal without noise and no delay when speech is corrupted by babble noise, showing that a better attenuation allows more time for digital signal processing.

Second, this work presents a new voice activity detection algorithm in which a low complexity speech characteristic has been extracted. This characteristic was calculated as the ratio between the signal’s energy in the frequency region that contains the first formant to characterize the speech signal, and the low or high frequencies to characterize the noise signals. The evaluation of this algorithm and its comparison to another benchmark algorithm has demonstrated its selectivity with a false positive rate averaged over three signal to noise ratios (SNR) (10, 5 and 0 dB) of 4.2 % and a true positive rate of 91.4 % compared to 29.9 % false positives and 79.0 % of true positives for the benchmark algorithm.

Third, this work shows that the extraction of the temporal envelope of a signal to generate a nonlinear and adaptive gain function enables the reduction of the background noise, the improvement of the quality of the speech signal and the generation of the least musical noise compared to three other benchmark algorithms.

The development of speech detection and noise reduction algorithms, their objective and subjective evaluations in different noise environments, and their implementations in digital signal processors enabled the validation of their efficiency and low complexity for the the smart hearing protection application.

Titre traduit

Développement d'algorithmes pour protecteurs auditifs intelligents

Résumé traduit

Dans les milieux industriels, le port de protecteurs auditifs est nécessaire pour protéger l’audition contre les bruits à niveaux élevés et prévenir la perte auditive. Évidemment, les protecteurs auditifs bloquent également d’autres types de signaux, même si ces derniers ne sont pas désagréables ou gênants pour la personne, mais plutôt utiles et commodes. De ce fait, si des personnes veulent communiquer entre elles et échanger des informations, elles doivent retirer les protecteurs, chose qui n’est pas très pratique, voire dangereux.

Afin de pallier aux problèmes rencontrés avec les protecteurs auditifs traditionnels passifs, le travail de cette thèse présente les étapes et le processus suivis pour le développement d’un nouveau type de protecteur auditif qui permet la protection contre les bruits extérieurs ainsi que la communication orale entre les usagers. Ce nouveau protecteur auditif est appelé le “protecteur auditif intelligent”.

Le protecteur auditif intelligent est un protecteur auditif traditionnel dans lequel un processeur numérique du signal miniature est embarqué afin de traiter les signaux, en plus d’un microphone externe miniature pour capter les signaux et un haut-parleur interne miniature pour transmettre les signaux traités à l’oreille protégée.

Afin de permettre aux porteurs de protecteurs auditifs intelligents de communiquer sans enlever leurs protecteurs, des algorithmes de traitement du signal doivent être développés. Par conséquent, l’objectif de cette thèse consiste à développer un algorithme de détection d’activité vocale robuste dans les environnements à faible rapport signal/bruit ainsi qu’un algorithme de réduction du bruit afin d’améliorer la qualité et l’intelligibilité de la parole.

La méthodologie suivie pour le développement du protecteur auditif intelligent est divisée en trois étapes: en premier lieu, les algorithmes de détection de la parole et de réduction du bruit doivent être développés, en second lieu, ces algorithmes doivent être évalués et validés dans le logiciel, et en troisième lieu , ils doivent être implémentés dans le processeur numérique du signal pour valider leur faisabilité pour l’application visée.

Lors du processus de développement des deux algorithmes, des contraintes devaient être prises en compte et respectées. Ces contraintes sont dues au fait que le processeur numérique du signal embarqué dans le protecteur auditif soit limité en termes de ressources matérielles (mémoires, nombre d’opérations par seconde), et que le temps de traitement des algorithmes ne doit pas dépasser un certain seuil pour ne pas générer un délai entre la voie active et la voie passive du protecteur ou bien un délai entre le mouvement des lèvres et de la perception de la parole.

D’un point de vue scientifique, la thèse permet premièrement de déterminer les seuils que le processeur numérique du signal ne doit pas dépasser afin de ne pas générer un délai perceptible entre la voie active et la voie passive du protecteur. Ces seuils ont été obtenus par une étude subjective, où il a été trouvé que ce délai dépend de différents paramètres: (a) du degré d’atténuation du protecteur auditif, (b) de la durée du signal, (c) du niveau de bruit, et (d) du type de bruit dans lequel le signal est noyé. Cette étude a montré que lorsque le protecteur auditif offre une forte atténuation, 20% des participants commencent à percevoir un délai après 8 ms pour un signal de cloche (transitoire), 16 ms pour un signal de parole sans bruit, 22 ms pour un signal de parole noyé dans un bruit de type “babillage”. Cependant, pour un protecteur auditif offrant une forte atténuation, il a été trouvé que le délai entre les deux voies est de 18 ms pour le signal de cloche, 26 ms pour le signal de parole sans bruit, et aucun délai lorsque la parole est noyée dans un bruit de type “babillage”, montrant qu’une meilleure atténuation permettrait un temps plus grand pour le traitement numérique des signaux.

Deuxièmement, ce travail présente un nouvel algorithme de détection d’activité vocale dans lequel une caractéristique à faible complexité déterminant la présence de la parole a été extraite. Cette caractéristique a été calculée comme étant le rapport entre l’énergie du signal dans la bande fréquentielle qui contient le premier formant afin de caractériser le signal de parole, et les basses ou hautes fréquences pour caractériser les signaux de bruit. L’évaluation de cet algorithme et sa comparaison à un autre algorithme de référence a montré sa capacité de sélectivité avec un taux de faux positifs moyenné sur trois rapports signal/bruit (10, 5, et 0 dB) de 4.2% et un taux de vrais positifs de 91.4% comparé à 29.9% de faux positifs et 79.0% de vrais positifs pour l’algorithme de référence.

Troisièmement, ce travail montre que l’extraction de l’enveloppe du signal afin de générer un gain non-linéaire et adaptatif permet de réduire le bruit, améliorer la qualité du signal de parole et génère le moins de son musical comparé à trois autres algorithmes de référence.

Le développement des algorithmes de détection de parole et réduction du bruit, leurs évaluations objectives et subjectives dans différents types de bruits, ainsi que leurs implémentations dans des processeurs numériques du signal ont permis de valider leur efficacité ainsi que leur faible complexité pour l’application de protection auditive intelligente.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliographie : pages 121-130.
Mots-clés libres:	Protecteurs auditifs Conception et construction. Traitement du signal Techniques numériques Mathématiques. Algorithmes Conception. Traitement automatique de la parole. Traitement du signal Techniques numériques Appareils et matériel. Équipement électronique miniaturisé. Bruit Lutte contre Appareils et matériel. protecteur auditif intelligent, détection d’activité vocale, réduction du bruit, amélioration de la qualité de la parole, processeur numérique du signal
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Voix, Jérémie
Codirecteur:	Codirecteur Gagnon, Ghyslain
Programme:	Doctorat en génie > Génie
Date de dépôt:	02 mars 2018 21:23
Dernière modification:	20 sept. 2018 20:49
URI:	https://espace.etsmtl.ca/id/eprint/1648

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt