Système de détection des chutes en ligne

Keskes, Oussema (2020). Système de détection des chutes en ligne. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (1MB) | Prévisualisation
Prévisualisation	PDF Télécharger (310kB) | Prévisualisation

Résumé

L’automutilation et le suicide dans les centres correctifs canadiens présentent un problème sérieux. Ce type d’incidents a augmenté durant ces dernières années, d’où la nécessité d’avoir de nouvelles techniques de prévention et de détection pour assurer l’intervention immédiate et réduire les impacts de suicides. Les méthodes les plus connues de suicide sont la surdose, la pendaison et la coupe du poignet. À travers cette recherche, on vise de trouver une technique appropriée de détection de chute qui suit une tentative de suicide par surdose.

Notre but est de développer une méthode qui détecte la chute en temps réel d’une manière efficace et fiable avec un taux minimal de fausses alarmes. La plupart des méthodes de détection proposées dans la littérature utilisent des techniques traditionnelles qui limitent la fiabilité et la généralité du système. En outre, ces méthodes ne fonctionnent pas en temps réel, elles n’acceptent que des vidéos bien segmentées et qui ne contiennent qu’une seule action.

Pour atteindre notre objectif, nous avons utilisé la Kinect v2 de Microsoft qui est une caméra RGB-D. Ce capteur propose différents flux de données : image RGB, infrarouge, nuage de points et les données squelettiques humaines. Nous avons choisi d’utiliser les données du squelette humain pour détecter la chute puisqu’elles sont indépendantes de l’environnement et des conditions d’éclairage.

Quatre bases de données publiques ont été utilisées pour évaluer notre système. Ces bases de données sont : TSTv2 et FallFree qui sont des bases de données conçues pour la détection de chutes ; NTU-RGB+D et PKU-MMD qui sont des bases de données orientées vers la détection et la reconnaissance d’actions.

La méthode utilisée dans la présente recherche se compose de deux modules : un détecteur d’action et un détecteur de chute. Le premier module est responsable de détecter le début et la fin de chaque action. Ce module est basé sur l’algorithme d’apprentissage profond 1D Convolution Neural Network (1D-CNN). Il découpe le flux continu des données squelettiques en sous-séquences de quinze images et classifie chaque sous-séquence indépendamment. Si l’algorithme détecte un mouvement dans la sous-séquence, cette dernière est classifiée comme positive. La succession de sous-séquences classifiées comme positives forme une action. Ce module a été entrainé avec la base de données PKU-MMD. Après l’extraction de l’action, le rôle du deuxième module est de la classifier en ’chute’ ou ’non chute’. Ce module est basé sur l’algorithme Spatial Temporal Graph Convolution Networks (ST-GCN). Il a l’avantage de tenir compte simultanément les informations spatiales et temporelles. Il exploite le fait que les squelettes forment des graphes au lieu de grilles en 2D ou 3D. Premièrement il a été entrainé avec la base NTU-RGB+D. Puis, la technique de transfert d’apprentissage a été appliquée en utilisant les deux bases de données TSTv2 et FallFree. Les performances obtenus dépassent celles des méthodes proposées dans la littérature sur les deux bases de données TSTv2 et FallFree.

Titre traduit

Real-time fall detection system

Résumé traduit

Self-injury and suicide in Canadian correctional facilities is a serious problem. This type of incident has increased in recent years and requires prevention and detection techniques to provide immediate intervention and reduce its impact. The most well known methods of suicide are overdose, hanging and cutting the wrist.This work focuses on the detection of the falls following an overdose suicide attempt.

Our goal is to develop a method that detects the fall in real time in an efficient and reliable manner with a minimal false alarm rate. Most of the detection methods proposed in the literature use traditional techniques that limit the reliability and generality of the system. Additionally, these methods don’t work in real time, they only accept well segmented videos that contain only one action.

To achieve our goal, we used the Kinect v2 from Microsoft which is an RGB-D camera. This sensor offers different data streams : RGB image, infrared, point cloud and human skeletal data. We chose to use the human skeleton to detect the fall since it is independent of the environment and lighting conditions.

Four public databases were used to train our system : the TSTv2 and FallFree which are fall detection oriented databases ; plus the NTU-RGB+D and PKU-MMD which are action detection and recognition oriented databases.

Our method is composed of two modules : an action detector and a fall detector. The first module is responsible for detecting the beginning and the end of each action. This module is based on the deep learning algorithm 1D-CNN. It cuts the continuous flow of skeletal data into subsequences of 15 images and classifies each subsequence independently. If the algorithm detects motion in the subsequence, the subsequence is classified as positive. The succession of positively classified subsequences forms an action. This module was trained with the PKU-MMD database. After extraction of the action, the role of the second module is to classify it as ’falling’ or ’not falling’. This module is based on a ST-GCN. It has the advantage of simultaneously capturing spatial and temporal information. It exploits the fact that the skeletons are in the form of graphs instead of 2D or 3D grids. First it was trained with the NTU-RGB+D base. Then, the transfer learning technique was applied using both TSTv2 and FallFree databases. The performance obtained exceeds that of the methods proposed in the literature on both TSTv2 and FallFree datasets.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire par articles présentés à l’École de technologie supérieure comme exigence partielle à l’obtention de la maitrise avec mémoire en génie des technologies de l’information". Comprend des références bibliographiques (pages 69-75).
Mots-clés libres:	détection de chutes, temps réel, ST-GCN, 1D-CNN, transfert d’apprentissage, apprentissage profond, TSTv2, FallFree, NTU-RGB+D, PKU-MMD, Kinect v2
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Noumeir, Rita
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	21 sept. 2021 16:17
Dernière modification:	24 sept. 2021 18:27
URI:	https://espace.etsmtl.ca/id/eprint/2695

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt