Main de Boissière, Alban (2020). Détection de comportements et d’événements potentiellement mortels dans les prisons à partir d’analyse de vidéos par intelligence artificielle. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.
Prévisualisation |
PDF
Télécharger (5MB) | Prévisualisation |
Prévisualisation |
PDF
Télécharger (576kB) | Prévisualisation |
Résumé
Le suicide est un phénomène complexe. Selon l’Organisation Mondiale de la Santé (WHO), une personne se donne la mort toutes les 40 secondes, soit 800 000 personnes par an. L’acte est d’autant plus fréquent dans les prisons. Les méthodes d’automutilation les plus fréquentes sont la pendaison, majoritaire, et le sectionnement.
Si détectées suffisamment tôt, les tentatives de suicide peuvent mener à une hospitalisation rapide et à une survie probable. La télévision en circuit fermé est une solution, mais, lorsqu’un agent a plusieurs caméras à surveiller, il perd 95% de sa capacité d’attention en une vingtaine de minutes. La vidéosurveillance humaine soulève également des questionnements d’éthique. Ce mémoire s’inscrit dans une volonté d’automatiser la surveillance en détectant les comportements dangereux. Aucune reconnaissance faciale ou d’identité n’est effectuée, aucun enregistrement.
Nous proposons une méthode de reconnaissance d’activités humaines par intelligence artificielle. Les caméras rouge-vert-bleu + profondeur (RGB+D), comme la Kinect de Microsoft, sont des outils intéressants pour la reconnaissance d’activités. Celles-ci proposent différents flux de données : vidéo rouge-vert-bleu (RGB), infrarouge, nuage de points et représentation dans une espace à trois dimensions (3D) des articulations du squelette humain. Les images RGB ne sont pas adaptées à un contexte de sécurité, car elles ne fournissent aucune information dans le noir. Le squelette est une représentation intéressante de par sa faible dimensionnalité et son insensibilité au décor environnant, mais s’avère peu discriminant pour des actions fines impliquant des objets. Or, les tentatives de suicide impliquent l’utilisation d’objets. Nos travaux montrent que l’infrarouge est une alternative puissante qui fonctionne dans le noir.
Une architecture profonde est proposée, combinant infrarouge et articulations 3D. Deux modules indépendants extraient des caractéristiques propres à chaque flux. Un troisième et dernier module étudie les caractéristiques conjointement et propose une classification finale. L’architecture développée obtient des résultats dignes de l’état de l’art sur la plus grande base de données RGB+D publique, NTU RGB+D, de reconnaissance d’activités humaines à ce jour.
Ces résultats sont ensuite transférés d’un contexte offline à un réseau de reconnaissance anticipée online. Le nouveau réseau peut être utilisé pour de la détection d’activités online, qui réplique un scénario temps réel, en ajoutant un module de proposition de segments temporels. À nouveau, nous obtenons des résultats dignes de l’état de l’art sur NTU RGB+D et PKU-MMD, deux bases de données de référence.
Titre traduit
Detection of behaviors and potentially deadly events in prison using video analysis and artificial intelligence
Résumé traduit
Suicide is a complex phenomenon. According to the World Health Organization (WHO), a person kills itself every 40 seconds, for a total of 800,000 deaths per year. This is even more frequent in prison. The most common self-harm methods are hanging then wrist-cutting.
If detected soon enough, suicide attempts can lead to an early hospitalization and a likely survival. Closed-circuit television is a potential solution, but, a security agent loses 95% of its attention in a twenty-minute span when working with multiple cameras. Human surveillance also raises ethical preoccupations. This works aims to automate surveillance by detecting dangerous behaviors. No facial or identity recognition is performed. Data are not recorded.
We propose a human action recognition framework. Red-green-blue + depth (RGB+D) cameras, such as the Microsoft Kinect, are powerful new tools for action recognition. They propose different streams : RGB video, infrared, three-dimensional (3D) point clouds, and estimated human skeleton. RGB images are not suited to security applications as they do not yield any information in the dark. Skeleton data are an interesting representation because of their low dimensionality and their insensibility to background information, but prove insufficient when detecting object-related actions or actions with similar motions. Suicides fall into this category. We find infrared videos to be a strong alternative while working in the dark.
A deep learning architecture is proposed, combining infrared video with 3D pose data. Two independent modules extract features from each stream. A third and final module fuses those features and studies them conjointly before emitting a final prediction. We achieve state-of-the-art results on the largest RGB+D action recognition dataset to date : NTU RGB+D.
Those results are then transferred from an offline context to an online early prediction network. The new network can then be used for online action detection, which mimics real-time scenarios, with an additional temporal segment proposal module. Again, we achieve state-of-the-art results on two benchmark datasets : NTU RGB+D and PKU-MMD.
Type de document: | Mémoire ou thèse (Mémoire de maîtrise électronique) |
---|---|
Renseignements supplémentaires: | "Mémoire par articles présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise avec mémoire en génie électrique". Comprend des références bibliographiques (pages 109-121). |
Mots-clés libres: | apprentissage profond, détection d’activités, infrarouge, reconnaissance anticipée, reconnaissance d’activités, squelette, vision par ordinateur |
Directeur de mémoire/thèse: | Directeur de mémoire/thèse Noumeir, Rita |
Programme: | Maîtrise en ingénierie > Génie électrique |
Date de dépôt: | 03 sept. 2020 14:07 |
Dernière modification: | 03 sept. 2020 14:07 |
URI: | https://espace.etsmtl.ca/id/eprint/2532 |
Gestion Actions (Identification requise)
Dernière vérification avant le dépôt |