Reconnaissance des changements comportementaux des utilisateurs de réalité virtuelle à l'aide de capteurs de mouvements et de capteurs physiologiques

Robitaille, Patrice (2018). Reconnaissance des changements comportementaux des utilisateurs de réalité virtuelle à l'aide de capteurs de mouvements et de capteurs physiologiques. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (11MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

Les applications de réalité virtuelle offrent une grande variété d'expériences, suscitant une gamme de réponses émotionnelles. Certains changements dans les émotions de l'utilisateur pourraient être détectables en analysant simplement les mouvements de la tête et des mains, en utilisant les informations déjà disponibles avec les systèmes de réalité virtuelle standards. Une telle détection pourrait éventuellement permettre d'adapter et de personnaliser les experiences des utilisateurs. Cependant, il y a peu de travaux traitant de la détection d’états émotionnels en utilisant un système de réalité virtuelle ni de travaux détaillant la quantité d’information qu’il est possible d’extraire à partir des mouvements de la tête et des mains comparativement à d’autres systèmes de détection. Ce projet combine une plateforme de réalité virtuelle immersive avec des capteurs physiologiques mesurant l’activité cardiaque et l’activité électrodermale et étudie la possibilité d’utiliser les données de mouvements (tête, mains, bassin, pieds) avec et sans les données physiologiques, afin de classer différents comportements avec des algorithmes d’apprentissage machine. Deux expériences ont été réalisées dans ce projet. Dans la première, les participants ont réalisé 4 séances de réalité virtuelle associées à quatre conditions : (1) une condition de base avec une tâche d’observation où il est demandé de compter des éléments dans un environnement virtuel calme, (2) un jeu impliquant une activité motrice afin de déplacer des objets dans un environnement virtuel calme, (3) le même jeu, mais avec une limite de temps et différents stresseurs pour induire un comportement rapide et stressé, (4) le même jeu, mais après que les participants se soient familiarisés avec la tâche, toujours avec une limite de temps, mais sans stresseurs, pour induire un comportement rapide, mais confortable. Dans la deuxième expérience, les utilisateurs ont réalisé 4 autres séances de réalité virtuelle nécessitant de frapper des cibles mobiles. Une des quatre séances (dans un ordre balancé) correspond à une condition stressante (S), alors que les autres séances correspondent à une situation calme (C). Pour chaque expérience, dix algorithmes d’apprentissage machines ont été entrainés sur les données collectées et ont classes les différents comportements. Les résultats démontrent que seulement quelques secondes de données capturées sont suffisantes pour distinguer les conditions, avec plus de 74% de précision en utilisant l’ensemble des données des capteurs, et plus de 60% de précision en utilisant seulement les données provenant du mouvement du corps. Ce projet de recherché mesure ainsi l’importance des différentes caractéristiques de mouvements d’un utilisateur et quantifie la performance d’algorithmes d’apprentissage machine afin de reconnaître certains comportements lors d’une expérience de réalité virtuelle.

Titre traduit

Recognition of behavioral changes of virtual reality users using motion sensors and physiological sensors

Résumé traduit

Virtual reality (VR) applications offer a wide variety of experiences, eliciting a range of emotional responses. Certain changes in the user's emotions (affect) might be detectable by merely analyzing the movements of head and hands, using information already available from standard VR hardware. Such detection could eventually enable adapting and customizing user experiences. However, there is very little previous work on affect detection in immersive VR (i.e., using a head-mounted display), and it is unclear how much information can be gleaned from the motion of head and hands versus additional sensing modalities. We instrumented a state-of-the-art immersive VR platform with heart-rate and electrodermal activity sensors and investigated the feasibility of using movement data (of head, hands, pelvis, feet), with and without heart-rate and electrodermal activity sensor data, to classify different behaviors. We conducted two experiments. In the first one, users underwent four conditions in VR: (1) a baseline condition with a simple counting task in a calm environment, (2) a game involving a block-placement motor task in a calm environment, (3) the same game, but now with time limits and stressors designed to induce fast-and-stressed behavior, and (4) the same game but after users were familiar with the task, with time limits but without stressors, designed to induce fast-but-comfortable behavior. In the second experiment, users were asked to complete four blocks of tasks requiring them to hit moving targets. One of the four blocks (in counterbalanced order) corresponded to a stressful condition (S), while the others corresponded to a calm condition (C). For each experiment, ten machine learning algorithms were trained on the data. Our results show that just a few seconds of captured data are sufficient to distinguish all four conditions, with over 75% accuracy using all sensor data, and over 60% accuracy using only movement data. Our work quantifies the difference in accuracy that can be expected for different sensing modalities (head and hand movement versus full body movement versus additional physiological sensors). Our results provide guidance for future designers on the choice of classification algorithm and feature set.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise avec mémoire en génie des technologies de l'information". Comprend des références bibliographiques (pages 153-163).
Mots-clés libres:	analyse des mouvements du corps, apprentissage machine, caractéristiques de mouvements, comportement utilisateur, environnement immersif, réalité virtuelle
Directeur de mémoire/thèse:	Directeur de mémoire/thèse McGuffin, Michael John
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	09 avr. 2019 18:14
Dernière modification:	09 avr. 2019 18:14
URI:	https://espace.etsmtl.ca/id/eprint/2274

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt