Fission multimodale pour les systèmes d'interaction

Zaguia, Atef (2014). Fission multimodale pour les systèmes d'interaction. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (11MB) | Prévisualisation
Prévisualisation	PDF Télécharger (4MB) | Prévisualisation

Résumé

Les systèmes informatiques sont nés de besoins scientifiques. Leur succès est dû à leur utilisation grand public. Ceci a motivé les chercheurs à développer des systèmes qui permettent de satisfaire les besoins de l’utilisateur et de viser la démocratisation de leur utilisation à grande échelle. L’avancement technologique actuel a créé la nécessité de produire des machines de plus en plus performantes, faciles à utiliser et permettant de répondre aux besoins des utilisateurs. Pour atteindre ces objectifs, ces machines doivent être en mesure d’interférer d’une façon harmonieuse avec l’utilisateur. Cela n’est possible que si ces systèmes sont capables de comprendre la communication humaine. Cette dernière se fait à travers plusieurs modalités naturelles telles que la parole, les gestes, le regard et les expressions faciales. En s’inspirant de la communication humaine, les systèmes multimodaux ont était développés pour combiner plusieurs modalités en fonction de la tâche, des préférences et des intentions communicationnelles.

Cette thèse s’inscrit dans ce cadre. Elle a pour thème principal la fission multimodale pour les systèmes d’interactions. L’objectif principal de nos travaux de recherche est triple. En premier lieu, nous proposons une architecture qui est très utile dans un système multimodal. Cette architecture est modélisée, spécifiée formellement et raffinée par l’emploi de réseaux de Pétri colorés. Elle réalise un module de fission multimodale. En second lieu, nous avons créé une ontologie du domaine qui décrit l’environnement du système multimodal. Ce modèle contient également les différents scénarios applicables pour la réalisation de la fission. Ces scénarios sont stockés sous forme de patterns. Notre algorithme de fission repose sur l’utilisation de la technique de pattern. Nous avons défini deux patterns 1) pattern de fission : sélectionne les sous-tâches élémentaires d’une commande complexe et 2) pattern de modalité : associe à chaque sous-tâche le ou les modalités adéquates. En troisième lieu, nous avons proposé une nouvelle méthode/technique basée sur le contexte en utilisant les réseaux bayésiens pour résoudre les problèmes d’ambiguïté ou d’incertitude dans un système de fission multimodal.

Ces techniques ont été validées par des études de cas et en utilisant les réseaux de Pétri colorés et l’outil de simulation CPN-Tools. Ainsi, deux applications ont été implémentées : 1) une interface pour le contrôle d’un robot. Elle peut être utilisée pour assister des handicapés ou des personnes âgées. Cette interface est implémentée pour valider l’utilisation de la technique de pattern dans le processus de fission et 2) une interface GPS pour indiquer le trajet à un conducteur de voiture. Cette interface est implémentée pour valider notre nouvelle méthode basée sur le contexte en utilisant un réseau bayésien dans le cas d’ambiguïtés ou d’incertitudes.

Titre traduit

Multimodal fission for interaction systems

Résumé traduit

Computing systems are the outcome of scientific needs. Their popularity is due to their use by a great number of people. This fact led researchers to develop systems according to the user’s need and spread their use on a high scale. The current technological advancement has created the need to produce more powerful machines, easy to use and to meet the needs of users. To achieve these objectives, these machines should interfere in a harmonious way with the user. This could be made possible only if the systems are able to understand human communication. Human communications is conducted via many naturel modalities such as speech, gesture, eyes gaze and facial expressions. Inspired by human communications, multimodal systems were developed to combine many modalities according to the task, preferences and communication intentions.

In this context, this thesis deals with the theme of multimodal fission for interaction systems. Our research is based mainly on 3 objectives. 1) We proposed a useful architecture for a multimodal system. This architecture is modeled, formally specified and refined by the use of colored Petri nets. It performs a multimodal fission module. 2) We modeled an ontological model i) that describes the environment of the multimodal system and ii) contains various applicable scenarios. These scenarios are stored as a pattern. Therefore, our fission algorithm is based on using the technique of pattern. We defined two patterns a) fission pattern to select the elementary subtasks for a complex command, and b) modality pattern: to associate each subtask to the appropriate modality (ies). Finally, 3) we proposed a new method / technique based on context using the Bayesian network to solve the problem of ambiguity or uncertainty in a system of multimodal fission.

These techniques have been validated through case studies and using colored Petri nets and a simulation tool CPN-Tools. Thus, two real applications have been implemented 1) interface for the control of a robot that can be used to assist disabled or elderly users. This interface is implemented to validate the use of pattern technique in the fission process. 2) A GPS interface that indicates the itinerary for a car driver. This interface is implemented to validate our new method based on the context using the Bayesian network in the case of ambiguity or uncertainty.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thèse par articles présentée à l'École de technolologie supérieure comme exigence partielle à l'obtention du doctorat en génie". Bibliographie : pages 197-206.
Mots-clés libres:	Interfaces utilisateurs multimodales (Systèmes informatiques) Interaction homme-ordinateur. Théorie de la décision bayésienne Informatique. fission, interaction homme-machine, fission multimodale, contexte d’interaction, réseau bayésien
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Tadj, Chakib
Codirecteur:	Codirecteur Ramdane-Cherif, Amar
Programme:	Doctorat en génie > Génie
Date de dépôt:	02 avr. 2014 19:44
Dernière modification:	29 avr. 2014 20:39
URI:	https://espace.etsmtl.ca/id/eprint/1296

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt