Fusion multimodale et services Web

Zaguia, Atef (2010). Fusion multimodale et services Web. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (4MB) | Prévisualisation
Prévisualisation	PDF Télécharger (2MB) | Prévisualisation

Résumé

In our days, the technology allows us to produce extended and totally human-controlled multimodal systems. These systems are equipped with multimodal interfaces allowing a more natural and more efficient interaction between man and machine. End users could take advantage of natural modalities (e.g. eye gaze, speech, gesture, etc.) to communicate or exchange information with applications. The use of multimodal applications in Web services, integrated with natural modalities, is an effective solution for users who cannot use a keyboard or a mouse, on users who have visual handicap, on mobile users equipped with wireless telephone/mobile devices, on weakened users, etc. Our work presents an approach in which various input modalities (speech, touch screen, keyboard, eye gaze, etc.) are available at user's disposition in order to access Web servics. While current state-of-the-art uses two pre-defined modalities, our approach allows a maximum number of concurrent modalities using semantic level called "multimodal fusion". Such approach gives user the flexibility to use the modalities as he sees fit for his situation. The detailed description of the proposed approach as well as the application that has been developed that uses these multimodalities is presented in this work.

Résumé traduit

De nos jours, la technologie nous permet de produire des systèmes extensibles et entièrement contrôlés par l'humain. Ces systèmes sont équipés par des interfaces multimodales permettant une interaction plus naturelle et plus efficace entre la personne et la machine. Les utilisateurs peuvent profiter des modalités naturelles ( la parole, le geste, les yeux...etc.) pour communiquer ou échanger des informations avec les applications ou les systèmes. l'utilisation des applications multimodales avec les services web, integrée avec des modalités naturelles, est une solution efficace pour les utilisateurs, en particulier pour ceux qui ne peuvent pas utiliser un clavier ou une souris, les utilisateurs malvoyants, les utilisateurs qui sont équipés d'appareils mobiles, les utilisateurs qui sont infirmes...etc. Notre travail présente une approche dans laquelle les modaalités d'entrées variantes ( parole, écran tactil, clavier...etc.) sont mises à la disposition de l'utilisateur dans le but d'accéder aux services web. La technique utilisée dans l'état d'art présente une approche avec deux modalités prédéfinies. Notre approche permet l'utilisation d'un nombre infini de modalités (d'un point de vue conceptuel) en utilisant un niveau sémantique appelé "Multimodal Fusion". Une telle approche donne à l'utilisateur la possibilité d'utiliser les modalités qu'il juge appropriées à sa situation. La description détaillée de l'approche proposée, ainsi que l'application qui a été élaborée, sont présentées dans ce mémoire.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire présenté à l'École de technologie supérieure comme exigence partielle à l'obtention de la maîtrise en génie de la production automatisée". Bibliogr : f. [89]-92
Mots-clés libres:	Services Web. Interfaces utilisateurs multimodales (Systèmes informatiques) Interaction homme-machine (Informatique) Entree, Fusion, Modalite, Multimodal, Variante
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Tadj, Chakib
Codirecteur:	Codirecteur Ramdane-Cherif, Amar
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	28 mars 2011 14:52
Dernière modification:	06 déc. 2016 23:54
URI:	https://espace.etsmtl.ca/id/eprint/665

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt