Techniques d'interaction multimodales pour l'accès aux mathématiques par des personnes non-voyantes

Awdé, Ali (2009). Techniques d'interaction multimodales pour l'accès aux mathématiques par des personnes non-voyantes. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (5MB) | Prévisualisation

Résumé

Cette thèse s‟inscrit dans le domaine de l‟interaction Homme-Machine et plus précisément dans celui des interfaces multimodales destinées aux non-voyants. Elle a pour thème principal la présentation des expressions mathématiques aux non-voyants. Pour les étudiants non-voyants, apprendre les mathématiques est une tâche ardue et peut constituer une barrière, les séparant des disciplines techniques. Les travaux de recherche présentés ici décrivent les problèmes rencontrés dans la conception d‟un système permettant l‟accès aux mathématiques pour les utilisateurs déficients visuels. En effet, nous présentons une analyse des outils existants puis nous proposons des solutions pour combler leurs insuffisances. Nous exposons les techniques utilisées au sein de notre système pour répondre aux problèmes de la présentation des expressions mathématiques aux non-voyants. Nous exploitons la multimodalité comme technique d‟interaction pour développer des applications destinées à ce type d‟utilisateurs parce qu‟elle offre plusieurs opportunités grâce à sa richesse des interactions. Nous dotons également notre système d‟un comportement intelligent pour assurer une certaine autonomie à l‟utilisateur. En effet, le système est capable de présenter l‟information en fonction du contexte de l‟interaction (c-à-d. l‟utilisateur, son environnement et sa machine) et de la nature de l‟information. Le système est « pervasif » et adaptatif. L‟accès à l‟information est assuré n‟importe où n‟importe quand et il s‟adapte dynamiquement aux changements du contexte tout en fournissant continuellement des services à l‟utilisateur non-voyant, sans intervention humaine. Pour rendre le système adaptatif, nous avons élaboré un modèle qui détermine la complexité de l‟expression mathématique et nous avons intégré une technique d‟apprentissage automatique pour implémenter les mécanismes de décisions. Enfin, l‟architecture proposée est du type multi-agent. Ces techniques ont été validées par des études de cas et en utilisant les réseaux de Pétri et l‟outil de simulations JADE.

Titre traduit

Multimodal interaction techniques for mathematics access by visually impaired users

Résumé traduit

This thesis deals with Human-Computer Interaction and especially with the multimodal interfaces designed for visually-impaired users. The main topic concerns the presentation of mathematical expressions to visually-impaired users. Mathematics is a fundamental foundation of science. Learning and accessing to mathematics for visually-impaired people is a significant challenge and can form an obstacle separating them from sciences studies. The present works describe the problems and the challenges that underlie the design of a system allowing the access to mathematics for visually-impaired users. Indeed, we present an analysis of the previous works then we propose solutions to fill their weaknesses. A multimodal system allows user to interact with more than one mode of interaction. Incorporating multimodality into a computing system makes it more accessible to a wider range of users, including those with disabilities. Furthermore, our system has an intelligent behavior that helps to rend autonomy to the user, that is, without further assistance from a second person. Indeed, the system is able to present information based on the interaction context (i.e. the user, his environment and his computing system) as well as the nature of the information itself. Our system is pervasive. The user can continue working on a computing task anytime and anywhere using forms of modality that suit his context. It is adaptive to user‟s condition and environment. Hence, it adapts automatically its configuration based on the changes of the context, without any human intervention. To make an adaptive system, we elaborated a model for determining complexity of the mathematical expression and we integrated a machine learning to implement the mechanisms of decisions. Finally, the proposed architecture is a multi-agent one. These techniques were validated through case studies and formal specification using Petri nets and a simulation tool set: JADE.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thèse par articles présentée à l'École de technologie supérieure comme exigence partielle à l'obtention du doctorat en génie". Bibliogr : f. [244]-258.
Mots-clés libres:	Interaction homme-machine (Informatique) Interfaces utilisateurs multimodales (Systèmes informatiques) Interfaces non-visuelles. Interfaces pour non-voyants. Mathématiques Étude et enseignement. Handicapés visuels. Mathématiques, non-voyants
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Tadj, Chakib
Codirecteur:	Codirecteur Bellik, Yacine
Programme:	Doctorat en génie > Génie
Date de dépôt:	17 août 2010 16:17
Dernière modification:	23 sept. 2014 20:10
URI:	https://espace.etsmtl.ca/id/eprint/22

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt