A D3M methodology for the integration of students' survey results with teachers' perspectives, based on objective, subjective and semantic measures

Alejandro Molina, Otilia Maria (2016). A D3M methodology for the integration of students' survey results with teachers' perspectives, based on objective, subjective and semantic measures. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (3MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

In the academic world is very common to evaluate teacher`s performance in class with the use of questionnaires fill up by students. In general, the analysts use statistical descriptive analysis to obtain information from surveys that evaluate teachers’ performance in class. Most analyses consider students’ opinion as the basis to generate recommendations to teachers for improving their classes. In this thesis, we considered necessary to add to the analysis of the students’ opinion, the judgments and expertise of the evaluated teacher and other colleagues’ experiences shared at the same university.

To accomplish this, we propose to obtain common patterns in the form of association rules. These common patterns represent the teacher`s model. With these patterns we constructed a graphical representation that includes patterns considered good by the students and good by the teachers. The graphical representation was constructed using rules evaluated with objective and subjective measurements and a data mining methodology.

Hence, to evaluate other rules that were not initially taken into account inside the representation, we constructed a semantic measure that considers students’, teachers', and colleagues’ opinions along with a variable that measures the effort to improve specific attributes in the rule. This utility semantic measure provided a value that recommended the application of a specific pattern. This measure helped identify the best attributes teacher should keep working on and which were the weakest ones where he needed to boost.

Finally, to discover new topics that are not considered in the students’ survey we apply topic modeling to identify the different relevant topics that teachers talked about during the interviews. The results obtained from this work revealed that feelings and communication were components that strongly affected learning and critical thinking of students. Therefore, they should be considered as key elements in the design and construction of the course and as part of the improved survey questions.

We concluded that the addition of subjective analysis and utility semantic measure improved the efficacy of the tools used to enhance teacher’s performance.

Titre traduit

Une méthodologie D3M pour intégrer le résultat des sondages des étudiants avec la perspective de l'enseignant sur la base de mesures objectives, subjectives et sémantiques

Résumé traduit

Dans les milieux universitaires, il est commun d’évaluer la performance des enseignants en classe grâce à des questionnaires remplis par les étudiants. En général, les analystes utilisent des techniques de statistique descriptive pour énoncer des conclusions et générer des recommandations sur la base de la seule opinion des étudiants. Dans cette thèse, nous développons une méthodologie permettant d’incorporer à l’analyse les jugements et l’expertise des enseignants et des collègues qui partagent le même vécu académique.

Pour ce faire, nous construisons des modèles prenant la forme d’un ensemble de règles d'association exprimant les patrons communs. Ces ensembles de patrons représentent ainsi le modèle personnalisé et complet de chaque enseignant. La représentation graphique que nous proposons intègre les modèles considérés comme judicieux à la fois par les étudiants et par les enseignants. Cette représentation est construite en utilisant les règles évaluées grâce à un ensemble de mesures objectives et subjectives et une méthodologie fondée sur l'exploration des données.

De manière complémentaire, nous avons construit une mesure sémantique permettant d’évaluer les règles qui ne sont pas prises en compte au départ dans la représentation. Cette mesure d’utilité évalue l’effort nécessaire pour améliorer des attributs spécifiques de chaque nouvelle règle en combinant l’avis des étudiants, des enseignants et des collègues. La valeur obtenue permet ainsi de recommander l’application d’une règle d’association spécifique pour améliorer les performances d’un enseignant. En conséquence, la mesure permet d’identifier, pour chaque enseignant, ses forces et ses déficiences de manière plus fidèle.

Finalement, nous identifions des thèmes d’évaluation importants qui ne sont pas considérés dans les questionnaires originaux que remplissent les étudiants. Notre analyse utilise un modèle de topique pour identifier ces thèmes pertinents dans les entrevues personnalisées réalisées auprès des enseignants. Sur l’ensemble des entrevues réalisées, les résultats de cette analyse ont révélé que dans l’ensemble les sentiments et la communication constituaient des éléments clefs qui affectent fortement l'apprentissage et la pensée critique des étudiants. Conséquemment, ils devraient donc être considérés comme des éléments essentiels lors de la conception des cours, mais aussi lors de la construction des questionnaires.

En résumé, l'ajout de l'analyse subjective et d’une mesure d’utilité sémantique pourrait permettre d’améliorer l'efficacité des outils d’évaluation utilisés pour améliorer la performance de l'enseignant.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript based thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliographie : pages 238-244.
Mots-clés libres:	Professeurs (Enseignement supérieur) Évaluation. Exploration de données (Informatique) Enseignants Évaluation par les étudiants. Questionnaires. Enseignants Auto-évaluation. Évaluation par des pairs. Extraction de règles d'association. Recherche qualitative. Recherche quantitative. mesure, objectif, sémantique, subjectif, opinion des étudiants, expertise des enseignants, modèle personnalisé de enseignant, mesure sémantique, modèle de topique, questionnaires des étudiants
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Ratté, Sylvie
Programme:	Doctorat en génie > Génie
Date de dépôt:	22 août 2016 19:59
Dernière modification:	10 déc. 2016 17:08
URI:	https://espace.etsmtl.ca/id/eprint/1711

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt