Système de recommandations vidéo fondé sur l’analyse des sous-titres dans le but de soutenir le développement linguistique d’enfants autistes

Harel, Simon-Olivier (2023). Système de recommandations vidéo fondé sur l’analyse des sous-titres dans le but de soutenir le développement linguistique d’enfants autistes. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (10MB) | Prévisualisation

Résumé

Il a été remarqué que par l’exposition à des vidéos comportant des lettres, des chiffres, des formes, l’enfant autiste d’âge préscolaire et le plus souvent non ou minimalement verbal, atteint rapidement grâce à cette exposition une connaissance autodidacte du code écrit ainsi qu’un vocabulaire qui facilitent sa scolarisation plusieurs années plus tard. Le programme de recherche dans lequel s’inscrit ce projet est d’en arriver à développer un système de recommandations vidéo multimodal et personnalisé qui soutiendra leur progrès linguistique ainsi que de concevoir une base de données sur l’évolution du développement du langage chez ces enfants.

Concrètement, ce projet consiste à développer un système de recommandation fondé sur les sous-titres des vidéos de manière à pouvoir, par la suite, intégrer des caractéristiques extraites d’autres signaux comme les couleurs, les objets, les sons, afin de mieux cerner les centres d'intérêts de l’enfant pour ainsi personnaliser davantage les recommandations. Pour y arriver, nous avons développé un cadriciel d’optimisation comportant une étape d’évaluation approfondie de la stabilité de la paramétrisation du modèle LDA. Nous l’avons ensuite utilisé pour modéliser un corpus constitué de transcriptions automatiques provenant de vidéo pour enfant offert sur YouTube. À l’aide de cette modélisation des sous-titres, nous avons développé un système de recommandations et une interface illustrant l’évolution de l’estimation des centres d’intérêt à travers les thématiques décrivant les sous-titres des vidéos (carte sémantique). Afin de valider la qualité du modèle optimisé, des calculs de recommandations et du potentiel descriptif de la carte sémantique, nous avons conçu une application web afin d’effectuer une première évaluation de ce système à l’aide de participants issus de la communauté universitaire.

À la suite des différentes expérimentations, l’analyse des résultats concernant le cadriciel d’optimisation démontre l’importance de l’analyse en stabilité pour sélectionner une modélisation quasi optimale au lieu de s'appuyer aveuglément sur des procédures dirigées par des métaheuristiques. Concernant l’évaluation du système de recommandations, les résultats démontrent le potentiel d’utiliser LDA comme base de calcul pour concevoir un système de recommandations. En ce qui concerne la carte sémantique, elle a suscité l’intérêt des participants à vouloir l’adopter dans un contexte de recherche et de sélection de vidéos. Finalement, les participants admettent la pertinence d’y visualiser l’évolution de leur centre d’intérêt ainsi que sa particularité à décrire le contenu des vidéos qu’ils ont aimées.

Titre traduit

Video recommendation system based on subtitle analysis to support the language development of children with autism

Résumé traduit

It has been observed that through exposure to videos containing letters, numbers, and shapes, preschool children with autism, who are usually non-verbal or minimally verbal, quickly acquire a self-taught knowledge of the written code and a vocabulary that will facilitate their schooling for several years later. The research program of which this project is part aims to develop a personalized multimodal video recommendation system that supports their linguistic progress and to design a database on language development in these children.

Specifically, this project involves developing a recommendation system based on video subtitles to integrate later features extracted from other signals, such as colors, objects, and sounds, to understand the child's interests better and personalize recommendations further. To achieve this, we developed an optimization framework with a thorough evaluation of the stability of the LDA model parameterization. The framework was then used to model a corpus of automatic transcriptions from children's videos available on YouTube. Using this subtitle modeling, we developed a recommendation system and an interface illustrating the evolution of the estimation of interests through the themes describing the video subtitles (semantic map). To validate the quality of the optimized model, recommendation calculations, and the descriptive potential of the semantic map, we designed a web application to conduct an initial evaluation of this system with participants from the academic community.

Following the different experiments, the analysis of the results concerning the optimization framework demonstrates the importance of stability analysis to select a near-optimal model instead of blindly relying on metaheuristic-driven procedures. Regarding evaluating the recommender system, the results demonstrate the potential of using LDA as a computational basis for designing a recommender system. The participants were interested in adopting the semantic map in a video search and selection context. Finally, the participants appreciated visualizing the evolution of their interests and their relevance in describing the content of the videos they liked.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Mémoire par article présenté à l’École de technologie supérieure comme exigence partielle à l’obtention de la maîtrise avec mémoire en génie logiciel". Comprend des références bibliographiques (pages 247-254).
Mots-clés libres:	système de recommandations vidéo, visualisation des centres d’intérêts, traitements automatique des langues naturelles, optimisation, Latent Dirichlet Allocation
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Ratté, Sylvie
Codirecteur:	Codirecteur Mottron, Laurent
Programme:	Maîtrise en ingénierie > Génie
Date de dépôt:	07 sept. 2023 17:26
Dernière modification:	07 sept. 2023 17:26
URI:	https://espace.etsmtl.ca/id/eprint/3264

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt