Unsupervised abstractive summaries of controllable length

Gazaille, Stéphane (2020). Unsupervised abstractive summaries of controllable length. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (1MB) | Prévisualisation
Prévisualisation	PDF Télécharger (477kB) | Prévisualisation

Résumé

The Canadian company Croesus offers a virtual dashboard for financial advisors. Their flagship product, a software called Croesus Advisor, brings together financial portfolio management and customer relationship management (CRM) functionalities.

Croesus is leading a Research & Development (R&D) project whose aim is to automate the generation of reports about the performance of financial portfolios over a given period. The generated reports will have to measure and explain variations of portfolio performances with respect to benchmark market(s) using natural language. Such a project is in the domain of Natural Language Generation (NLG).

This R&D project involves more than one research problem. First, the time series describing the different assets in a given portfolio must be analyzed in order to identify significant events. Then, the publications describing these events must be identified and retrieved. Finally, the sequence of publications describing significant events should be summarized in a coherent and informative narrative of controllable length. This work focused on a particular aspect of the R&D project, that is, the unsupervised training of automatic abstractive summarization models with the capacity to control their output’s length.

Experiments were performed using Recurrent Neural Network and Transformers trained with and without supervision. A Transformer-based model trained without supervision yielded ROUGE-1, ROUGE-2 and ROUGE-L F1 scores of 21.29, 6.4 and 19.41, respectively. Furthermore, a similar model trained in a supervised fashion achieved ROUGE-1, ROUGE-2 and ROUGE-L F1 scores of 40.27, 18.46 and 37.59. To the best of this author’s knowledge, the model trained under supervision constitutes the current state-of-the-art in abstractive summarization of controllable length.

These results, alongside research conducted in parallel to this work, mitigated the risk with respect to the automatic summarization aspect of the R&D project to a tolerable level. Work on the remaining research problems of the project is set to start soon.

Titre traduit

Génération non-supervisé de résumés abstractifs

Résumé traduit

La compagnie canadienne Croesus offre un tableau de bord virtuel pour conseillers financiers. Leur produit phare, un logiciel nommé Croesus Conseiller, rassemble des fonctionnalités de gestion de portefeuilles financiers et de gestion de relations avec les clients (CRM).

Croesus conduit un projet de Recherche et Développement (R&D) dont le but est d’automatiser la génération de rapports expliquant la performance de portefeuilles financiers sur une période donnée. Les rapports générés devront mesurer et expliquer en langage naturel les variations de performances de portefeuilles par rapport à des références de marché. Un tel projet est du domaine du Natural Language Generation (NLG).

Ce projet de R&D comporte plus d’un problème de recherche. Dans un premier temps, les signaux temporels décrivant les différents actifs d’un portefeuille donné doivent être analysés afin d’identifer les événements significatifs. Ensuite, les publications décrivant ces événements doivent être identifiées et récupérées. Finalement, la séquence de publications décrivant les événements significatifs doit être résumée en un récit cohérent et informatif d’une longueur contrôlable. Le présent travail s’intéresse à un aspect particulier du projet de R&D, soit l’entraînement non-supervisé de modèles de génération automatique de résumés abstractifs ayant la capacité de contrôler la longueur de leur sortie.

Des expériences utilisant des Réseaux de Neurones Récurrents et des Transformers entraînés avec et sans supervision ont été effectuées. Un modèle basé sur Transformer entraîné sans supervision a produit des scores ROUGE-1, ROUGE-2 et ROUGE-L F1 de 21.29, 6.4 et 19.41, respectivement. De plus, un modèle similaire entraîné avec supervision a obtenu des scores ROUGE-1, ROUGE-2 et ROUGE-L F1 de 40.27, 18.46 et 37.59. À la connaissance de l’auteur, le modèle entraîné avec supervision constitue l’état-de-l’art actuel de la génération de résumés abstractifs de longueur contrôlable.

Ces résultats, ainsi que des recherches menées en parallèle à nos travaux, ont atténué le risque au sujet de la génération automatique de résumés à un niveau tolérable. Les travaux sur les problèmes de recherche restants du projet de R&D vont bientôt commencer.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis in information technology engineering". Comprend des références bibliographiques (pages 79-89).
Mots-clés libres:	traitement automatique du langage naturel, génération automatique de résumés abstractifs, apprentissage non-supervisé
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Cardinal, Patrick
Codirecteur:	Codirecteur Dumas, Maxime
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	19 févr. 2021 19:56
Dernière modification:	19 févr. 2021 19:56
URI:	https://espace.etsmtl.ca/id/eprint/2650

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt