Learning features for offline handwritten signature verification

Hafemann, Luiz Gustavo (2019). Learning features for offline handwritten signature verification. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (2MB) | Prévisualisation
Prévisualisation	PDF Télécharger (1MB) | Prévisualisation

Résumé

Handwritten signatures are the most socially and legally accepted means for identifying a person. Over the last few decades, several researchers have approached the problem of automating their recognition, using a variety of techniques from machine learning and pattern recognition. In particular, most of the research effort has been devoted to obtaining good feature representations for signatures, by designing new feature extractors, as well as experimenting with feature extractors developed for other purposes. To this end, researchers have used insights from graphology, computer vision, signal processing, among other areas. In spite of the advancements in the field, building classifiers that can separate between genuine signatures and skilled forgeries (forgeries made targeting a particular individual) is still an open research problem.

In this thesis, we propose to address this problem from another perspective, by learning the feature representations directly from signature images. The hypothesis is that, in the absence of a good model of the data generation process, it is better to learn the features from data. As a first contribution, we propose a method to learn Writer-Independent features using a surrogate objective, followed by training Writer-Dependent classifiers using the learned features. Furthermore, we define an extension that allows leveraging the knowledge of skilled forgeries (from a subset of users) in the feature learning process. We observed that such features generalize well to new users, obtaining state-of-the-art results on four widely used datasets in the literature.

As a second contribution, we investigate three issues of signature verification systems: (i) learning a fixed-sized vector representation for signatures of varied size; (ii) analyzing the impact of the resolution of the scanned signatures in system performance and (iii) how features generalize to new operating conditions with and without fine-tuning. We propose methods to handle signatures of varied size and our experiments show results comparable to state-of-theart while removing the requirement that all input images have the same size.

As a third contribution, we propose to formulate the problem of signature verification as a meta-learning problem. This formulation also learns directly from signatures images, and allows the direct optimization of the objective (separating genuine signatures and skilled forgeries), instead of relying on surrogate objectives for learning the features. Furthermore, we show that this method is naturally extended to formulate the adaptation (training) for new users as one-class classification.

As a fourth contribution, we analyze the limitations of these systems in an Adversarial Machine Learning setting, where an active adversary attempts to disrupt the system. We characterize new threats posed by Adversarial Examples on a taxonomy of threats to biometric systems, and conduct extensive experiments to evaluate the success of attacks under different scenarios of attacker’s goals and knowledge of the system under attack. We observed that both systems that rely on handcrafted features, as well as those using learned features, are susceptible to adversarial attacks in a wide range of scenarios, including partial-knowledge scenarios where the attacker does not have full access to the trained classifiers. While some defenses proposed in the literature increase the robustness of the systems, this research highlights the scenarios where such systems are still vulnerable.

Titre traduit

L’apprentissage profond appliqué à la vérification de signatures manuscrites

Résumé traduit

La signature manuscrite est, encore aujourd’hui, la modalité biométrique la plus acceptée socialement et légalement, pour authentifier les documents manuscrits et imprimés. Au cours des dernières décennies, plusieurs chercheurs ont abordé le problème de l’automatisation du processus de la vérification des signatures, en utilisant diverses techniques d’apprentissage machine et de reconnaissance de formes. La majorité des travaux de recherche ont porté sur la définition et l’évaluation de représentations discriminantes des signatures, soit en concevant de nouveaux extracteurs de caractéristiques spécialisés, soit en utilisant des extracteurs de caractéristiques développées à d’autres fins. Les chercheurs ont notamment utilisé des connaissances en graphologie, en vision par ordinateur et en traitement du signal. Malgré les progrès realizes à ce jour, la classification des signatures authentiques et des faux avec imitation demeure un problème de recherche non résolu.

Dans cette thèse, nous proposons d’aborder ce problème sous un autre angle, en apprenant les représentations de caractéristiques directement à partir d’images de signature. L’hypothèse est que, en l’absence d’un bon modèle du processus de génération de données, il est preferable d’apprendre les caractéristiques à partir des données. Dans la première contribution, nous proposons une méthode pour apprendre les caractéristiques génériques pour plusieurs personnes, en utilisant un objectif d’optimisation substitut. Après la phase d’apprentissage des caractéristiques, un classificateur est entrainé pour chaque personne, en utilisant les caractéristiques apprises à partir d’un corpus de scripteurs indépendant. De plus, on considère une extension de notre méthode qui permet l’apprentissage de caractéristiques en utilisant des images de faux avec imitation (disponibles pour un sous-ensemble d’utilisateurs). On a observé sur quatre bases de signatures que ces caractéristiques sont bien adaptées pour la vérification des signatures provenant de nouveaux utilisateurs qui n’ont pas été utilisés pour l’apprentissage de cette représentation. Les résultats expérimentaux obtenus sur les quatre bases de données ont montré les meilleures performances considérant l’état de l’art.

Dans la deuxième contribution, nous examinons trois problèmes liés aux systèmes de verification de signature: (i) l’apprentissage d’une représentation de cardinalité fixe pour des images de signatures de tailles variées; (ii) l’impact de la résolution des images de signatures numérisées sur la performance du système de vérification et (iii) comment les caractéristiques généralisent dans de nouvelles conditions de fonctionnement avec et sans raffinement. Nous proposons des méthodes qui permettent de traiter des signatures de tailles variées et nos simulations montrent des résultats comparables à ceux publiés dans la littérature, sans la contrainte de normaliser la taille des images présentées à l’entrée du réseaux de neurones.

Dans la troisième contribution, nous proposons de formuler le problème de la vérification des signatures manuscrites comme un méta-problème. Cette formulation apprend également directement à partir des images de signatures et permet l’optimisation directe de l’objectif (séparer les signatures authentiques des falsifications qualifiées) au lieu de s’appuyer sur des objectifs substituts pour l’apprentissage des caractéristiques. De plus, on montre que cette method peut naturellement faciliter l’adaptation du classificateur pour des nouveaux utilisateurs avec un classificateurs à une classe.

Pour ce qui est de la quatrième contribution, nous analysons les limites des systèmes de verification hors ligne de signatures manuscrites dans un contexte d’apprentissage machine antagoniste (adversarial learning), où un adversaire actif essaie de perturber le système. Une nouvelle taxonomie des menaces représentées par les exemples antagonistes pour les systèmes biométrique est proposée. Plusieurs stratégies ont été considérées pour évaluer expérimentalement les attaques basées sur différents scénarios d’objectifs et de connaissance du système attaqué. Nous avons observé que les systèmes de vérification qui reposent sur des caractéristiques définies manuellement et ceux basés sur des caractéristiques apprises aux chapitres precedents sont susceptibles d’attaques antagonistes dans plusieurs scénarios. Notamment, ces systèmes de vérification sont vulnérables aux attaques basées sur une connaissance partielle des mécanismes internes du système, pour lesquels l’attaquant n’a pas accès aux classificateurs déjà entraînés. Bien que certaines défenses proposées dans la littérature augmentent la robustesse de ces systèmes, cette recherche met en évidence les scénarios pour lesquels ceux-ci sont vulnérables.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 203-215).
Mots-clés libres:	vérification de signatures, biométrie, apprentissage de représentations
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Sabourin, Robert
Codirecteur:	Codirecteur Oliveira, Luiz Eduardo Soares
Programme:	Doctorat en génie > Génie
Date de dépôt:	06 mai 2019 15:03
Dernière modification:	06 mai 2019 15:03
URI:	https://espace.etsmtl.ca/id/eprint/2302

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt