On Domain-Incremental Learning methods and its applications to forgery detection

Nicolas, Julien (2023). On Domain-Incremental Learning methods and its applications to forgery detection. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (3MB) | Prévisualisation

Résumé

The easy access to powerful devices and quick spread of social networks have led to an unprecedented increase of the amount of available digital images. This has facilitated the rise of digital image forgery, which can be leveraged easily by criminals with obscure purposes (i.e., insurance fraud, identity theft, etc). To identify the most prevalent image forgery techniques, convolutional neural networks (CNN) have been proposed recently in the literature. Nevertheless, these approaches make strong assumptions about the availability of data and its domains. In particular, they assume that i) training and testing data are drawn from the same domain distribution, and ii) the data domain remains unchanged over time. We argue that these assumptions, however, may limit the applicability of existing forgery detection methods to highly constrained scenarios.

To address these limitations, we present a novel Domain-Incremental Learning (DIL) approach based on a mixture of prompt-tuned CLIP models (MoP-CLIP), which generalizes the paradigm of S-Prompting to handle both in-distribution and out-of-distribution (OOD) data at inference. At the training stage, we model the feature distribution of every class in each domain, learning individual text and visual prompts to adapt to a given domain. At inference, the learned distributions allow us to identify whether a given test sample belongs to a known domain, selecting the correct prompt for the classification task, or from an unseen domain, leveraging a mixture of the prompt-tuned CLIP models. Our empirical evaluation reveals the limitations of existing DIL methods under domain shift, and suggests that the proposed MoP-CLIP performs competitively in the standard DIL settings while outperforming state-of-the-art methods in OOD scenarios. These results demonstrate the superiority of MoP-CLIP , offering a robust and general solution to the problem of domain incremental learning, while relaxing the assumptions previously made for data distributions.

We also emphasize that domain-incremental learning approaches must be benchmarked with challenging real-world datasets, and therefore conduct a realistic evaluation of the proposed method, as well as existing domain-incremental approaches, on a harder task, i.e., domainincremental forgery detection, Our findings reveal that in this challenging scenario, the proposed method still yields competitive performance.

Titre traduit

Sur l’apprentissage incremental de domaine et son application à la détection de modifications dans des images numériques

Résumé traduit

Un accès facile à des appareils puissants et la diffusion rapide des réseaux sociaux ont entraîné une augmentation sans précédent de la quantité d’images numériques disponibles. Cela a facilité l’essor de la contrefaçon d’images numériques, qui peut être facilement exploitée par des criminels à des fins obscures (fraude à l’assurance, vol d’identité, etc.). Pour identifier les techniques de falsification d’images les plus répandues, des réseaux de neurones convolutifs (CNN) ont été proposés récemment dans la littérature. Néanmoins, ces approches utilisent des hypothèses fortes sur la disponibilité des données et leurs domaines. En particulier, elles supposent que i) les données d’entraînement et de test sont tirées des mêmes distributions, et ii) les domaines des données restent inchangés dans le temps. Nous soutenons que ces hypothèses peuvent cependant limiter l’applicabilité des méthodes de détection de modifications existantes à des scénarios très contraignants.

Pour pallier à ces limitations, nous présentons une nouvelle approche d’apprentissage incrémental de domaines (Domain Incremental Learning – DIL) basée sur un mélange de modèles CLIP adaptés par prompt (que l’on appelle MoP-CLIP), qui généralise le paradigme du S-Prompting pour gérer à la fois les données provenant de distributions connues et celles hors distribution lors de l’inférence. Au moment de l’entraînement, nous modélisons la distribution des caractéristiques de chaque classe pour chaque domaine connu, en apprenant des prompts textuels et visuels pour adapter le modèle CLIP à chaque domaine. Lors de l’inférence, les modélisations nous permettent d’identifier si une image appartient à un domaine connu et de sélectionner le bon prompt pour la tâche de classification, ou à un domaine inconnu et d’utiliser la technique à base de mélange proposée.

Notre évaluation empirique révèle les limitations des méthodes DIL existantes en présence de changement de domaine, et suggère que le modèle MoP-CLIP proposé a des performances compétitives dans le scénario standard, tout en surpassant les méthodes récentes dans des scénarios avec données hors distribution (Out-of-distribution – OOD). Ces résultats démontrent la supériorité de MoP-CLIP , offrant une solution robuste et générale au problème de l’apprentissage incrémental (de domaines).

Nous soulignons également que les algorithmes d’apprentissage incremental doivent être évalués sur des jeux de données représentant des problèmes réels et effectuons une évaluation de ces algorithmes et notre méthode en les appliquant au problème de détection de modifications dans des images naturelles.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of a master’s degree with thesis". Comprend des références bibliographiques (pages 67-77).
Mots-clés libres:	continual learning, prompt tuning, classification, CLIP, incremental learning
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Dolz, José
Codirecteur:	Codirecteur Desrosiers, Christian
Programme:	Maîtrise en ingénierie > Génie des technologies de l'information
Date de dépôt:	12 janv. 2024 18:56
Dernière modification:	12 janv. 2024 18:56
URI:	https://espace.etsmtl.ca/id/eprint/3331

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt