La vitrine de diffusion des mémoires et thèses de l'ÉTS
RECHERCHER

Approches de remplissage automatique de trous à l'intérieur d'images et de séquences vidéo

Téléchargements

Téléchargements par mois depuis la dernière année

Plus de statistiques...

Benoit, Jocelyn (2017). Approches de remplissage automatique de trous à l'intérieur d'images et de séquences vidéo. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

[thumbnail of BENOIT_Jocelyn.pdf]
Prévisualisation
PDF
Télécharger (26MB) | Prévisualisation
[thumbnail of BENOIT_Jocelyn-web.pdf]
Prévisualisation
PDF
Télécharger (1MB) | Prévisualisation

Résumé

À notre époque, les images et les séquences vidéo destinées au cinéma ou à la télévision sont fréquemment altérées durant l’étape de postproduction afin d’effectuer le remplissage de régions indésirables. Par exemple, les graffitis à caractères haineux présents dans une image sont supprimés. Pour produire un résultat de qualité, il est important que le remplissage ait une apparence réaliste et qu’il présente des signes d’usure. Les méthodes actuelles traitant de ce problème ne sont pas adaptées puisqu’elles utilisent des paramètres peu intuitifs et qu’elles traitent généralement d’un seul effet de détérioration. Le remplissage peut aussi se faire sur une séquence vidéo dans laquelle la perche de son a malencontreusement été filmée. Le remplissage de régions manquantes dans une séquence vidéo pose des défis additionnels, comme la cohérence spatio-temporelle et la grande quantité d’information à traiter, et les approches actuelles sont inadaptées. En effet, la plupart des méthodes, dont celles basées sur les champs aléatoires de Markov, ne peuvent traiter directement la haute résolution dans un délai raisonnable. De plus, les méthodes actuelles sont limitées par le type de mouvement de caméra, la taille des régions indésirables et la variation de l’intensité lumineuse.

Un objectif de cette thèse est de développer un système de remplissage qui permet la génération d’effets de détérioration basé sur une image échantillon contenant un exemple de l’effet voulu. Pour y arriver, une approche de synthèse de textures par remplissage de trous qui ne comporte aucun paramètre complexe à manipuler par l’artiste et qui permet de reproduire de nouveaux effets similaires est introduite. Un deuxième objectif est l’élaboration d’un système de remplissage de régions manquantes de séquences vidéo de haute définition. Un algorithme de synthèse de textures par remplissage de trous est adapté en tirant profit du principe de la cohérence et d’une recherche locale. De plus, le dernier volet de la thèse présente une approche de remplissage basée sur le suivi de caractéristiques invariantes permettant de compléter de très grandes régions manquantes provenant de séquences vidéo filmées avec des mouvements de caméra non-triviaux.

Les résultats obtenus à partir des différentes contributions du projet de recherche montrent un réalisme accru lors du remplissage de régions manquantes d’images et de séquences vidéo. Les différentes méthodes sont faciles d’utilisation et intuitives puisqu’elles ne possèdent aucun paramètre complexe à spécifier par l’artiste. De plus, elles s’intègrent bien dans le processus itératif de création de ce dernier. Finalement, les petits temps de calculs rendent faciles leur intégration dans le pipeline de production des studios.

Titre traduit

Hole filling approaches for image and video completion

Résumé traduit

In our time, images and movies for cinema and television are frequently altered during the post-production stage to replace and complete unwanted areas. For example, a hateful graffiti present in an image is deleted. To produce quality results, it is important that the completed region has a realistic appearance and shows signs of aging. State-of-the-art methods addressing this problem are not suitable since they require the artist to use complex parameters and usually handle only one aging effect. The completion can also be done on a video in which a sound boom was inadvertently filmed. The filling of missing region in a video poses additional challenges, enforcing spatio-temporal consistency and the sheer amount of information to name a few, and current approaches are inadequate. Indeed, most methods, including those based on random Markov fields, cannot directly handle high definition video within a reasonable time. Furthermore, currents methods are limited by the type of camera movement, the missing region size, and the variation of light intensity.

An objective of this thesis is to develop a framework that allows artists to generate new aging effects based on a sample image containing an example of the desired effect. To achieve this, a novel texture synthesis approach adapted to the aging context is introduced. This approach does not need the artist to specify any complex parameter. A second objective is the development of a system that completes the missing regions of high definition video. A texture synthesis algorithm using a hole-filling approach is adapted by taking advantage of a coherence principle and a local search. Furthermore, the last part of this thesis presents a video completion method based on scale-invariant features tracking. This method is able to complete very large missing regions from video footage with non-trivial camera movements.

The results obtained from the different contributions of this research project show increased realism during the completion of missing areas of images and video sequences. The different methods are easy to use and intuitive because no complex parameter needs to be specified by the artist. Moreover, they are suitable for the iterative process of the artist. Finally, these methods fit well in the studio production pipeline since they require small computation times.

Type de document: Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires: "Thèse présentée à l'École de technologie supérieure comme exigence partielle à l'obtention du doctorat en génie". Bibliographie : pages 150-160.
Mots-clés libres: Traitement d'images Techniques numériques. Infographie. Reconstruction d'image. Morphologie mathématique. détérioration, effet, manquant, région, remplissage, trou, synthèse de texture, champ aléatoire de Markov, haute définition, usure
Directeur de mémoire/thèse:
Directeur de mémoire/thèse
Paquette, Eric
Programme: Doctorat en génie > Génie
Date de dépôt: 20 juin 2017 17:47
Dernière modification: 15 janv. 2018 21:09
URI: https://espace.etsmtl.ca/id/eprint/1893

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt Dernière vérification avant le dépôt