Apparence et Mouvement

Retour à l'accueil

Contexte

La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.

Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc.

Objectifs / Challenges

Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.

Participants permanents

• Un professeur : Jean-Michel Dischler
• Une chargée de recherche : Hyewon Seo
• Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
• Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
• 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).

Résultats

Analyse des formes, recalage, et segmentation de données dynamiques

Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [2-MCS13], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [2-SKCC13]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [4-LSC14, 4-LLS15], d’extraction de points caractéristiques [4-MSC14, 2-MSC15], de calcul de similarité [4-LCS14, 8-Luog14, 2-LCS16] et de mise en correspondance [8-Mykh15] sur les données dynamiques.

Reconstruction de l'apparence

Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de radiance pour des objets numérisés, à partir de photographies [2-VSGL13]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [2-VSKL15], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.

Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.

Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.

Modélisation et synthèse de textures

Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [2-LSAD16] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [2-VSLD13, 2-GSVD14,2-LSAD16] dans ACM Transactions on Graphics, considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.

Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.

Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.

Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.

Perspectives