Apparence et Mouvement

Retour à l'accueil

Contexte

La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.

Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc.

Objectifs / Challenges

Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.

Participants permanents

• Un professeur : Jean-Michel Dischler
• Une chargée de recherche : Hyewon Seo
• Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
• Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
• 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA du 1/11/2015 au 30/04/2016), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).

Résultats

Analyse des formes, recalage, et segmentation de données dynamiques

Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [2-MCS13], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [2-SKCC13]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [4-LSC14, 4-LLS15], d’extraction de points caractéristiques [4-MSC14, 2-MSC15], de calcul de similarité [4-LCS14, 8-Luog14, 2-LCS16] et de mise en correspondance [8-Mykh15] sur les données dynamiques.

[2-MSC15] Illustration de l'extraction de points caractéristiques détectés à l'aide de notre technique AniM-DoG sur différentes poses de maillages animés. La couleur d'une sphère représente l'échelle temporelle (du bleu au rouge) des points caractéristiques, tandis que son rayon indique l'échelle spatiale.

Etant donné un couple de maillages animés présentant des mouvements similaires sémantiquement, nous calculons un ensemble peu dense de points caractéristiques sur chaque maillage, ainsi que les correspondances spatiales entre eux de façon à ce que des points ayant des mouvements similaires soient mis en correspondance.

Reconstruction de l'apparence

Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de radiance pour des objets numérisés, à partir de photographies [2-VSGL13]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [2-VSKL15], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.

[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.

[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.

Modélisation et synthèse de textures

Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [2-LSAD16] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [2-VSLD13, 2-GSVD14,2-LSAD16] dans ACM Transactions on Graphics, considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.

[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.

[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.

[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.

Perspectives

Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.

Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaires, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.