Apparence et Mouvement
Apparence et Mouvement
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement
Note: séparer le contexte et les objectifs, le contexte ira dans la page "Structure".
Contexte (à déplacer dans Structure)
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car ells contraignent fortement les conditions dans lesquelles un matériau peut être acquis: conditions d'éclairage précises, accessibilité du matériau, etc.
Objectifs / Challenges (nouvelle version)
Note premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures représentant des matériaux d'objets numérisés, à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.
Objectifs / Challenges (ancienne version)
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet. Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques. Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.
Participants
- Un professeur : Jean-Michel Dischler
- Une chargée de recherche : Hyewon Seo
- Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
- Un ingénieur : Frédéric Larue
- 5 Doctorants : Geoffrey Guingo, doctorant en CDD au 1. oct. 2015 (ERC Marie-Paule CANI et contrat Allegorithmic), Alexandre Ribard, doctorant contractuel au 1. oct. 2015 (Allocation ministère), Vasyl Mykhalchuk du 11/2011 au 04/2015, Guoliang Luo du 10/2011 au 12/2014, Kenneth Vanhoey du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014).
Résultats
- Modelisation d’humains – forme, mouvement, perception
- Acquisition de l'apparence
Nous développons une plateforme de numérisation d’objets réels avec apparence ExRealis, proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.
Nous avons proposé des méthodes pour la reconstruction et le traitement des propriétés photométriques d'objets réels 2-VSGL13 2-VSKL15
- Modélisation et synthèse de textures
Les textures sont des images plaquées sur les objets 3D dans les mondes virtuels pour les rendre plus réalistes. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, un défi majeur est, à partir d'un échantillon d'exemple, de réussir à générer automatiquement des contenus pour ces textures qui soient variés (sans répétition), tout en ressemblant à l’échantillon. Nous avons apporté des réponses à ce problème 2-GDG12 2-GDG12a 2-VSLD13 2-GSVD14.
Perspectives
Notre projet collectif est de créer un pont entre les activités d'acquisition de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Pour en arriver là, il reste plusieurs verrous à lever.
- Concernant la reconstruction de l’apparence à partir des données numérisées. Pour l’instant nous savons reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. Il faudrait pouvoir visualiser l’objet dans n’importe quel environnement, ce qui nécessite d’estimer l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. Les données extraites doivent être compatibles avec les méthodes de rendu modernes utilisées en pratique.
- Un autre objectif est de classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.
- Concernant la synthèse, nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés.
- Nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous voudrions générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties de l’objet 3D.
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration
Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.