Apparence et Mouvement
Apparence et Mouvement
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement
Note: séparer le contexte et les objectifs, le contexte ira dans la page "Structure".
Contexte (à déplacer dans Structure)
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis: conditions d'éclairage précises, accessibilité du matériau, etc.
Objectifs / Challenges
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures représentant des matériaux d'objets numérisés, à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.
Participants permanents
- Un professeur : Jean-Michel Dischler
- Une chargée de recherche : Hyewon Seo
- Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
- Trois ingénieurs : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
Autres participants
- 5 Doctorants :
- Geoffrey Guingo, en CDD à partir du 1/10/2015 (ERC Marie-Paule CANI et contrat Allegorithmic)
- Alexandre Ribard, allocataire UNISTRA à partir du 1/11/2015
- Vasyl Mykhalchuk, ??? de 11/2011 à 04/2015
- Guoliang Luo, ??? de 10/2011 à 12/2014
- Kenneth Vanhoey, allocataire UNISTRA de 10/2010 à 09/2013 (thèse soutenue le 18/02/2014)
Résultats
Plateforme matérielle et logicielle de numérisation
Nous développons la plateforme matérielle et logicielle ExRealis couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes de traitement de données et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique.
Modélisation d’humains – forme, mouvement, perception (???)
Reconstruction de l'apparence
Nous avons proposé des méthodes pour la reconstruction et le traitement des propriétés photométriques d'objets réels 2-VSGL13 2-VSKL15
Modélisation et synthèse de textures
Les textures sont des images plaquées sur les objets 3D dans les mondes virtuels pour les rendre plus réalistes. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, un défi majeur est, à partir d'un échantillon d'exemple, de réussir à générer automatiquement des contenus pour ces textures qui soient variés (sans répétition), tout en ressemblant à l’échantillon. Nous avons apporté des réponses à ce problème [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14].
Perspectives
Traitement de l'apparence et synthèse de textures
Notre projet collectif est de créer un pont entre les activités d'acquisition de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Pour en arriver là, il reste plusieurs verrous à lever.
- Concernant la reconstruction de l’apparence à partir des données numérisées. Pour l’instant nous savons reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. Il faudrait pouvoir visualiser l’objet dans n’importe quel environnement, ce qui nécessite d’estimer l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. Les données extraites doivent être compatibles avec les méthodes de rendu modernes utilisées en pratique.
- Un autre objectif est de classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.
- Concernant la synthèse, nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés.
- Nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous voudrions générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties de l’objet 3D.
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.