Apparence et Mouvement
Apparence et Mouvement
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement
Note: séparer le contexte et les objectifs, le contexte ira dans la page "Structure".
Contexte (à déplacer dans Structure)
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis: conditions d'éclairage précises, accessibilité du matériau, etc.
Objectifs / Challenges
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures représentant des matériaux d'objets numérisés, à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.
Participants permanents
- Un professeur : Jean-Michel Dischler
- Une chargée de recherche : Hyewon Seo
- Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
- Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
- 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).
Résultats
Plateforme matérielle et logicielle de numérisation
Nous développons la plateforme matérielle et logicielle ExRealis couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique.
Modélisation d’humains – forme, mouvement, perception (???)
Thème de Hyewon de Frédéric.
Reconstruction de l'apparence
Nous avons proposé une méthode pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance [2-VSGL13]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [2-VSKL15].
Modélisation et synthèse de textures
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures de grande résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution de la variété du contenu de la texture générée [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14].
Perspectives
Plateforme matérielle et logicielle de numérisation
Nous souhaitons continuer à développer la plateforme ExRealis, comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.
Traitement de l'apparence et synthèse de textures
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Pour atteindre cet objectif, il reste plusieurs verrous à lever.
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015.
Concernant la synthèse de textures, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.
Thèse de Geoffrey Guingo ?
Plateforme d'analyse et de synthèse de textures
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.