Apparence et Mouvement

Retour à l'accueil

Apparence et Mouvement

Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement

Contexte

La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.

Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc.

Objectifs / Challenges

Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.

Participants permanents

• Un professeur : Jean-Michel Dischler
• Une chargée de recherche : Hyewon Seo
• Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
• Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
• 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).

Résultats

Plateforme matérielle et logicielle de numérisation

Nous développons la plateforme matérielle et logicielle ExRealis couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes out-of-core permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un tutorial sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.

Analyse des formes, recalage, et segmentation de données dynamiques

Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [2-MCS13], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [2-SKCC13]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [4-LSC14, 4-LLS15], d’extraction de points caractéristiques [4-MSC14, 2-MSC15], de calcul de similarité [4-LCS14, 8-Luog14, 2-LCS16] et de mise en correspondance [8-Mykh15] sur les données dynamiques.

Reconstruction de l'apparence

Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de radiance pour des objets numérisés, à partir de photographies [2-VSGL13]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [2-VSKL15], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.

Modélisation et synthèse de textures

Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14]. On remarquera en particulier deux publications [2-VSLD13, 2-GSVD14] dans ACM Transactions on Graphics, considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.

Perspectives

Plateforme matérielle et logicielle de numérisation

Nous souhaitons continuer à développer la plateforme ExRealis, comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.

Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance

L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.

Construction d’un atlas et modèles de prédiction pour les données de mouvement

Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.

Traitement de l'apparence et synthèse de textures

Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.

Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.

Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.

Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées. Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps. Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple. Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.

Plateforme d'analyse et de synthèse de textures

Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.