Apparence et Mouvement
Apparence et Mouvement
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement
Contexte
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc.
Objectifs / Challenges
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.
Participants permanents
- Un professeur : Jean-Michel Dischler
- Une chargée de recherche : Hyewon Seo
- Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
- Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)
- 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).
Résultats
Plateforme matérielle et logicielle de numérisation
Nous développons la plateforme matérielle et logicielle ExRealis couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes out-of-core permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un tutorial sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.
Analyse des formes, recalage, et segmentation de données dynamiques
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [2-MCS13], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [2-SKCC13]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [4-LSC14, 4-LLS15], d’extraction de points caractéristiques [4-MSC14, 2-MSC15], de calcul de similarité [4-LCS14, 8-Luog14, 2-LCS16] et de mise en correspondance [8-Mykh15] sur les données dynamiques.
Reconstruction de l'apparence
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de radiance pour des objets numérisés, à partir de photographies [2-VSGL13]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [2-VSKL15], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.
Modélisation et synthèse de textures
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [2-GDG12, 2-GDG12a, 2-VSLD13, 2-GSVD14]. On remarquera en particulier deux publications [2-VSLD13, 2-GSVD14] dans ACM Transactions on Graphics, considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. Par ailleurs, grâce à une collaboration démarrée en janvier 2015 avec le Computer Graphics Group de l'Université de Yale (Yitzchak Lockerman, PhD candidate et Holly Rushmeier, Professor), nous sommes dotés d'un outil de classification et d'extraction multi-échelle des textures dans une image. Nous avons appliqué cette classification au contrôle interactif de la synthèse de textures. Cette collaboration a donné lieu à une publication [2-LSAD16] à paraître en juillet 2016 dans les actes du congrès SIGGRAPH 2016, le plus reconnu du domaine, ces actes constituant également un numéro de la revue ACM Transactions on Graphics.