Appearance and Movement

Retour à l'acceuil

Appearance and Movement

Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement

Context (to be moved in page Structure)

La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.

Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car ells contraignent fortement les conditions dans lesquelles un matériau peut être acquis: conditions d'éclairage précises, accessibilité du matériau, etc.

Objectives / Challenges

Permanent participants

• Un professeur : Jean-Michel Dischler
• Une chargée de recherche : Hyewon Seo
• Cinq maîtres de conférences : Rémi Allègre, Karim Chibout, Frédéric Cordier, Arash Habibi, Basile Sauvage
• Un ingénieur : Frédéric Larue

Autres participants

• Doctorants :

Publication

[2-SKCC13] Seo H., Kim S., Cordier F., Choi J. and Hong K., "Estimating Dynamic Skin Tension Lines in Vivo using 3D Scans", Computer-Aided Design, (Proc. ACM Symposium on Solid and Physical Modeling 2012), Elsevier.

[2-LCS13] G. Luo, F. Cordier, H. Seo. Compression of 3D Animation Sequences by Temporal Segmentation, Computer Animation and Virtual Worlds, Wiley-Blackwell, Vol. 24(3-4):365--375, May 2013.

[4-LCS14] G. Luo, F. Cordier, H. Seo. Similarity of Deforming Meshes Based on Spatio-temporal Segmentation, dans Eurographics Workshop on 3D Object Retrieval, pp. 77--84, B. Bustos, H. Tabia, J.-P. Vandeborre, and R. Veltkamp (Eds.), Strasbourg, France, March 2014.

[4-LSC14] G. Luo, H. Seo, F. Cordier. Temporal Segmentation of Deforming Meshes, Computer Graphics International, Sydney, Australia, June 2014.

[8-Luog14] G. Luo. Segmentation de Maillages Dynamiques et Son Application pour le Calcul de Similarité, 2014.

[4-LLS15] G. Luo, G. Lei, H. Seo. Joint Entropy based Key-frame Extraction for 3D Animations, Computer Graphics International, Strasbourg, France, June 2015.

[2-LCS16] G. Luo, F. Cordier, H. Seo. Spatio-temporal Segmentation for the Similarity Measurement of Deforming Meshes, Visual Computer, Springer Verlag, Vol. 32(2):243-256, February 2016.

[2-MSC15] V. Mykhalchuk, H. Seo, F. Cordier. On spatio-temporal feature point detection for animated meshes, Visual Computer, Springer Verlag, Vol. 31(11):1471-1486, November 2015.

[2-MCS13] V. Mykhalchuk, F. Cordier, H. Seo. Landmark Transfer with Minimal Graph, Computers & Graphics, Elsevier, Vol. 37(5):539--552, August 2013.

[4-MSC14] V. Mykhalchuk, H. Seo, F. Cordier. AniM-DoG: A Spatio-Temporal Feature Point Detector for Animated Mesh, dans Computer Graphics International, Computer Graphics Society (Eds.), Sydney, Australia, June 2014.

[4-MSC14] V. Mykhalchuk. Feature-based matching of animated meshes, 2015.

[1-Seoh15] H. Seo, Personalized body modeling, Context Aware Human-Robot and Human-Agent Interaction, Magnenat-Thalmann N., Yuan J., Thalmann D., You B.-J. (Eds.), Chapitre. 4, pages 113-132, Springer, November 2015

Results

we have developed a set of new techniques for geometrically processing deforming surface. Our correspondence computation method makes use of the kinematic properties of the deforming surfaces so as to put similar deformation behaviors in correspondence. During the computation we extract a set of spatio-temporal dynamic feature points on each surface, which is also based on the deformation behavior. Also developed is a similarity metric for animated meshes, based on their tempo-spatial segmentations. To the best of our knowledge, our developed techniques are the first who formulate the problems of segmentation, similarity measurement, feature extraction and correspondence computation on time-varying surface data. This has been confirmed by the relevant scientific community who starts paying attention to our recent results. Additionally, the facial data we have captured are expensive and rare, as it requires not only high-cost mocap device and experts but also multiple subjects. We expect that this data will be shared and cited broadly among other researchers.

Perspectives

Building the ground truth for dynamic features and correspondence on deforming meshes is left as open challenges. We are currently building the ground truth data on static meshes, in collaboration with Xlim and LIRIS, by using eye-tracker. Once the ground truth has been successfully made, we can aim higher goals such as validation of computational approaches in feature extraction. We plan to pursue the statistical atlas construction and the revision of the registration using the atlas in the near future.