Apparence et Mouvement Bilan2016-2021

Participants

• 1 CR1 CNRS : Hyewon Seo (-mars 2019)
• 2 professeurs : Jean-Michel Dischler, Franck Hétroy-Wheeler
• 4 maîtres de conférences : Rémi Allègre, Arash Habibi Basile Sauvage, Jonathan Sarton
• 1 maître de conférences associé : Frédéric Cordier, UHA (-janv. 2020)
• 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
• Post-Doctorant : Xavier Chermain (déc. 2019-)
• Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Cédric Bobenrieth (oct. 2016-déc. 2019), Nicolas Lutz (oct. 2017-), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020-), Guillaume Baldi (oct. 2020-)

Résultats

Textures, rendu et visualisation

Fichier:Tex 1.png

Résultat 1.

Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les feux ont été poussés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [2-VSKL17], à la prise en compte des variations spatiales [2-GSDC17]-[4-GSDC17] (thèse de G. Guingo commencée au 1/10/2015), au contrôle [2-GADB20]-[4-GADB20] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [2-GLSL20] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/10/2018 [7-AAWD20] et thèse de G. Baldi commencée au 1/10/2020). Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures ASTex, et mis à disposition de la communauté une banque de données de structures procédurales [2-GADB20]-[4-GADB20].

[2-GADB20]-[4-GADB20] Synthèse de textures semi-procédurale. En haut : cartes de structure binaires générées à l'aide de notre modèle procédural ; en bas : résultat d'interpolation entre deux structures et résultat d'une synthèse de texture guidée par cette structure.

Fichier:Tex 3.png Résultat 3.

Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [4-LSLD19] (thèse N. Lutz commencée au 1/10/2018) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Un premier travail sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement a été publié [2-CSDD20]-[4-CSDD20].

Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [7-Sart19].

Analyse statistique des déformations de vêtements d'humains en mouvement

Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle. L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et avons proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser à partir de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [4-YFHW-18].

3D mesh animation, compression

After having worked on some fundamental aspects of shape analysis during the commitment of ANR SHARED (2010-2015), we have investigated an extension of those works towards the compression of deforming mesh, in collaboration with Guoliang Luo, our former PhD student and now an associate professor at the East China Jiaotong University, and other international colleagues (China and USA) [4-LDJZ19]. Our strategy is to exploit the spatio-temporal coherency within a mesh segment towards a compact represent an animation mesh. Given a 3D mesh on which a motion-driven spatio-temporal segmentation has been computed, we perform a PCA-based compression on each spatio-temporal segment. Since our algorithm is designed to exploit both temporal and spatial segmentation redundancies by adaptively determining segmentation boundaries, it shows a significantly better performance over other comparable compression methods, as expected.

[4-LDJZ19]: The reconstruction errors of the compression by using our method, ‘Adapted Soft’, ‘Adapted PCA’, ‘Original Soft’ [Karni and Gotsman 2004] and the ‘Original Simple’ [Sattler et al. 2005]. The colorbar indicates the reconstruction errors from low (blue) to high (red).

Validation of computational features

Another work related to these is the validation of computational mesh saliency by using an eye-tracker, which has been the result of collaboration with Guillaume Lavoué (LIRIS), Frederic Cordier (LMIA), and Chaker Larabi (XLIM) [2-LCSL18]. In search of validating our dynamic feature extraction work, we set our goal to build the ground truth by analyzing the human visual saliency using an eye-tracker. 2D eye fixations (i.e., where humans gaze on the screen) have been mapped onto the 3D shapes, which has served as ground-truth fixations that we used to evaluate the performance of four representative state-of-the-art mesh saliency estimator models. We have shown that, even combined with a center-bias model, the performance of 3D saliency algorithms remains poor at predicting human fixations.

[2-LCSL18]: The human saliency from eye-tracker experiments are mapped on the 3D mesh (2nd color map from the left) and compared with state-of-the-art saliency estimator models. Pearson correlation (ρ) between saliency maps from humans and algorithms are visualized as color maps.

Reconstruction of flowers from sketches

Together with Cedric Bobenrieth (doctorant, defended in December 2019) and other co-encadrants, we have focused on the sketch-based reconstruction of floral objects [2-BSCH18], one of the most popular subjects in artistic drawing. Although one can make a strong structural assumption over floral objects, they exhibit a large variety of shapes and geometrical complexity, making the problem challenging. Differently from existing flower modelers which require users to work with different views providing step-by-step sketch input, we develop a new modeler where user can rapidly create quality geometric models of flowers by drawing a single-view sketch of arbitrary viewpoint. To our knowledge we are the first to introduce such a system. More recently, we have developed a more generic sketch-based modeler allowing the user to generate 3D shapes of all sorts of objects from sketches without any structural assumption, at the cost of manual, yet minimal intervention [2-BCHS20].

[2-BSCH18]: Results obtained with our modeler.

Volume changes and deformations during breast radiotherapy

In the framework of the stage M2 of Yvan Pin, radiation oncologist, we have developed a software and a measurement protocol for the computer-assisted detection of morphological change of breasts during the post-operative irradiation therapy [4-PSDN18]. The specific goal of this study is to propose a new, personalisable irradiation protocol based on computer-assisted detection of breast volume and shape change throughout the irradiation. Since the proposed new protocol has been authorized by the ethics committee of Centre Paul Strauss in 2017, we have been collecting the surface datasets of approximately 55 subjects undergoing the post-operative irradiation therapy, who have either completed the irradiation sessions or are under continuation. In the plan of continuing the study in close collaboration with radio therapists at Centre Paul Strauss, Hyewon Seo has moved to the hospital site (Clovis Vincent) in 2017, which became an initiative to a new research team oriented towards data and models in medical science, starting from 2021.