Apparence et Mouvement Bilan2016-2021

Participants

• 2 professeurs : Jean-Michel Dischler, Franck Hétroy-Wheeler
• 3 maîtres de conférences : Rémi Allègre, Basile Sauvage, Jonathan Sarton
• 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
• Post-Doctorant : Xavier Chermain (déc. 2019-)
• Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Nicolas Lutz (oct. 2017-), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020-), Guillaume Baldi (oct. 2020-)

Résultats

Textures, rendu et visualisation

Fichier:Tex 1.png

Résultat 1.

Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les feux ont été poussés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [2-VSKL17], à la prise en compte des variations spatiales [2-GSDC17]-[4-GSDC17] (thèse de G. Guingo commencée au 1/10/2015), au contrôle [2-GADB20]-[4-GADB20] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [2-GLSL20] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/10/2018 [7-AAWD20] et thèse de G. Baldi commencée au 1/10/2020). Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures ASTex, et mis à disposition de la communauté une banque de données de structures procédurales [2-GADB20].

[2-GADB20]-[4-GADB20] Synthèse de textures semi-procédurale. En haut : cartes de structure binaires générées à l'aide de notre modèle procédural ; en bas : résultat d'interpolation entre deux structures et résultat d'une synthèse de texture guidée par cette structure.

Fichier:Tex 3.png Résultat 3.

Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [4-LSLD19] (thèse N. Lutz commencée au 1/10/2018) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Un premier travail sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement a été publié [2-CSDD20]-[4-CSDD20].

Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [7-Sart19].

Analyse statistique des déformations de vêtements d'humains en mouvement

Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle. L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [4-YFHW-18].