Apparence et Mouvement Bilan2016-2021

Objectifs / Challenges

Notre premier challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images, et de les exploiter dans un contexte d'édition et de rendu en temps réel. Pour cela il est nécessaire de se doter d'outils d'analyse d'images, de modèle procéduraux, et de techniques de filtrage adaptées. Le deuxième challenge concerne le développement de méthodes d'analyse de formes statiques et en mouvement, avec comme objectifs de pouvoir effectuer de la régression à partir de paramètres sémantiques, de la compression d'animations, de la reconstruction de formes à partir de croquis, ou encore l'adaptation de protocoles de radiothérapie.

Participants

• 1 CR1 CNRS : Hyewon Seo (-mars 2019)
• 2 professeurs : Jean-Michel Dischler, Franck Hétroy-Wheeler
• 4 maîtres de conférences : Rémi Allègre, Arash Habibi, Basile Sauvage, Jonathan Sarton
• 1 maître de conférences associé : Frédéric Cordier, UHA (-janv. 2020)
• 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
• Post-Doctorant : Xavier Chermain (déc. 2019-nov.2021)
• Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Cédric Bobenrieth (oct. 2016-déc. 2019), Nicolas Lutz (oct. 2017-août 2021), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020-), Guillaume Baldi (oct. 2020-)

Résultats

Textures, rendu et visualisation

Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils sophistiqués d'analyse des données issues des acquisitions 3D pour extraire les propriétés intrinsèques des matériaux. En plus d'améliorer la qualité de l'apparence, l'analyse de ces données devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les efforts ont été concentrés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [2-VSKL17], à la prise en compte des variations spatiales [2-GSDC17]-[4-GSDC17] (thèse de G. Guingo commencée au 1/10/2015) [2-LSD21] (thèse N. Lutz commencée au 1/10/2018), au contrôle [2-GADB20]-[4-GADB20] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [2-GLSL20] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/10/2018 [7-AAWD20] et thèse de G. Baldi commencée au 1/10/2020). Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures ASTex, et mis à disposition de la communauté une banque de données de structures procédurales [2-GADB20]-[4-GADB20].

[2-GSDC17]-[4-GSDC17] La déformation de textures produit de la variété à condition que l'apparence de petite échelle soit préservée. Une rotation et des étirements sont appliqués en utilisant le modèle usuel à une seule couche (en haut) et notre modèle à deux couches : notre modèle permet de déformer des textures structurées tout en préservant les détails de petite échelle (motifs de bruit).

[2-GADB20]-[4-GADB20] Synthèse de textures semi-procédurale. En haut : cartes de structure binaires générées à l'aide de notre modèle procédural ; en bas : résultat d'interpolation entre deux structures et résultat d'une synthèse de texture guidée par cette structure.

[2-GLSL20] A gauche : un cylindre courbé texturé avec des écailles de serpent, déformées selon le tenseur calculé par notre méthode. L'intensité de la déformation est illustrée en bas (bleu : pas de déformation; vert : étirement; rouge : compression). A droite : texture visualisée dans l'espace paramétrique. En haut : avec notre méthode, les écailles sont déformées en tenant compte de leur rigidité. En bas : aucun contrôle n'est appliqué, donnant un résultat moins réaliste.

Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [4-LSLD19,2-LSD21] (thèse N. Lutz) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Des premiers travaux sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement ont été publiés [2-CSDD20]-[4-CSDD20, 4-CLSD21].

[2-CSDD20]-[4-CSDD20] Une 2 CV est rendue avec notre BRDF en utilisant des scintillements colorés pour simuler la peinture de la carosserie.

Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [7-Sart19].

Analyse statistique des déformations de vêtements d'humains en mouvement

Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle. L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et avons proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser à partir de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [4-YFHW-18].

Animation et compression de maillages 3D

Après avoir travaillé sur certains aspects fondamentaux de l'analyse de formes pendant le projet ANR SHARED (2010-2015), nous avons étudié une extension de ces travaux pour la compression de maillages déformables, en collaboration avec Guoliang Luo, notre ancien doctorant et maintenant professeur associé à l'Université East China Jiaotong, et d'autres collègues internationaux (Chine et USA) [4-LDJZ19]. Notre stratégie consiste à exploiter la cohérence spatio-temporelle d'un segment de maillage pour représenter de manière compacte une maillage animé. Étant donné un maillage 3D sur lequel une segmentation spatio-temporelle basée sur le mouvement a été calculée, nous effectuons une compression basée sur l'ACP sur chaque segment spatio-temporel. Comme notre algorithme est conçu pour exploiter les redondances temporelles et spatiales de la segmentation en déterminant de manière adaptative les limites de la segmentation, il présente, comme prévu, des performances nettement supérieures à celles d'autres méthodes de compression comparables.

[4-LDJZ19]: Erreurs de reconstruction de la compression en utilisant notre méthode, ‘Adapted Soft’, ‘Adapted PCA’, ‘Original Soft’ [Karni and Gotsman 2004] et ‘Original Simple’ [Sattler et al. 2005]. L'échelle de couleur indique l'erreur de reconstruction de valeurs faibles (bleu) vers élevées (rouge).

Validation de caractéristiques visuelles calculées

Un autre travail lié aux précédents est la validation de modèles d'estimation de saillance visuelle de maillages par oculométrie, qui a été le fruit d'une collaboration avec Guillaume Lavoué (LIRIS), Frédéric Cordier (LMIA), et Chaker Larabi (XLIM) [2-LCSL18]. Afin de valider notre travail d'extraction de caractéristiques de saillance dynamiques, nous nous sommes fixés comme objectif de construire une vérité terrain en analysant la saillance visuelle humaine à l'aide de l'oculométrie. Les fixations oculaires 2D (c'est-à-dire les points où les humains fixent leur regard sur l'écran) ont été mises en correspondance avec les formes 3D, qui ont servi de référence pour évaluer les performances de quatre modèles représentatifs de l'état de l'art des estimateurs de saillance visuelle des maillages. Nous avons montré que, même combinés à un modèle de biais central, les performances des algorithmes de saillance 3D restent faibles pour prédire les fixations humaines.

[2-LCSL18]: Saillance "humaine" obtenue par oculumétrie et plaquée sur un maillage 3D (2ème carte de couleur à partir de la gauche) et comparée avec des modèles d'estimation de saillance de l'état de l'art. La corrélation de Pearson (ρ) entre les cartes de saillance "humaines" et calculées sont présentées à l'aide de cartes de couleurs.

Reconstruction d'objets floraux à partir de croquis

Avec Cédric Bobenrieth (doctorant, qui a soutenu sa thèse en décembre 2019) et d'autres co-encadrants, nous nous sommes concentrés sur la reconstruction à base de croquis d'objets floraux [2-BSCH18], l'un des sujets les plus populaires du dessin artistique. Bien que l'on puisse faire une hypothèse structurelle forte sur les objets floraux, ils présentent une grande variété de formes et de complexité géométrique, ce qui rend le problème difficile. À la différence des modeleurs de fleurs existants, qui demandent aux utilisateurs de travailler avec différentes vues en fournissant des croquis étape par étape, nous développons un nouveau modeleur où l'utilisateur peut rapidement créer des modèles géométriques de qualité de fleurs en dessinant un croquis à vue unique d'un point de vue arbitraire. À notre connaissance, nous sommes les premiers à introduire un tel système. Plus récemment, nous avons développé un modeleur plus générique basé sur des croquis permettant à l'utilisateur de générer des formes 3D de toutes sortes d'objets à partir de croquis sans aucune hypothèse structurelle, au prix d'une intervention manuelle, mais minimale [2-BCHS20].

[2-BSCH18]: Résultats obtenus avec notre modeleur d'objets floraux.

Changements de volumes et déformations durant la radiothérapie pour le traitement du cancer du sein

Dans le cadre du stage M2 d'Yvan Pin, radio-oncologue, nous avons développé un logiciel et un protocole de mesure pour la détection assistée par ordinateur du changement morphologique des seins pendant la thérapie d'irradiation post-opératoire [4-PSDN18]. L'objectif spécifique de cette étude est de proposer un nouveau protocole d'irradiation personnalisable basé sur la détection assistée par ordinateur du changement de volume et de forme des seins tout au long de l'irradiation. Depuis que le nouveau protocole proposé a été autorisé par le comité d'éthique du Centre Paul Strauss en 2017, nous avons collecté les jeux de données de surface d'environ 55 sujets soumis à la thérapie d'irradiation post-opératoire, qui ont soit terminé les sessions d'irradiation, soit sont en cours de continuation. Dans le but de poursuivre l'étude en étroite collaboration avec les radiothérapeutes du Centre Paul Strauss, Hyewon Seo a déménagé sur le site de l'hôpital (Clovis Vincent) en 2017, ce qui a conduit à partir de 2021 à la formation d'une nouvelle équipe de recherche orientée vers les données et les modèles en sciences médicales.