Équipe IGG : Informatique Géométrique et Graphique

Différences entre les versions de « Apparence et Mouvement Bilan2016-2021 »

De Équipe IGG : Informatique Géométrique et Graphique
Aller à la navigation Aller à la recherche
 
(36 versions intermédiaires par 4 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
 +
{{PAGE_Begin}}
 +
__NOTOC__
 +
[[en:Appearance_and_Movement_Assessment2016-2021]]
  
 
===Objectifs / Challenges===
 
===Objectifs / Challenges===
  
===Participants===  
+
Notre premier challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images, et de les exploiter dans un contexte d'édition et de rendu en temps réel. Pour cela il est nécessaire de se doter d'outils d'analyse d'images, de modèle procéduraux, et de techniques de filtrage adaptées. Le deuxième challenge concerne le développement de méthodes d'analyse de formes statiques et en mouvement, avec comme objectifs de pouvoir effectuer de la régression à partir de paramètres sémantiques, de la compression d'animations, de la reconstruction de formes à partir de croquis, ou encore l'adaptation de protocoles de radiothérapie.
 +
 
 +
===Participants===
 +
* 1 CR1 CNRS : [[Hyewon Seo]] (-mars 2019)
 
* 2 professeurs : [[Jean-Michel Dischler]], [[Franck Hétroy-Wheeler]]
 
* 2 professeurs : [[Jean-Michel Dischler]], [[Franck Hétroy-Wheeler]]
* 3 maîtres de conférences : [[Rémi Allègre]], [[Basile Sauvage]], [[Jonathan Sarton]]
+
* 4 maîtres de conférences : [[Rémi Allègre]], [[Arash Habibi]], [[Basile Sauvage]], [[Jonathan Sarton]]
 +
* 1 maître de conférences associé : Frédéric Cordier, UHA (-janv. 2020)
 
* 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
 
* 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
* Post-Doctorant : Xavier Chermain (déc. 2019-)
+
* Post-Doctorant : Xavier Chermain (déc. 2019-nov.2021)
* Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Nicolas Lutz (oct. 2017-), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020), Guillaume Baldi (oct. 2020-)
+
* Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Cédric Bobenrieth (oct. 2016-déc. 2019), Nicolas Lutz (oct. 2017-août 2022), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020-), Guillaume Baldi (oct. 2020-)
 
 
'''[http://www.staff.uni-mainz.de/oberfeld/ Daniel Oberfeld-Twistel]'''
 
  
 
===Résultats===
 
===Résultats===
  
 
====Textures, rendu et visualisation====
 
====Textures, rendu et visualisation====
Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les feux ont été poussés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [[https://icube-publis.unistra.fr/2-VSKL17 2-VSKL17]], à la prise en compte des variations spatiales [[https://icube-publis.unistra.fr/2-GSDC17 2-GSDC17]]-[[https://icube-publis.unistra.fr/4-GSDC17 4-GSDC17]] (thèse de G. Guingo commencée au 1/10/2015), au contrôle [[https://icube-publis.unistra.fr/2-GADB20 2-GADB20]]-[[https://icube-publis.unistra.fr/4-GADB20 4-GADB20]] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [[https://icube-publis.unistra.fr/2-GLSL20 2-GLSL20]] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/2018 [[https://icube-publis.unistra.fr/7-AAWD20 7-AAWD20]] et thèse de G. Baldi commencée au 1/10/2020).
+
Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les feux ont été poussés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [[https://icube-publis.unistra.fr/2-VSKL17 2-VSKL17]], à la prise en compte des variations spatiales [[https://icube-publis.unistra.fr/2-GSDC17 2-GSDC17]]-[[https://icube-publis.unistra.fr/4-GSDC17 4-GSDC17]] (thèse de G. Guingo commencée au 1/10/2015) [[https://icube-publis.unistra.fr/appli.php/2-LSD21 2-LSD21]] (thèse N. Lutz commencée au 1/10/2018), au contrôle [[https://icube-publis.unistra.fr/2-GADB20 2-GADB20]]-[[https://icube-publis.unistra.fr/4-GADB20 4-GADB20]] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [[https://icube-publis.unistra.fr/2-GLSL20 2-GLSL20]] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/10/2018 [[https://icube-publis.unistra.fr/7-AAWD20 7-AAWD20]] et thèse de G. Baldi commencée au 1/10/2020).
Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures [[ASTex]], et mis à disposition de la communauté une banque de données de structures procédurales [[https://icube-publis.unistra.fr/2-GADB20 2-GADB20]].  
+
Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures [[ASTex]], et mis à disposition de la communauté une banque de données de structures procédurales [[https://icube-publis.unistra.fr/2-GADB20 2-GADB20]]-[[https://icube-publis.unistra.fr/4-GADB20 4-GADB20]].
 +
 
 +
<center>
 +
{|
 +
|valign="top"|[[Image:bilayer_cgf2017.png|left|thumb|x220px|[[https://icube-publis.unistra.fr/2-GSDC17 2-GSDC17]]-[[https://icube-publis.unistra.fr/4-GSDC17 4-GSDC17]]
 +
La déformation de textures produit de la variété à condition que l'apparence de petite échelle soit préservée. Une rotation et
 +
des étirements sont appliqués en utilisant le modèle usuel à une seule couche (en haut) et notre modèle à deux couches :
 +
notre modèle permet de déformer des textures structurées tout en préservant les détails de petite échelle (motifs de bruit).]]
 +
|valign="top"|[[Image:semiproctex.png|left|thumb|x220px|[[https://icube-publis.unistra.fr/2-GADB20 2-GADB20]]-[[https://icube-publis.unistra.fr/4-GADB20 4-GADB20]] Synthèse de textures semi-procédurale. En haut : cartes de structure binaires générées à l'aide de notre modèle procédural ; en bas : résultat d'interpolation entre
 +
deux structures et résultat d'une synthèse de texture guidée par cette structure.]]
 +
|valign="top"|[[Image:deformation_cg20.jpg|left|thumb|x220px|[[https://icube-publis.unistra.fr/2-GLSL20 2-GLSL20]]
 +
A gauche : un cylindre courbé texturé avec des écailles de serpent, déformées selon le tenseur calculé par notre méthode. L'intensité de la déformation est illustrée en bas (bleu : pas de déformation; vert : étirement; rouge : compression). A droite : texture visualisée dans l'espace paramétrique. En haut : avec notre méthode, les écailles sont déformées en tenant compte de leur rigidité. En bas : aucun contrôle n'est appliqué, donnant un résultat moins réaliste.]]
 +
|}
 +
</center>
 +
 
 +
Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [[https://icube-publis.unistra.fr/4-LSLD19 4-LSLD19],[https://icube-publis.unistra.fr/appli.php/2-LSD21 2-LSD21]] (thèse N. Lutz) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Des premiers travaux sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement ont été publiés [[https://icube-publis.unistra.fr/2-CSDD20 2-CSDD20]]-[[https://icube-publis.unistra.fr/4-CSDD20 4-CSDD20], [https://icube-publis.unistra.fr/appli.php/4-CLSD21 4-CLSD21]].
  
Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [[https://icube-publis.unistra.fr/4-LSLD19 4-LSLD19]] (thèse N. Lutz commencée au 1/10/2018) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Un premier travail sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement a été publié [[https://icube-publis.unistra.fr/2-CSDD20 2-CSDD20]]-[[https://icube-publis.unistra.fr/4-CSDD20 4-CSDD20]].
+
<center>
 +
{|
 +
|valign="top"|[[Image:glints_pg20.png|left|thumb|x220px|[[https://icube-publis.unistra.fr/2-CSDD20 2-CSDD20]]-[[https://icube-publis.unistra.fr/4-CSDD20 4-CSDD20]]
 +
Une 2 CV est rendue avec notre BRDF en utilisant des scintillements colorés pour simuler la peinture de la carosserie.]]
 +
|}
 +
</center>
  
 
Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [[https://icube-publis.unistra.fr/7-Sart19 7-Sart19]].
 
Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [[https://icube-publis.unistra.fr/7-Sart19 7-Sart19]].
Ligne 23 : Ligne 48 :
 
====Analyse statistique des déformations de vêtements d'humains en mouvement====
 
====Analyse statistique des déformations de vêtements d'humains en mouvement====
 
Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle.
 
Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle.
L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [[https://icube-publis.unistra.fr/4-YFHW18 4-YFHW-18]].
+
L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et avons proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser à partir de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [[https://icube-publis.unistra.fr/4-YFHW18 4-YFHW-18]].
 +
 
 +
====Animation et compression de maillages 3D====
 +
Après avoir travaillé sur certains aspects fondamentaux de l'analyse de formes pendant le projet ANR SHARED (2010-2015), nous avons étudié une extension de ces travaux pour la compression de maillages déformables, en collaboration avec Guoliang Luo, notre ancien doctorant et maintenant professeur associé à l'Université East China Jiaotong, et d'autres collègues internationaux (Chine et USA) [[https://icube-publis.unistra.fr/4-LDJZ19 4-LDJZ19]]. Notre stratégie consiste à exploiter la cohérence spatio-temporelle d'un segment de maillage pour représenter de manière compacte une maillage animé. Étant donné un maillage 3D sur lequel une segmentation spatio-temporelle basée sur le mouvement a été calculée, nous effectuons une compression basée sur l'ACP sur chaque segment spatio-temporel. Comme notre algorithme est conçu pour exploiter les redondances temporelles et spatiales de la segmentation en déterminant de manière adaptative les limites de la segmentation, il présente, comme prévu, des performances nettement supérieures à celles d'autres méthodes de compression comparables.
 +
<!--
 +
After having worked on some fundamental aspects of shape analysis during the commitment of ANR SHARED (2010-2015), we have investigated an extension of those works towards the compression of deforming mesh, in collaboration with Guoliang Luo, our former PhD student and now an associate professor at the East China Jiaotong University, and other international colleagues (China and USA) [[https://icube-publis.unistra.fr/4-LDJZ19 4-LDJZ19]]. Our strategy is to exploit the spatio-temporal coherency within a mesh segment towards a compact represent an animation mesh. Given a 3D mesh on which a motion-driven spatio-temporal segmentation has been computed, we perform a PCA-based compression on each spatio-temporal segment. Since our algorithm is designed to exploit both temporal and spatial segmentation redundancies by adaptively determining segmentation boundaries, it shows a significantly better performance over other comparable compression methods, as expected.
 +
-->
 +
 
 +
<center>
 +
{|
 +
|valign="top"|[[Image:compression_sig2019.png|left|thumb|x300px| [[https://icube-publis.unistra.fr/4-LDJZ19 4-LDJZ19]]: Erreurs de reconstruction de la compression en utilisant notre méthode, ‘Adapted Soft’, ‘Adapted PCA’, ‘Original Soft’ [Karni and Gotsman 2004] et ‘Original Simple’ [Sattler et al. 2005]. L'échelle de couleur indique l'erreur de reconstruction de valeurs faibles (bleu) vers élevées (rouge).]]
 +
|}
 +
</center>
 +
 
 +
====Validation de caractéristiques visuelles calculées====
 +
Un autre travail lié aux précédents est la validation de modèles d'estimation de saillance visuelle de maillages par oculométrie, qui a été le fruit d'une collaboration avec Guillaume Lavoué (LIRIS), Frédéric Cordier (LMIA), et Chaker Larabi (XLIM) [[https://icube-publis.unistra.fr/2-LCSL18 2-LCSL18]]. Afin de valider notre travail d'extraction de caractéristiques de saillance dynamiques, nous nous sommes fixés comme objectif de construire une vérité terrain en analysant la saillance visuelle humaine à l'aide de l'oculométrie. Les fixations oculaires 2D (c'est-à-dire les points où les humains fixent leur regard sur l'écran) ont été mises en correspondance avec les formes 3D, qui ont servi de référence pour évaluer les performances de quatre modèles représentatifs de l'état de l'art des estimateurs de saillance visuelle des maillages. Nous avons montré que, même combinés à un modèle de biais central, les performances des algorithmes de saillance 3D restent faibles pour prédire les fixations humaines.
 +
<!--
 +
Another work related to these is the validation of computational mesh saliency by using an eye-tracker, which has been the result of collaboration with Guillaume Lavoué (LIRIS), Frederic Cordier (LMIA), and Chaker Larabi (XLIM) [[https://icube-publis.unistra.fr/2-LCSL18 2-LCSL18]]. In search of validating our dynamic feature extraction work, we set our goal to build the ground truth by analyzing the human visual saliency using an eye-tracker. 2D eye fixations (i.e., where humans gaze on the screen) have been mapped onto the 3D shapes, which has served as ground-truth fixations that we used to evaluate the performance of four representative state-of-the-art mesh saliency estimator models. We have shown that, even combined with a center-bias model, the performance of 3D saliency algorithms remains poor at predicting human fixations.
 +
-->
 +
 
 +
<center>
 +
{|
 +
|valign="top"|[[Image:eye_tracking_eg2018.png|left|thumb|x120px| [[https://icube-publis.unistra.fr/2-LCSL18 2-LCSL18]]: Saillance "humaine" obtenue par oculumétrie et plaquée sur un maillage 3D (2ème carte de couleur à partir de la gauche) et comparée avec des modèles d'estimation de saillance de l'état de l'art. La corrélation de Pearson (ρ) entre les cartes de saillance "humaines" et calculées sont présentées à l'aide de cartes de couleurs.]]
 +
|}
 +
</center>
 +
 
 +
====Reconstruction d'objets floraux à partir de croquis====
 +
Avec Cédric Bobenrieth (doctorant, qui a soutenu sa thèse en décembre 2019) et d'autres co-encadrants, nous nous sommes concentrés sur la reconstruction à base de croquis d'objets floraux [[https://icube-publis.unistra.fr/2-BSCH18 2-BSCH18]], l'un des sujets les plus populaires du dessin artistique. Bien que l'on puisse faire une hypothèse structurelle forte sur les objets floraux, ils présentent une grande variété de formes et de complexité géométrique, ce qui rend le problème difficile. À la différence des modeleurs de fleurs existants, qui demandent aux utilisateurs de travailler avec différentes vues en fournissant des croquis étape par étape, nous développons un nouveau modeleur où l'utilisateur peut rapidement créer des modèles géométriques de qualité de fleurs en dessinant un croquis à vue unique d'un point de vue arbitraire. À notre connaissance, nous sommes les premiers à introduire un tel système. Plus récemment, nous avons développé un modeleur plus générique basé sur des croquis permettant à l'utilisateur de générer des formes 3D de toutes sortes d'objets à partir de croquis sans aucune hypothèse structurelle, au prix d'une intervention manuelle, mais minimale [[https://icube-publis.unistra.fr/2-BCHS20 2-BCHS20]].
 +
<!--
 +
Together with Cedric Bobenrieth (doctorant, defended in December 2019) and other co-encadrants, we have focused on the sketch-based reconstruction of floral objects [[https://icube-publis.unistra.fr/2-BSCH18 2-BSCH18]], one of the most popular subjects in artistic drawing. Although one can make a strong structural assumption over floral objects, they exhibit a large variety of shapes and geometrical complexity, making the problem challenging. Differently from existing flower modelers which require users to work with different views providing step-by-step sketch input, we develop a new modeler where user can rapidly create quality geometric models of flowers by drawing a single-view sketch of arbitrary viewpoint. To our knowledge we are the first to introduce such a system. More recently, we have developed a more generic sketch-based modeler allowing the user to generate 3D shapes of all sorts of objects from sketches without any structural assumption, at the cost of manual, yet minimal intervention [[https://icube-publis.unistra.fr/2-BCHS20 2-BCHS20]].
 +
-->
 +
 
 +
<center>
 +
{|
 +
|valign="top"|[[Image:flowers_pg2018.png|left|thumb|x120px| [[https://icube-publis.unistra.fr/2-BSCH18 2-BSCH18]]: Résultats obtenus avec notre modeleur d'objets floraux.]]
 +
|}
 +
</center>
 +
 
 +
====Changements de volumes et déformations durant la radiothérapie pour le traitement du cancer du sein====
 +
Dans le cadre du stage M2 d'Yvan Pin, radio-oncologue, nous avons développé un logiciel et un protocole de mesure pour la détection assistée par ordinateur du changement morphologique des seins pendant la thérapie d'irradiation post-opératoire [[https://icube-publis.unistra.fr/4-PSDN18 4-PSDN18]]. L'objectif spécifique de cette étude est de proposer un nouveau protocole d'irradiation personnalisable basé sur la détection assistée par ordinateur du changement de volume et de forme des seins tout au long de l'irradiation. Depuis que le nouveau protocole proposé a été autorisé par le comité d'éthique du Centre Paul Strauss en 2017, nous avons collecté les jeux de données de surface d'environ 55 sujets soumis à la thérapie d'irradiation post-opératoire, qui ont soit terminé les sessions d'irradiation, soit sont en cours de continuation. Dans le but de poursuivre l'étude en étroite collaboration avec les radiothérapeutes du Centre Paul Strauss, Hyewon Seo a déménagé sur le site de l'hôpital (Clovis Vincent) en 2017, ce qui a conduit à partir de 2021 à la formation d'une nouvelle équipe de recherche orientée vers les données et les modèles en sciences médicales.
 +
<!--
 +
In the framework of the stage M2 of Yvan Pin, radiation oncologist, we have developed a software and a measurement protocol for the computer-assisted detection of morphological change of breasts during the post-operative irradiation therapy [[https://icube-publis.unistra.fr/4-PSDN18 4-PSDN18]]. The specific goal of this study is to propose a new, personalisable irradiation protocol based on computer-assisted detection of breast volume and shape change throughout the irradiation. Since the proposed new protocol has been authorized by the ethics committee of Centre Paul Strauss in 2017, we have been collecting the surface datasets of approximately 55 subjects undergoing the post-operative irradiation therapy, who have either completed the irradiation sessions or are under continuation. In the plan of continuing the study in close collaboration with radio therapists at Centre Paul Strauss, Hyewon Seo has moved to the hospital site (Clovis Vincent) in 2017, which became an initiative to a new research team oriented towards data and models in medical science, starting from 2021.
 +
-->
 +
 
 +
{{PAGE_End}}

Version actuelle datée du 29 avril 2022 à 14:58

Objectifs / Challenges

Notre premier challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images, et de les exploiter dans un contexte d'édition et de rendu en temps réel. Pour cela il est nécessaire de se doter d'outils d'analyse d'images, de modèle procéduraux, et de techniques de filtrage adaptées. Le deuxième challenge concerne le développement de méthodes d'analyse de formes statiques et en mouvement, avec comme objectifs de pouvoir effectuer de la régression à partir de paramètres sémantiques, de la compression d'animations, de la reconstruction de formes à partir de croquis, ou encore l'adaptation de protocoles de radiothérapie.

Participants

  • 1 CR1 CNRS : Hyewon Seo (-mars 2019)
  • 2 professeurs : Jean-Michel Dischler, Franck Hétroy-Wheeler
  • 4 maîtres de conférences : Rémi Allègre, Arash Habibi, Basile Sauvage, Jonathan Sarton
  • 1 maître de conférences associé : Frédéric Cordier, UHA (-janv. 2020)
  • 2 ingénieurs : Sylvain Thery, Frédéric Larue (-oct. 2020) puis Joris Ravaglia (oct. 2020-)
  • Post-Doctorant : Xavier Chermain (déc. 2019-nov.2021)
  • Doctorants : Geoffrey Guingo (oct. 2015-déc. 2019), Pascal Guehl (oct. 2016-), Cédric Bobenrieth (oct. 2016-déc. 2019), Nicolas Lutz (oct. 2017-août 2022), Florian Allender (oct. 2018-), Charline Grenier (oct. 2020-), Guillaume Baldi (oct. 2020-)

Résultats

Textures, rendu et visualisation

Dans le domaine des textures, notre objectif était de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, nécessitant des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée devait nous permettre de produire des textures de contenus plus facilement contrôlables (comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D). L’analyse issue de l’acquisition de modèles 3D a été abandonnée au profit de l’analyse d’images de textures en raison de l’apparition de banques de textures et de matériaux accessibles en ligne, et d’une grande variété en termes de contenus. Les feux ont été poussés sur la synthèse de textures et de matériaux à la volée et procédurale, avec une attention particulière portée à la perception [2-VSKL17], à la prise en compte des variations spatiales [2-GSDC17]-[4-GSDC17] (thèse de G. Guingo commencée au 1/10/2015) [2-LSD21] (thèse N. Lutz commencée au 1/10/2018), au contrôle [2-GADB20]-[4-GADB20] (thèse de P. Guehl commencée au 1/10/2016), et aux effets dynamiques [2-GLSL20] (thèse de G. Guingo). L’émergence du Deep Learning nous a par ailleurs conduit à considérer cette approche pour améliorer les méthodes d’analyse et la synthèse, avec en particulier des applications en imagerie histopathologique (thèse de F. Allender commencée au 1/10/2018 [7-AAWD20] et thèse de G. Baldi commencée au 1/10/2020). Afin de pérenniser nos travaux, les rendre reproductibles, et contribuer à la science ouverte, nous avons développé une bibliothèque open source d’analyse de synthèse de textures ASTex, et mis à disposition de la communauté une banque de données de structures procédurales [2-GADB20]-[4-GADB20].

[2-GSDC17]-[4-GSDC17] La déformation de textures produit de la variété à condition que l'apparence de petite échelle soit préservée. Une rotation et des étirements sont appliqués en utilisant le modèle usuel à une seule couche (en haut) et notre modèle à deux couches : notre modèle permet de déformer des textures structurées tout en préservant les détails de petite échelle (motifs de bruit).
[2-GADB20]-[4-GADB20] Synthèse de textures semi-procédurale. En haut : cartes de structure binaires générées à l'aide de notre modèle procédural ; en bas : résultat d'interpolation entre deux structures et résultat d'une synthèse de texture guidée par cette structure.
[2-GLSL20] A gauche : un cylindre courbé texturé avec des écailles de serpent, déformées selon le tenseur calculé par notre méthode. L'intensité de la déformation est illustrée en bas (bleu : pas de déformation; vert : étirement; rouge : compression). A droite : texture visualisée dans l'espace paramétrique. En haut : avec notre méthode, les écailles sont déformées en tenant compte de leur rigidité. En bas : aucun contrôle n'est appliqué, donnant un résultat moins réaliste.

Les compétences en synthèse de textures procédurales et en filtrage de textures pour le rendu [4-LSLD19,2-LSD21] (thèse N. Lutz) ont ouvert l’opportunité de collaborer avec l’équipe Computer Graphics au Karlsruher Institut für Technologie, et ainsi d’élargir notre champ de compétences au rendu photo-réaliste de matériaux : nous avons recruté X. Chermain en Postdoc (2019, projet lauréat Idex Unistra 2019) et Ch. Grenier en thèse (2020, projet ANR PRCI ReProcTex). Des premiers travaux sur une BRDF basée physique et procédurale pour le rendu temps réel de scintillement ont été publiés [2-CSDD20]-[4-CSDD20, 4-CLSD21].

[2-CSDD20]-[4-CSDD20] Une 2 CV est rendue avec notre BRDF en utilisant des scintillements colorés pour simuler la peinture de la carosserie.

Par ailleurs, l’arrivée de J. Sarton au 1/09/2019 nous permet de relancer nos activités dans le domaine de la visualisation, et plus particulièrement la visualisation interactive haute performance de données volumiques [7-Sart19].

Analyse statistique des déformations de vêtements d'humains en mouvement

Grâce aux technologies récentes, notamment les systèmes multi-caméras, il est possible de représenter une personne en mouvement virtuellement, sous forme de séquence de maillages sans cohérence temporelle. L'utilisation d'un modèle statistique permet alors de retrouver la géométrie et le mouvement du corps humain, même si la personne étudiée est habillée de vêtements amples. Nous nous sommes intéressés à l'analyse du mouvement de ces vêtements et avons proposé un modèle à deux composantes, d'une part pour réduire la dimension de l'espace d'informations observées et d'autre part pour régresser à partir de n'importe quel paramètre sémantique à l'espace de paramétrisation des vêtements. Ce travail a été présenté à la très sélective conférence ECCV en 2018 [4-YFHW-18].

Animation et compression de maillages 3D

Après avoir travaillé sur certains aspects fondamentaux de l'analyse de formes pendant le projet ANR SHARED (2010-2015), nous avons étudié une extension de ces travaux pour la compression de maillages déformables, en collaboration avec Guoliang Luo, notre ancien doctorant et maintenant professeur associé à l'Université East China Jiaotong, et d'autres collègues internationaux (Chine et USA) [4-LDJZ19]. Notre stratégie consiste à exploiter la cohérence spatio-temporelle d'un segment de maillage pour représenter de manière compacte une maillage animé. Étant donné un maillage 3D sur lequel une segmentation spatio-temporelle basée sur le mouvement a été calculée, nous effectuons une compression basée sur l'ACP sur chaque segment spatio-temporel. Comme notre algorithme est conçu pour exploiter les redondances temporelles et spatiales de la segmentation en déterminant de manière adaptative les limites de la segmentation, il présente, comme prévu, des performances nettement supérieures à celles d'autres méthodes de compression comparables.

[4-LDJZ19]: Erreurs de reconstruction de la compression en utilisant notre méthode, ‘Adapted Soft’, ‘Adapted PCA’, ‘Original Soft’ [Karni and Gotsman 2004] et ‘Original Simple’ [Sattler et al. 2005]. L'échelle de couleur indique l'erreur de reconstruction de valeurs faibles (bleu) vers élevées (rouge).

Validation de caractéristiques visuelles calculées

Un autre travail lié aux précédents est la validation de modèles d'estimation de saillance visuelle de maillages par oculométrie, qui a été le fruit d'une collaboration avec Guillaume Lavoué (LIRIS), Frédéric Cordier (LMIA), et Chaker Larabi (XLIM) [2-LCSL18]. Afin de valider notre travail d'extraction de caractéristiques de saillance dynamiques, nous nous sommes fixés comme objectif de construire une vérité terrain en analysant la saillance visuelle humaine à l'aide de l'oculométrie. Les fixations oculaires 2D (c'est-à-dire les points où les humains fixent leur regard sur l'écran) ont été mises en correspondance avec les formes 3D, qui ont servi de référence pour évaluer les performances de quatre modèles représentatifs de l'état de l'art des estimateurs de saillance visuelle des maillages. Nous avons montré que, même combinés à un modèle de biais central, les performances des algorithmes de saillance 3D restent faibles pour prédire les fixations humaines.

[2-LCSL18]: Saillance "humaine" obtenue par oculumétrie et plaquée sur un maillage 3D (2ème carte de couleur à partir de la gauche) et comparée avec des modèles d'estimation de saillance de l'état de l'art. La corrélation de Pearson (ρ) entre les cartes de saillance "humaines" et calculées sont présentées à l'aide de cartes de couleurs.

Reconstruction d'objets floraux à partir de croquis

Avec Cédric Bobenrieth (doctorant, qui a soutenu sa thèse en décembre 2019) et d'autres co-encadrants, nous nous sommes concentrés sur la reconstruction à base de croquis d'objets floraux [2-BSCH18], l'un des sujets les plus populaires du dessin artistique. Bien que l'on puisse faire une hypothèse structurelle forte sur les objets floraux, ils présentent une grande variété de formes et de complexité géométrique, ce qui rend le problème difficile. À la différence des modeleurs de fleurs existants, qui demandent aux utilisateurs de travailler avec différentes vues en fournissant des croquis étape par étape, nous développons un nouveau modeleur où l'utilisateur peut rapidement créer des modèles géométriques de qualité de fleurs en dessinant un croquis à vue unique d'un point de vue arbitraire. À notre connaissance, nous sommes les premiers à introduire un tel système. Plus récemment, nous avons développé un modeleur plus générique basé sur des croquis permettant à l'utilisateur de générer des formes 3D de toutes sortes d'objets à partir de croquis sans aucune hypothèse structurelle, au prix d'une intervention manuelle, mais minimale [2-BCHS20].

[2-BSCH18]: Résultats obtenus avec notre modeleur d'objets floraux.

Changements de volumes et déformations durant la radiothérapie pour le traitement du cancer du sein

Dans le cadre du stage M2 d'Yvan Pin, radio-oncologue, nous avons développé un logiciel et un protocole de mesure pour la détection assistée par ordinateur du changement morphologique des seins pendant la thérapie d'irradiation post-opératoire [4-PSDN18]. L'objectif spécifique de cette étude est de proposer un nouveau protocole d'irradiation personnalisable basé sur la détection assistée par ordinateur du changement de volume et de forme des seins tout au long de l'irradiation. Depuis que le nouveau protocole proposé a été autorisé par le comité d'éthique du Centre Paul Strauss en 2017, nous avons collecté les jeux de données de surface d'environ 55 sujets soumis à la thérapie d'irradiation post-opératoire, qui ont soit terminé les sessions d'irradiation, soit sont en cours de continuation. Dans le but de poursuivre l'étude en étroite collaboration avec les radiothérapeutes du Centre Paul Strauss, Hyewon Seo a déménagé sur le site de l'hôpital (Clovis Vincent) en 2017, ce qui a conduit à partir de 2021 à la formation d'une nouvelle équipe de recherche orientée vers les données et les modèles en sciences médicales.