https://igg.icube.unistra.fr/api.php?action=feedcontributions&user=Conversion+script&feedformat=atomÉquipe IGG : Informatique Géométrique et Graphique - Contributions de l’utilisateur [fr]2024-03-29T08:49:04ZContributions de l’utilisateurMediaWiki 1.35.8https://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6621Offres Stages Thèses2017-12-06T14:30:58Z<p>Conversion script : </p>
<hr />
<div>[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2018 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
== Sujets de stage Master 2 ==<br />
'''Comment postuler''' : Pour candidater à une de ces offres, vous devez envoyer votre dossier candidature par mail aux encadrants indiqués sur le sujet.<br />
Ce dossier doit inclure au minimum, un CV, une lettre de motivation. Vous pouvez y ajouter une description de projets que vous auriez réalisés dans le cadre de vos études en lien avec le sujet et/ou une lettre de recommandation du responsable du master ou de vos enseignants de spécialité.<br />
<br />
Les offres indiquées ici sont ouvertes. Lorsqu'un sujet aura été pourvu, une indication en sera faite sur cette page.<br />
<br />
''Sujets orientés "développement"''<br />
<br />
* [[:File:Stage_M2_RV_Usine_du_futur.pdf|Développement d'une maquette interactive en Réalité virtuelle pour l'industrie du futur]] Encadrants: Capobianco Antonio, Laurent Thoraval et David Cazier<br />
* [[Media:Offre_de_stage_R&D_IGG.pdf|Développement d’une plateforme expérimentale pour la Réalité Virtuelle, Augmentée & Mixte]] Encadrants : Julien Casarin, Frédéric Larue et Dominique Bechmann<br />
* [[Media:Multiresolution_Volumetric_Editing.pdf|Multiresolution Volumetric Editing]] Encadrants : Lionel Untereiner<br />
<br />
''Sujets orientés "recherche"''<br />
<br />
* [[:File:Cybersickless_M2_AnalyseDuMalEtre.pdf| Détection du mal du simulateur par l'analyse temps-réel de biomarqueurs]] Encadrants: Antonio Capobianco<br />
* [[Media:M2ISI-Stage2018-CVTmultires.pdf|Diagramme de Voronoï centroïdal multi-résolution]] Encadrants : Franck Hétroy-Wheeler et Dominique Bechmann<br />
* [https://docs.google.com/document/d/1CN1htT-0ISHvHDKrh8zrGim1smn3RKYNFy6fOvHuxkA/edit?usp=sharing| Preuve de correction de programmes de construction géométrique] Encadrants : Pascal Schreck et Julien Narboux.<br />
<br />
''Sujets R&D ''<br />
<br />
* [[Media:SurfReconstruct_GPU.pdf| Algorithme de reconstruction surfacique massivement parallèle sur GPU ]] Encadrants : Sylvain Thery, Dobrina Boltcheva (LORIA-ALICE) et Dominique Bechmann<br />
* [[Media:M2ISI-Stage2018-plant_tracking.pdf|Skeleton and feature computation for plant growth tracking]] Encadrants : Franck Hétroy-Wheeler et Julien Pansiot (Inria Grenoble)<br />
* [[Media:M2Internship_DeepLearningTextures.pdf|Deep learning cascade evaluation of texture synthesis methods]] Encadrants : Rémi Allègre, Basile Sauvage, Cédric Wemmert (équipe SDC) '''POURVUE'''<br />
* [[:File:Stage_M2_Visualisation_temporelle_Donnees.docx.pdf| Visualisation de séries temporelles de données géographique]] Encadrants: Antonio Capobianco et Baptiste Lafabregue (Équipe SDC)<br />
* [[:File:maillage_adaptatif_inondation_2.pdf|Une procédure de maillage adaptatif et régionalisation de domaine pour une parallélisation à grande échelle]] Encadrants: Pierre Kraemer, Pascal Finaud-Guyot (équipe MécaFlu), Jens Gustedt (équipe ICPS) '''POURVUE'''<br />
* [https://drive.google.com/open?id=1GCELBqJwNg9FbP-VnGxbKhig5hrWzmYu Exploration interactive de données hiérarchiques valuées] Encadrants: Basile Sauvage, Anne Jeannin-Girardon, Antonio Capobianco<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
* [[Media:JobPosition2.pdf|Informatique graphique et traitement d'images pour la simulation de cryochirurgie]] Encadrante : Caroline Essert<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
* [http://hdworlds.unistra.fr/index.php/Fichier:PhDsubjectMulti-channelproceduralmodels.pdf Modèles procéduraux multi-canaux pour la modélisation de mondes virtuels] Directeur : Jean Michel Dischler, co-encadrant : Basile Sauvage <br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directrice : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGG-Simulation.pdf|Simulations physiques et volumes de subdivisions adaptatifs]] Directeur.e.s : D. Bechmann, D. Cazier, co-encadrant : P. Kraemer<br />
* [[Media:PhDCE2017-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage <br />
* [[Media:Reconstruction_vaisseau.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau<br />
* [[Media:Maillage_adaptatif_inondation.pdf|Remaillage dynamique pour la modélisation des inondations]] Encadrants : Pierre Kraemer, Pascal Finaud-Guyot<br />
<!--* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler --><br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
* [https://docs.google.com/document/d/1TDXGceY6j6wPDR5z5xf-nAdrDSYLIsORiOGnaFW8cgQ/pub Preuve formelle en géométrie appliquée à l'enseignement], encadrant: Julien Narboux<br />
<br />
* [[Media:IGG-L3_2017-CRYO.pdf|Modélisation d’effet thermique sur GPU pour l’assistance à la cryoablation percutanée]] Encadrante : Caroline Essert<br />
<br />
* [[Media:IGG-L3_2017-Stage_LeapMotion.pdf|Techniques d’interaction basées sur la reconnaissance de gestes : interagir en 3D avec la Leapmotion<br />
]] Encadrants : Antonio Capobianco, Frédéric Larue, Caroline Essert<br />
<br />
* [[Media:IGG_L3_stage_cmi_benchmark.pdf|Évaluation croisée des performances des logiciels SOFA et cgogn]] Encadrant : Lionel Untereiner (INRIA), Lieux : Campus de l'Hopital Civil (centre ville)<br />
<br />
'''Stages courts de 2 mois ou plus'''<br />
<br />
* [https://drive.google.com/file/d/0B6nyIU4e7SM2eV9GVjhOZHhpOFE/view?usp=sharing Visualisation de cartes hiérarchiques], encadrants: Basile Sauvage, Anne Jeannin-Girardon, Antonio Capobianco<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. <br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. <br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR) <br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre <br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6557Offres Stages Thèses2017-11-03T13:37:14Z<p>Conversion script : </p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2018 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:M2Internship_DeepLearningTextures.pdf|Deep learning cascade evaluation of texture synthesis methods]] Encadrants : Rémi Allègre, Basile Sauvage, Cédric Wemmert (équipe SDC)<br />
<br />
=> Affichage pour le 11 novembre 2017.<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
* [[Media:JobPosition2.pdf|Informatique graphique et traitement d'images pour la simulation de cryochirurgie]] Encadrante : Caroline Essert<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
* [http://hdworlds.unistra.fr/index.php/Fichier:PhDsubjectMulti-channelproceduralmodels.pdf Modèles procéduraux multi-canaux pour la modélisation de mondes virtuels] Directeur : Jean Michel Dischler, co-encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directrice : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGG-Simulation.pdf|Simulations physiques et volumes de subdivisions adaptatifs]] Directeur.e.s : D. Bechmann, D. Cazier, co-encadrant : P. Kraemer<br />
* [[Media:PhDCE2017-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Reconstruction_vaisseau.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau<br />
* [[Media:Maillage_adaptatif_inondation.pdf|Remaillage dynamique pour la modélisation des inondations]] Encadrants : Pierre Kraemer, Pascal Finaud-Guyot<br />
<!--* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler --><br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
* [https://docs.google.com/document/d/1TDXGceY6j6wPDR5z5xf-nAdrDSYLIsORiOGnaFW8cgQ/pub Preuve formelle en géométrie appliquée à l'enseignement], encadrant: Julien Narboux<br />
<br />
* [[Media:IGG-L3_2017-CRYO.pdf|Modélisation d’effet thermique sur GPU pour l’assistance à la cryoablation percutanée]] Encadrante : Caroline Essert<br />
<br />
* [[Media:IGG-L3_2017-Stage_LeapMotion.pdf|Techniques d’interaction basées sur la reconnaissance de gestes : interagir en 3D avec la Leapmotion<br />
]] Encadrants : Antonio Capobianco, Frédéric Larue, Caroline Essert<br />
<br />
* [[Media:IGG_L3_stage_cmi_benchmark.pdf|Évaluation croisée des performances des logiciels SOFA et cgogn]] Encadrant : Lionel Untereiner (INRIA), Lieux : Campus de l'Hopital Civil (centre ville)<br />
<br />
'''Stages courts de 2 mois ou plus'''<br />
<br />
* [https://drive.google.com/file/d/0B6nyIU4e7SM2eV9GVjhOZHhpOFE/view?usp=sharing Visualisation de cartes hiérarchiques], encadrants: Basile Sauvage, Anne Jeannin-Girardon, Antonio Capobianco '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR) '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6555Offres Stages Thèses2017-11-03T13:34:26Z<p>Conversion script : </p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2018 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
Deep learning cascade evaluation of texture synthesis methods Encadrants : Rémi Allègre, Basile Sauvage, Cédric Wemmert (équipe SDC)<br />
<br />
=> Affichage pour le 11 novembre 2017.<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
* [[Media:JobPosition2.pdf|Informatique graphique et traitement d'images pour la simulation de cryochirurgie]] Encadrante : Caroline Essert<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
* [http://hdworlds.unistra.fr/index.php/Fichier:PhDsubjectMulti-channelproceduralmodels.pdf Modèles procéduraux multi-canaux pour la modélisation de mondes virtuels] Directeur : Jean Michel Dischler, co-encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directrice : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGG-Simulation.pdf|Simulations physiques et volumes de subdivisions adaptatifs]] Directeur.e.s : D. Bechmann, D. Cazier, co-encadrant : P. Kraemer<br />
* [[Media:PhDCE2017-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Reconstruction_vaisseau.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau<br />
* [[Media:Maillage_adaptatif_inondation.pdf|Remaillage dynamique pour la modélisation des inondations]] Encadrants : Pierre Kraemer, Pascal Finaud-Guyot<br />
<!--* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler --><br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
* [https://docs.google.com/document/d/1TDXGceY6j6wPDR5z5xf-nAdrDSYLIsORiOGnaFW8cgQ/pub Preuve formelle en géométrie appliquée à l'enseignement], encadrant: Julien Narboux<br />
<br />
* [[Media:IGG-L3_2017-CRYO.pdf|Modélisation d’effet thermique sur GPU pour l’assistance à la cryoablation percutanée]] Encadrante : Caroline Essert<br />
<br />
* [[Media:IGG-L3_2017-Stage_LeapMotion.pdf|Techniques d’interaction basées sur la reconnaissance de gestes : interagir en 3D avec la Leapmotion<br />
]] Encadrants : Antonio Capobianco, Frédéric Larue, Caroline Essert<br />
<br />
* [[Media:IGG_L3_stage_cmi_benchmark.pdf|Évaluation croisée des performances des logiciels SOFA et cgogn]] Encadrant : Lionel Untereiner (INRIA), Lieux : Campus de l'Hopital Civil (centre ville)<br />
<br />
'''Stages courts de 2 mois ou plus'''<br />
<br />
* [https://drive.google.com/file/d/0B6nyIU4e7SM2eV9GVjhOZHhpOFE/view?usp=sharing Visualisation de cartes hiérarchiques], encadrants: Basile Sauvage, Anne Jeannin-Girardon, Antonio Capobianco '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR) '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6445Offres Stages Thèses2017-01-18T20:28:47Z<p>Conversion script : </p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
* [[Media:JobPosition2.pdf|Informatique graphique et traitement d'images pour la simulation de cryochirurgie]] Encadrante : Caroline Essert<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<!--* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler --><br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR)<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6444Offres Stages Thèses2017-01-18T20:07:06Z<p>Conversion script : </p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de post-doc ==<br />
<br />
* [[Media:JobPosition2.pdf|Informatique graphique et traitement d'images pour la simulation de cryochirurgie]] Encadrante : Caroline Essert<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR)<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6432Offres Stages Thèses2016-11-15T15:14:05Z<p>Conversion script : </p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage<br />
* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrants : Rémi Allègre, Jean-Michel Dischler<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR)<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Offres_Stages_Th%C3%A8ses&diff=6431Offres Stages Thèses2016-11-15T15:10:43Z<p>Conversion script : Ajout sujets M2 2017</p>
<hr />
<div><br />
[[en:Job openings]]<br />
__NOTOC__ <br />
<br />
= Offres IGG 2017 =<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:17_sujet_M2R_multichannel_textures_FR.pdf|Textures Gaussiennes multi-canaux]] Encadrant : Basile Sauvage<br />
* [[Media:Stage_M2_Texture_transitions_2017_FR.pdf|Gestion des transitions de contenus en synthèse de textures composites par patchs]] Encadrant : Rémi Allègre, Jean-Michel Dischler<br />
<br />
= Offres IGG 2016 =<br />
<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
* [[Media:SujetTheseIGGSubdivision.pdf|Surface et volume de subdivision interpolants couplés aux modèles topologiques adaptatifs et multirésolutions]] Directeure : D. Bechmann, co-encadrement : P. Kraemer, collaboration MIMESIS : D. Cazier et L. Untereiner<br />
<!--* [[Media:PhDCE2016-FR.pdf|Optimisation de trajectoires multi-outils en chirurgie]] Directrice : C. Essert--><br />
* [[:File:Modelisation_Geometrique_par_croquis.pdf|Modélisation géométrique par croquis]] Directeurs : F. Cordier, H. Seo, co-encadrant : A. Habibi '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* '''Acquisition, Analyse et Modelisation Statistique d'Humains 4D''' Directeurs : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], co-encadrant : Christian Heinrich<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Master M2 - 3D Puzzle 2015 (v2).pdf| 3D Puzzling : Reconstruction d’objets manufacturés par assemblage de données surfaciques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], [http://www.postech.ac.kr/~leesy/ SeungYong Lee]. NOTE: Pour ceux qui cherchent leurs stages à l'etranger, ce stage pourrait être eventuallment effectué à [http://www.postech.ac.kr/ POSTECH], Corée du Sud. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:Learning_based_Facial_Animation.pdf| Learning-Based Facial Animation.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier], Guoliang Luo. '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
* [[Media:RecalageAtas2015.pdf| Construction d'un atlas statistique pour la modélisation et le recalage de maillages dynamiques.]] Encadrants : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo], Christian Heinrich, [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
* [[Media:IGG-M2ISI-PlanifRobot2016.pdf|Planification de trajectoires pour le pilotage d’un un robot d’assistance à la chirurgie percutanée]] Encadrants : Caroline Essert, Bernard Bayle (ICube AVR)<br />
* [[Media:reconstruction_vaisseaux.pdf|Génération de maillage volumique de vaisseaux pour la simulation de fluides]] Encadrants : Pierre Kraemer, David Cazier, Yannick Hoarau.<br />
<br />
= Offres IGG 2015 =<br />
== Contrats doctoraux de l'Université de Strasbourg ==<br />
<br />
* [[Media:SujetTheseIGGDeformation.pdf|Outils de déformation multidimensionnels]] Directeure : D. Bechmann, co-encadrant : P. Kraemer<br />
<br />
* [[Media:Sujet_IGG_Dischler_Allegre_2015_FR_complement.pdf|Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé]] Directeur : J.-M. Dischler, co-encadrant : R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:SujetTheseIGGCoq.pdf|Outils de génie logiciel pour faciliter le dévelopement et l’automatisation de preuves formelles Coq en géométrie]] Directeur : P. Schreck, co-encadrant: N. Magaud '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
== Sujets de stage Master 2 ==<br />
<br />
* [[Media:Stage_M2_Numerisation_2015.pdf|Estimation des propriétés photométriques pour des objets 3D numérisés en conditions d’éclairage non contrôlées]] Encadrants : J.-M. Dischler, R. Allègre '''<span style="color:Red">OFFRE POURVUE</span>'''<br />
<br />
* [[Media:StageMasterDeformation.pdf|Outils de déformation multidimensionnels]] Encadrants : D. Bechmann, I. Charpentier, P. Kraemer<br />
<br />
* [[Media:StageMasterMarchingCubeMultiOrganes.pdf|Reconstruction multi-organes d'images médicales]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:StageMasterReconstructionVaisseaux.pdf| Reconstruction des vaisseaux à partir de leur structure topologique]] Encadrants : D. Bechmann, S. Thery<br />
<br />
* [[Media:EyeTrackingMaster (Strasbourg).pdf|Eye Tracking et modèle de saillance visuelle pour les objets tridimensionnels.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://liris.cnrs.fr/guillaume.lavoue/ Guillaume Lavoué] (LIRIS Lyon), [http://xlim-sic.labo.univ-poitiers.fr/larabi/ Chaker Larabi] (XLIM Poitier)<br />
<br />
* [[Media:RecalageAtlas.pdf| Construction d'un atlas statistique pour le recalage 4D de maillages dynamiques.]] Encadrants : [http://icube-igg.unistra.fr/index.php/Hyewon_Seo Hyewon Seo], [http://icube-miv.unistra.fr/fr/index.php/Christian_Heinrich Christian Heinrich], [http://www.mage.fst.uha.fr/cordier/ Frederic Cordier]<br />
<br />
* [https://docs.google.com/document/d/1R39fSKGhBU3PPLyjemCs6x8yVGUh1kyDsYljTiZ_yXU/pub Preuves formelles en géométrie du triangle: vers une encyclopédie certifiée], Julien Narboux<br />
<br />
* [https://docs.google.com/document/d/1YzafshfXDFyHrDl1XZ2rDMEGgqvFB_xl8j10LdJ8AbY/pub Symétrie dans les preuves formelles], Julien Narboux<br />
<br />
* [[Media:StageMasterRangsCoq.pdf|Approche combinatoire pour l’automatisation en Coq de démonstrations formelles en géométrie projective]] Encadrants : Nicolas Magaud, Pascal Schreck<br />
<br />
* [[Media:StageMasterOmegaAQAs.pdf|Transformation affine d’image avec précision arbitraire]] Encadrants : Nicolas Magaud, Loïc Mazo (ICube MIV), Marie-André Da Col (ICube MIV)<br />
<br />
<br />
== Sujets de stage Licence ou Master 1 ==<br />
<br />
'''Stages courts de moins de 8 semaines (39 jours MAX) ''sans gratification'' '''<br />
<br />
'''Stages "sur projets" ''avec gratification'' '''<br />
* [[Media:StageClinMod_HumanModeler.pdf|Génération de cliniciens virtuels en 3D.]] Encadrants : Hyewon Seo, Nicolas Padoy, Frederic Cordier, Frederic Larue.</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=R%C3%A9mi_All%C3%A8gre&diff=6422Rémi Allègre2016-10-14T10:43:10Z<p>Conversion script : </p>
<hr />
<div>__NOEDITSECTION__<br />
__NOTOC__<br />
<br />
=== Maître de Conférences en Informatique ===<br />
<br />
* Enseignant à [http://iuthaguenau.u-strasbg.fr l'IUT de Haguenau]<br />
* Chercheur au [http://icube.unistra.fr laboratoire des Sciences de l'Ingénieur, de l'Informatique et de l'Imagerie (ICube)] de l'[http://www.unistra.fr Université de Strasbourg]<br />
<br />
{| cellspacing="20" width="100%"<br />
|<br />
Rémi Allègre<br />
ICube - UMR 7357 Université de Strasbourg / CNRS<br />
Pôle API C125<br />
Bd Sébastien Brant - BP 10413<br />
67412 Illkirch cedex<br />
&nbsp;<br />
Tel ICube : +33 (0)3 68 85 44 67<br />
Fax ICube : +33 (0)3 68 85 44 55 <br />
Tel IUT : +33 (0)3 88 05 34 48<br />
Courriel : remi.allegre AT unistra.fr<br />
|align="right"|[[Image:Allegre_3.jpg|right|Rémi Allègre]]<br />
|}<br />
<br />
Pour des informations plus détaillées, merci de consulter ma [http://igg.unistra.fr/People/allegre page personnelle]<br />
<br />
===Recherche===<br />
* Traitement de données numérisées (géométrie et apparence)<br />
* Synthèse de textures<br />
<br />
===Projets en cours===<br />
* Extraction et analyse des propriétés géométriques et photométriques pour la classification des matériaux d’objets numérisés en environnement lumineux non contrôlé (Thèse d'Alexandre Ribard démarrée au 1/11/2015)<br />
* Synthèse de texture par patchs à base de cartes de labels<br />
<br />
<br />
===Publications===<br />
<anyweb>http://icube-publis.unistra.fr/?author=allegre&title=&team=toutes&annee1=&annee2=&display=rap+&nationalRank=toutes&project=tous&hide=0</anyweb></div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6391Apparence et Mouvement2016-06-09T12:12:22Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA du 1/11/2015 au 30/04/2016), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<center><br />
{|<br />
|valign="top"|[[Image:img_featurepoints.png|left|thumb|x250px|[2-MSC15] Illustration de l'extraction de<br />
points caractéristiques détectés à l'aide de notre technique AniM-DoG sur différentes poses de maillages animés.<br />
La couleur d'une sphère représente l'échelle temporelle (du bleu au rouge) des points caractéristiques,<br />
tandis que son rayon indique l'échelle spatiale.]]<br />
|valign="top"|[[Image:img_spatialmatching.png|left|thumb|x250px| Etant donné un couple de maillages<br />
animés présentant des mouvements similaires sémantiquement, nous calculons un ensemble peu dense de<br />
points caractéristiques sur chaque maillage, ainsi que les correspondances spatiales entre eux<br />
de façon à ce que des points ayant des mouvements similaires soient mis en correspondance.]]<br />
|}<br />
</center><br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaires, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6374Apparence et Mouvement2016-06-09T09:16:40Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<center><br />
{|<br />
|valign="top"|[[Image:img_featurepoints.png|left|thumb|x250px|[2-MSC15] Illustration de l'extraction de<br />
points caractéristiques détectés à l'aide de notre technique AniM-DoG sur différentes poses de maillages animés.<br />
La couleur d'une sphère représente l'échelle temporelle (du bleu au rouge) des points caractéristiques,<br />
tandis que son rayon indique l'échelle spatiale.]]<br />
|valign="top"|[[Image:img_spatialmatching.png|left|thumb|x250px| Etant donné un couple de maillages<br />
animés présentant des mouvements similaires sémantiquement, nous calculons un ensemble peu dense de<br />
points caractéristiques sur chaque maillage, ainsi que les correspondances spatiales entre eux<br />
de façon à ce que des points ayant des mouvements similaires soient mis en correspondance.]]<br />
|}<br />
</center><br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaires, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6367Apparence et Mouvement2016-06-08T14:19:08Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<center><br />
{|<br />
|valign="top"|[[Image:img_featurepoints.png|left|thumb|x250px|[2-MSC15] Illustration de l'extraction de<br />
points caractéristiques détectés à l'aide de notre technique AniM-DoG sur différentes poses de maillages animés.<br />
La couleur d'une sphère représente l'échelle temporelle (du bleu au rouge) des points caractéristiques,<br />
tandis que son rayon indique l'échelle spatiale.]]<br />
|valign="top"|[[Image:img_spatialmatching.png|left|thumb|x250px| Etant donné un couple de maillages<br />
animés présentant des mouvements similaires sémantiquement, nous calculons un ensemble peu dense de<br />
points caractéristiques sur chaque maillage, ainsi que les correspondances spatiales entre eux<br />
de façon à ce que des points ayant un mouvement similaire soient mis en correspondance.]]<br />
|}<br />
</center><br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaires, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Rayonnement&diff=6338Rayonnement2016-05-27T09:12:01Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Visibility]]<br />
===AERES, ANR, CNRS, CNU, etc. ===<br />
<br />
*'''CNU''' : Pascal Schreck est '''membre élu du CNU en 27ème section de 2012 à 2019''', Dominique Bechmann l'était de 2007 à 2011 et Jean-François Dufourd était membre nommé du CNU27 de 2003 à 2007.<br />
<br />
*'''PEDR / PES ''' : <br />
** Dominique Bechmann était membre du comité d’expertise du MESR pour la '''PES 27ème section CNU en 2013'''.<br />
** Jean-Michel Dischler était membre du comité d’expertise du MESR pour la '''PES 27ème section CNU en 2012'''.<br />
** Jean-François Dufourd était membre du comité de délivrance de la PEDR en 2008. <br />
<br />
*'''CoNRS''' : Hyewon Seo est membre élue du Comité National de la Recherche Scientifique '''CoNRS en section 07 de 2012 à 2016'''.<br />
<br />
*'''ANR''' :<br />
** ''SIMI2'' : Jean-Michel Dischler était membre du comité STIC-Informatique (SIMI2) de l’ANR pour les programmes BLANC, JCJC et BLANC International en 2013 et Jean-François Dufourd l'était de 2009 à 2012 et il était Vice-Président de l'appel BLANC International. Il a ensuite été membre du Comité ANR d'examen à mi-parcours des projets STIC-SIMI2 de 2013 à 2015.<br />
** ''MN'' : Caroline Essert était membre du comité scientifique de l’ANR Modèles numériques de 2011 à 2013 et membre du comité de suivi de projets ANR Modèles Numériques depuis 2013, et évaluateur pour les pré-projets ANR depuis 2014 pour les Technologies pour la Santé. <br />
** ''MSMSA'' : Dominique Bechmann était membre du comité scientifique de l’ANR (Action de Recherche Amont) MSMSA (Masses de Données : Modélisation, Simulation et Applications) dans le cadre de l'ANR en 2005, en 2006 et en 2007. Participation aux réunions de suivi des projets sur 3 ans c'est à dire jusqu'en 2010. <br />
<br />
*'''AERES''' : <br />
** Jean-François Dufourd était membre du comité de visite CNRS/ICD de l'UMR CNRS-UTT STMR 6279 de l'UTT (Troyes) en 2013.<br />
** Pascal Schreck était membre du comité d'évaluation AERES (représentant CNU27) pour l'évaluation quadriennale du LIASD Paris 8 en avril 2013. Il a présenté le dossier à la réunion ANR de notation et d'intercomparaison des unités et des équipes pour cette vague (avril 2013).<br />
** Dominique Bechmann était membre du comité d’évaluation AERES (représentant CNU27) pour l’évaluation quadriennal du LSIS unité UMR CNRS – Aix Marseille Université pour ses activités en image (13-14 janvier 2011) et l’Institut d’Optique de Bordeaux pour des projets en RV (28 janvier 2010). <br />
** Jean-Michel Dischler était membre des comités d’évaluation AERES pour l’évaluation des laboratoires LIAS, Laboratoire d'Informatique Avancée de Saint Denis – Paris 8 (en février 2008) et IRCCyN (UMR CNRS 6597): Institut de Recherche en Communications et Cybernétique de Nantes (en décembre 2010)<br />
** Jean-François Dufourd était membre des comités d’évaluation AERES pour l’évaluation des laboratoires PPS, et LIAFA en 2008.<br />
<br />
*'''Divers''' : <br />
** Jean-François Dufourd est expert en informatique à la DGRI du MESR depuis 2009.<br />
<br />
===Associations=== <br />
<br />
*'''Eurographics''' : Jean-Michel Dischler est '''chair du professional board de l’association Eurographics''' depuis 2009. Depuis le 1er janvier 2016 il est membre élu de son '''comité exécutif''' (EXC board), l'instance décisionnelle de l'association. Il fait également partie du conference steering committee. <br />
<br />
*'''Computer Graphics Society''' : Hyewon Seo est membre du comité exécutif de Computer Graphics Society (CGS) depuis 2013. <br />
<br />
*'''AFIG''' : Dominique Bechmann (1995-2013) et David Cazier (depuis 2008) sont membres du conseil d’administration de l’Association Française d’Informatique Graphique. <br />
<br />
*'''AFRV''' : Depuis 2006, Dominique Bechmann est membre du conseil d’administration de l'Association Française de Réalité Virtuelle et Réalité Augmentée.<br />
<br />
===Groupement de Recherche === <br />
<br />
*'''GDR IG-RV''' : Dominique Bechmann est '''directeure du GDR IG-RV « Informatique Géométrique et Graphique, Réalité Virtuelle et Visualisation »''' depuis le 1er Janvier 2014. Précédemment elle était membre du comité de pilotage du GDR IG « Informatique Graphique » lancé en 2006 et renouvelé en 2009. L’équipe IGG est rattachée à ce GDR par l'intermédiaire des groupes de travail « Modélisation Géométrique », « Animation et Simulation », « Rendu », « Visualisation », , « Interaction 1 : Métaphores et Interfaces », « Interaction 2 : Perception et Usages ». <br />
<br />
*'''GDR IM''' : Nous sommes également rattachés au GDR IM « Informatique Mathématiques » via le groupe de travail « Modélisation Géométrique » et au GDR GPL, dans le groupe de travail « Langages, Types et Preuves ».<br />
<br />
*'''GTAS''' : David Cazier est responsable (avec Marc Parenthoen) du Groupe de Travail Animation et Simulation du GDR IG-RV depuis janvier 2015.<br />
<br />
===Organisation de colloques===<br />
<br />
*'''ADG2016''': Julien Narboux et Pascal Schreck coordonnent l'organisation de la conférence internationale Automated Deduction in Geometry 2016 à Strasbourg.<br />
<br />
*'''COQ2016''': Nicolas Magaud et Julien Narboux organisent et président le comité de programme du Workshop Coq 2016 en marge de la conférence ITP 2016 à Nancy.<br />
<br />
*'''CGI2015''' : Hyewon Seo et Frédéric Cordier ont coordonné l'organisation de la conférence internationale '''Computer Graphics International 2015''' ayant eu lieu à Strasbourg avec la participation d'une partie de l'équipe IGG (organisation locale gérée par Rémi Allègre et Basile Sauvage).<br />
<br />
*'''EUROGRAPHICS 2014''' : Jean-Michel Dischler, David Cazier et Caroline Essert ont coordonné l'organisation de la '''conférence internationale EUROGRAPHICS 2014''' ayant eu lieu à Strasbourg avec la participation de toute l'équipe IGG. <br />
<br />
*'''DBSMC / MICCAI''' : Caroline Essert a coordonné l'organisation du workshop international Deep Brain Stimulation : Methodological Challenges (DBSMC'2012) de la conférence MICCAI 2012 à Nice, et présidé son comité de programme. Elle a participé à l'organisation de la 2ème édition DBSMC'2014 de la conférence MICCAI 2014 à Boston et fait partie de son comité de programme.<br />
<br />
* '''Journées AFRV'2012''' : Dominique Bechmann était responsable du comité d'organisation de la conférence nationale AFRV’2012 (140 participants) qui a eu lieu du 29 au 31 octobre 2012 à Strasbourg.<br />
<br />
*'''ACM SAC''' : De 2006 à 2009, Pascal Schreck a été co-organisateur avec Dominique Michelucci et Xiao-Shan Gao d'une session de la conférence ACM SAC (Symposium on Applied Computing) dédiée aux contraintes et au raisonnement géométriques GCR (Geometric Constraint Reasonning).<br />
<br />
*'''Autres''' : <br />
** Caroline Essert a participé à l'organisation et au comité de programme des workshops francophones « Modèles en Stimulation Cérébrale Profonde (Planning, Implantation et Evaluation Post-opératoire): Problèmes Méthodologiques » : M-DBS’11, M-DBS’13, M-DBS’15 à Rennes.<br />
** Hyewon Seo participe au comité d'organisation et comité scientifique de "2011 EU-Korea Conference on Science and Technology", à Paris en juillet 2011.<br />
** Caroline Essert a organisé, dans le cadre du projet franco-japonais JST-CNRS "Improving the VR experience" 4 workshops franco-japonais : à Tokyo en juin 2008, à Strasbourg en mars 2009, à Bordeaux fin 2009, et au Japon fin 2010. <br />
** Julien Narboux et Nicolas Magaud ont organisé une rencontre du GDR Langages Types et Preuves à Strasbourg en novembre 2010.<br />
** Caroline Essert a organisé le symposium « VR for Medicine & Surgery » de la conférence internationale VRIC 2010 et présidé le comité de programme du symposium. <br />
<br />
===Comité éditorial et comité de lecture===<br />
<br />
* Comité éditorial :<br />
** Dominique Bechmann est rédacteure en chef du comité éditoriale de REFIG, la revue électronique française d’informatique graphique depuis sa création en 2006 (rédacteure adjointe de 2006 à 2008) <br />
** Dominique Bechmann est membre du comité éditorial de la revue IJVR International Journal of Virtual Reality depuis 2006. <br />
** Jean-Michel Dischler a été '''éditeur associé de la revue internationale Computer Graphics Forum''' (Wiley-Blackwell) du 01/04/2011 au 31/03/2014.<br />
** Frederic Cordier est éditeur associé de la revue internationale The Visual Computer (Springer) depuis juillet 2015.<br />
** Caroline Essert a été éditrice associée invitée de la revue internationale Medical Physics en 2013.<br />
** Hyewon Seo est éditeur-en-chef associé de la revue internationale The Visual Computer (Springer) depuis janvier 2016.<br />
** Hyewon Seo est éditeur associé de la revue internationale Computer Animation and Virtual Worlds (Wiley) depuis Octobre 2012.<br />
<br />
* Comité de programme : <br />
** Rémi Allègre a été membre du comité de programme de la conférence internationale Computer Graphics International (CGI 2015).<br />
** Dominique Bechmann préside le comité de programme de la conférence internationale on Computer Graphics Theory and Applications GRAPP'2017 à Porto (Portugal). Elle est membre du comité de programme des conférences internationales : ACM Symposium on Solid and Physical Modeling SPM depuis 2013, Computer Graphics Theory and Applications GRAPP depuis 2015, Human Computer Interaction Theory and Applications HUCAPP 2017, Computer Graphics International CGI depuis 2015.<br />
** Frédéric Cordier préside le comité de programme de la conférence internationale Computer Animation and Social Agents CASA'2016 à Genève, Suisse. Il a présidé le comité de programme de la conférence internationale Computer Graphics International CGI'2015 à Strasbourg. Il est membre du comité de programme des conférences internationales : ACM/Eurographics Symposium on Computer Animation (2015, 2016), International Conference on Geometric Modeling and Processing (GMP 2015, 2016), Expressive (The Joint Symposium on Computational Aesthetics and Sketch-Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering) 2014-2016, SIAM Conference on Geometric and Physical Modeling (2013 et 2016), Computer Graphics International (2010-), Computer Animation and Social Agent (2012-), ACM Symposium on Solid and Physical Modeling (2015, 2016).<br />
** Jean-Michel Dischler était membre du comité de programme des conférences : EG Parallel Graphics and Visualization (2009-2013), Computer Graphics international (2011, 2015), Theory and practice of Computer Graphics (2013), EuroVis (2010, 2012, 2013, 2014-short).<br />
** Jean François Dufourd et Pascal Schreck ont participé au comité de programme du track GCR Geometric Constraints and Reasoning de la conférence ACM Symposium on Applied Computing SAC 2011.<br />
** Julien Narboux a participé aux comités de programme de CTP Components for Educational Software (ThEDU 2011), Automated Deduction in Geometry (ADG 2010-2016), Journées Francophones des Langages Applicatifs (JFLA 2012), The 7th International Symposium on Symbolic Computation in Software Science (SCSS 2016).<br />
** Basile Sauvage a été membre du comité de programme des conférences internationales : Computer Graphics International (CGI 2015), International Conference on Computer Graphics Theory and Applications (GRAPP 2016).<br />
** Hyewon Seo est membre du comité de programme des conférences internationales : Computer Graphics International (2006-2016), International Conference on Computer Animation and Social Agents (2006-2015), et Eurographics Poster (2011).<br />
** Pascal Schreck a présidé le comité de programme du workshop Automated Deduction in Geometry ADG 2010 et co-édité avec Julien Narboux et Jürgend Richeter-Gebert les actes publiés par LNAI. Il est depuis membre de comité informel qui organise le Workshop ADG tous les deux ans.<br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Rayonnement&diff=6337Rayonnement2016-05-27T09:02:50Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Visibility]]<br />
===AERES, ANR, CNRS, CNU, etc. ===<br />
<br />
*'''CNU''' : Pascal Schreck est '''membre élu du CNU en 27ème section de 2012 à 2019''', Dominique Bechmann l'était de 2007 à 2011 et Jean-François Dufourd était membre nommé du CNU27 de 2003 à 2007.<br />
<br />
*'''PEDR / PES ''' : <br />
** Dominique Bechmann était membre du comité d’expertise du MESR pour la '''PES 27ème section CNU en 2013'''.<br />
** Jean-Michel Dischler était membre du comité d’expertise du MESR pour la '''PES 27ème section CNU en 2012'''.<br />
** Jean-François Dufourd était membre du comité de délivrance de la PEDR en 2008. <br />
<br />
*'''CoNRS''' : Hyewon Seo est membre élue du Comité National de la Recherche Scientifique '''CoNRS en section 07 de 2012 à 2016'''.<br />
<br />
*'''ANR''' :<br />
** ''SIMI2'' : Jean-Michel Dischler était membre du comité STIC-Informatique (SIMI2) de l’ANR pour les programmes BLANC, JCJC et BLANC International en 2013 et Jean-François Dufourd l'était de 2009 à 2012 et il était Vice-Président de l'appel BLANC International. Il a ensuite été membre du Comité ANR d'examen à mi-parcours des projets STIC-SIMI2 de 2013 à 2015.<br />
** ''MN'' : Caroline Essert était membre du comité scientifique de l’ANR Modèles numériques de 2011 à 2013 et membre du comité de suivi de projets ANR Modèles Numériques depuis 2013, et évaluateur pour les pré-projets ANR depuis 2014 pour les Technologies pour la Santé. <br />
** ''MSMSA'' : Dominique Bechmann était membre du comité scientifique de l’ANR (Action de Recherche Amont) MSMSA (Masses de Données : Modélisation, Simulation et Applications) dans le cadre de l'ANR en 2005, en 2006 et en 2007. Participation aux réunions de suivi des projets sur 3 ans c'est à dire jusqu'en 2010. <br />
<br />
*'''AERES''' : <br />
** Jean-François Dufourd était membre du comité de visite CNRS/ICD de l'UMR CNRS-UTT STMR 6279 de l'UTT (Troyes) en 2013.<br />
** Pascal Schreck était membre du comité d'évaluation AERES (représentant CNU27) pour l'évaluation quadriennale du LIASD Paris 8 en avril 2013. Il a présenté le dossier à la réunion ANR de notation et d'intercomparaison des unités et des équipes pour cette vague (avril 2013).<br />
** Dominique Bechmann était membre du comité d’évaluation AERES (représentant CNU27) pour l’évaluation quadriennal du LSIS unité UMR CNRS – Aix Marseille Université pour ses activités en image (13-14 janvier 2011) et l’Institut d’Optique de Bordeaux pour des projets en RV (28 janvier 2010). <br />
** Jean-Michel Dischler était membre des comités d’évaluation AERES pour l’évaluation des laboratoires LIAS, Laboratoire d'Informatique Avancée de Saint Denis – Paris 8 (en février 2008) et IRCCyN (UMR CNRS 6597): Institut de Recherche en Communications et Cybernétique de Nantes (en décembre 2010)<br />
** Jean-François Dufourd était membre des comités d’évaluation AERES pour l’évaluation des laboratoires PPS, et LIAFA en 2008.<br />
<br />
*'''Divers''' : <br />
** Jean-François Dufourd est expert en informatique à la DGRI du MESR depuis 2009.<br />
<br />
===Associations=== <br />
<br />
*'''Eurographics''' : Jean-Michel Dischler est '''chair du professional board de l’association Eurographics''' depuis 2009. Depuis le 1er janvier 2016 il est membre élu de son '''comité exécutif''' (EXC board), l'instance décisionnelle de l'association. Il fait également partie du conference steering committee. <br />
<br />
*'''Computer Graphics Society''' : Hyewon Seo est membre du comité exécutif de Computer Graphics Society (CGS) depuis 2013. <br />
<br />
*'''AFIG''' : Dominique Bechmann (1995-2013) et David Cazier (depuis 2008) sont membres du conseil d’administration de l’Association Française d’Informatique Graphique. <br />
<br />
*'''AFRV''' : Depuis 2006, Dominique Bechmann est membre du conseil d’administration de l'Association Française de Réalité Virtuelle et Réalité Augmentée.<br />
<br />
===Groupement de Recherche === <br />
<br />
*'''GDR IG-RV''' : Dominique Bechmann est '''directeure du GDR IG-RV « Informatique Géométrique et Graphique, Réalité Virtuelle et Visualisation »''' depuis le 1er Janvier 2014. Précédemment elle était membre du comité de pilotage du GDR IG « Informatique Graphique » lancé en 2006 et renouvelé en 2009. L’équipe IGG est rattachée à ce GDR par l'intermédiaire des groupes de travail « Modélisation Géométrique », « Animation et Simulation », « Rendu », « Visualisation », , « Interaction 1 : Métaphores et Interfaces », « Interaction 2 : Perception et Usages ». <br />
<br />
*'''GDR IM''' : Nous sommes également rattachés au GDR IM « Informatique Mathématiques » via le groupe de travail « Modélisation Géométrique » et au GDR GPL, dans le groupe de travail « Langages, Types et Preuves ».<br />
<br />
*'''GTAS''' : David Cazier est responsable (avec Marc Parenthoen) du Groupe de Travail Animation et Simulation du GDR IG-RV depuis janvier 2015.<br />
<br />
===Organisation de colloques===<br />
<br />
*'''ADG2016''': Julien Narboux et Pascal Schreck coordonnent l'organisation de la conférence internationale Automated Deduction in Geometry 2016 à Strasbourg.<br />
<br />
*'''COQ2016''': Nicolas Magaud et Julien Narboux organisent et président le comité de programme du Workshop Coq 2016 en marge de la conférence ITP 2016 à Nancy.<br />
<br />
*'''CGI2015''' : Hyewon Seo et Frédéric Cordier ont coordonné l'organisation de la conférence internationale '''Computer Graphics International 2015''' ayant eu lieu à Strasbourg avec la participation d'une partie de l'équipe IGG (organisation locale gérée par Rémi Allègre et Basile Sauvage).<br />
<br />
*'''EUROGRAPHICS 2014''' : Jean-Michel Dischler, David Cazier et Caroline Essert ont coordonné l'organisation de la '''conférence internationale EUROGRAPHICS 2014''' ayant eu lieu à Strasbourg avec la participation de toute l'équipe IGG. <br />
<br />
*'''DBSMC / MICCAI''' : Caroline Essert a coordonné l'organisation du workshop international Deep Brain Stimulation : Methodological Challenges (DBSMC'2012) de la conférence MICCAI 2012 à Nice, et présidé son comité de programme. Elle a participé à l'organisation de la 2ème édition DBSMC'2014 de la conférence MICCAI 2014 à Boston et fait partie de son comité de programme.<br />
<br />
* '''Journées AFRV'2012''' : Dominique Bechmann était responsable du comité d'organisation de la conférence nationale AFRV’2012 (140 participants) qui a eu lieu du 29 au 31 octobre 2012 à Strasbourg.<br />
<br />
*'''ACM SAC''' : De 2006 à 2009, Pascal Schreck a été co-organisateur avec Dominique Michelucci et Xiao-Shan Gao d'une session de la conférence ACM SAC (Symposium on Applied Computing) dédiée aux contraintes et au raisonnement géométriques GCR (Geometric Constraint Reasonning).<br />
<br />
*'''Autres''' : <br />
** Caroline Essert a participé à l'organisation et au comité de programme des workshops francophones « Modèles en Stimulation Cérébrale Profonde (Planning, Implantation et Evaluation Post-opératoire): Problèmes Méthodologiques » : M-DBS’11, M-DBS’13, M-DBS’15 à Rennes.<br />
** Hyewon Seo participe au comité d'organisation et comité scientifique de "2011 EU-Korea Conference on Science and Technology", à Paris en juillet 2011.<br />
** Caroline Essert a organisé, dans le cadre du projet franco-japonais JST-CNRS "Improving the VR experience" 4 workshops franco-japonais : à Tokyo en juin 2008, à Strasbourg en mars 2009, à Bordeaux fin 2009, et au Japon fin 2010. <br />
** Julien Narboux et Nicolas Magaud ont organisé une rencontre du GDR Langages Types et Preuves à Strasbourg en novembre 2010.<br />
** Caroline Essert a organisé le symposium « VR for Medicine & Surgery » de la conférence internationale VRIC 2010 et présidé le comité de programme du symposium. <br />
<br />
===Comité éditorial et comité de lecture===<br />
<br />
* Comité éditorial :<br />
** Dominique Bechmann est rédacteure en chef du comité éditoriale de REFIG, la revue électronique française d’informatique graphique depuis sa création en 2006 (rédacteure adjointe de 2006 à 2008) <br />
** Dominique Bechmann est membre du comité éditorial de la revue IJVR International Journal of Virtual Reality depuis 2006. <br />
** Jean-Michel Dischler a été '''éditeur associé de la revue internationale Computer Graphics Forum''' (Wiley-Blackwell) du 01/04/2011 au 31/03/2014.<br />
** Frederic Cordier est éditeur associé de la revue internationale The Visual Computer (Springer) depuis juillet 2015.<br />
** Caroline Essert a été éditrice associée invitée de la revue internationale Medical Physics en 2013.<br />
** Hyewon Seo est éditeur-en-chef associé de la revue internationale The Visual Computer (Springer) depuis janvier 2016.<br />
** Hyewon Seo est éditeur associé de la revue internationale Computer Animation and Virtual Worlds (Wiley) depuis Octobre 2012.<br />
<br />
* Comité de programme : <br />
** Dominique Bechmann préside le comité de programme de la conférence internationale on Computer Graphics Theory and Applications GRAPP'2017 à Porto (Portugal). Elle est membre du comité de programme des conférences internationales : ACM Symposium on Solid and Physical Modeling SPM depuis 2013, Computer Graphics Theory and Applications GRAPP depuis 2015, Human Computer Interaction Theory and Applications HUCAPP 2017, Computer Graphics International CGI depuis 2015.<br />
** Frédéric Cordier préside le comité de programme de la conférence internationale Computer Animation and Social Agents CASA'2016 à Genève, Suisse. Il a présidé le comité de programme de la conférence internationale Computer Graphics International CGI'2015 à Strasbourg. Il est membre du comité de programme des conférences internationales : ACM/Eurographics Symposium on Computer Animation (2015, 2016), International Conference on Geometric Modeling and Processing (GMP 2015, 2016), Expressive (The Joint Symposium on Computational Aesthetics and Sketch-Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering) 2014-2016, SIAM Conference on Geometric and Physical Modeling (2013 et 2016), Computer Graphics International (2010-), Computer Animation and Social Agent (2012-), ACM Symposium on Solid and Physical Modeling (2015, 2016).<br />
** Jean-Michel Dischler était membre du comité de programme des conférences : EG Parallel Graphics and Visualization (2009-2013), Computer Graphics international (2011, 2015), Theory and practice of Computer Graphics (2013), EuroVis (2010, 2012, 2013, 2014-short).<br />
** Jean François Dufourd et Pascal Schreck ont participé au comité de programme du track GCR Geometric Constraints and Reasoning de la conférence ACM Symposium on Applied Computing SAC 2011.<br />
** Julien Narboux a participé aux comités de programme de CTP Components for Educational Software (ThEDU 2011), Automated Deduction in Geometry (ADG 2010-2016), Journées Francophones des Langages Applicatifs (JFLA 2012), The 7th International Symposium on Symbolic Computation in Software Science (SCSS 2016).<br />
** Basile Sauvage a été membre du comité de programme des conférences internationales : Computer Graphics International (CGI 2015), International Conference on Computer Graphics Theory and Applications (GRAPP 2016).<br />
** Hyewon Seo est membre du comité de programme des conférences internationales : Computer Graphics International (2006-2016), International Conference on Computer Animation and Social Agents (2006-2015), et Eurographics Poster (2011).<br />
** Pascal Schreck a présidé le comité de programme du workshop Automated Deduction in Geometry ADG 2010 et co-édité avec Julien Narboux et Jürgend Richeter-Gebert les actes publiés par LNAI. Il est depuis membre de comité informel qui organise le Workshop ADG tous les deux ans.<br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6309Apparence et Mouvement2016-05-12T11:05:44Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaires, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des textures avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6308Apparence et Mouvement2016-05-12T11:03:47Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne soient pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaire, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des apparences avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6307Apparence et Mouvement2016-05-11T11:44:20Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne sont pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants : le cœur des recherches futures est la mise au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir des données acquises. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaire, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation de modèles 3D avec apparence dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité de l'apparence, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des apparences avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6306Apparence et Mouvement2016-05-11T11:40:28Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus plus facilement contrôlables, qui ne sont pas seulement des copies numériques des objets numérisés. Les progrès des technologies d'acquisition ne sont pas suffisants: le cœur des recherches futures est de mettre au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir de ces données. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaire, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des apparences avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6305Apparence et Mouvement2016-05-11T11:37:27Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Mais un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus mieux contrôlables (pas seulement des copies numériques). Les progrès des technologies d'acquisition ne sont pas suffisants: le cœur des recherches futures est de mettre au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir de ces données. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
Dans le domaine de la capture de mouvement, notre objectif est de 1) valider des méthodes de calcul pour l'extraction des zones de saillance, 2) développer une technique de prédiction des mouvements oculaire, et 3) mettre au point des méthodes efficaces permettant de construire la vérité terrain pour des zones de saillance spatio-temporelles. En s'appuyant sur ces méthodes, nous nous intéresserons au développement d'un modèle statistique (ou atlas) fondé sur des représentations compactes de données 4D très redondantes. Dans le domaine des textures, notre objectif futur est de permettre la visualisation dans des environnements lumineux arbitraires, ce qui nécessite des outils d'analyse plus sophistiqués pour extraire les propriétés intrinsèques des matériaux et les classifier. En plus d'améliorer la qualité, l'analyse des données d'entrée nous permettra également de produire des textures de contenus plus facilement contrôlables, comme des apparences avec variations spatiales qui dépendent de la position dans la texture et de la position sur la surface d'un modèle 3D.<br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6304Apparence et Mouvement2016-05-11T11:23:59Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
Comme mentionné plus haut, les progrès des technologies d'acquisition de la forme, du mouvement et de l'apparence<br />
ont conduit à une augmentation considérable de la qualité et de la quantité de modèles 3D produits. Mais un des principaux défis futurs pour les applications en informatique graphique est d'améliorer l'exploitation de ces données afin de produire : 1) des modèles 3D de meilleure qualité avec moins d'interventions de l'utilisateur, et 2) des contenus mieux contrôlables (pas seulement des copies numériques). Les progrès des technologies d'acquisition ne sont pas suffisants: le cœur des recherches futures est de mettre au point des méthodes de traitement de données 3D permettant d'améliorer la production de contenus 3D à partir de ces données. Dans ce contexte, des outils d'analyse spécialisés, ainsi que des techniques permettant de les évaluer de façon objective, manquent. Nos travaux futurs aborderont ce défi central.<br />
<br />
<!--As stated before, advances in acquisition technologies for shape, motion and appearance have lead to considerable improvements both in terms of quality and amount of produced 3D models. But one of the main future challenges for Computer Graphics applications is to be able to better exploit these data for producing : 1) better quality 3D models with less user work and 2) more controllable contents (not only digital copies). Improvements in acquisition technology are not sufficient: the core future research is to be able to tailor 3D data processing technologies so as to improve 3D content production out of these data. In this context, specialized analysis tools as well as their objective evaluations are still lacking. Our future works address this core challenge.<br />
<br />
In the field of motion capture, we aim at providing 1) a validation of computational approaches for salience extraction, 2) a prediction of eye-movement, and 3) an investigation of efficient methods for building ground truth for spatio-temporal features. Based on this, we will concentrate on developing a statistical model (or atlas) based on compact representations of highly redundant 4D data. In the field of texturing, our future goal is to enable visualization in arbitrary lighting environments, which requires more elaborate analysis tools to classify the intrinsic properties of the materials. Beyond improving quality, the analysis of input data will furthermore allow us to produce more controlable contents, such as spatially varying appearances depending on the location in the texture, and also the location on the surface of a 3D model. <br />
--><br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6303Apparence et Mouvement2016-05-11T11:13:17Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse de textures. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6302Apparence et Mouvement2016-05-11T10:54:14Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13] Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|[2-VSKL15] Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|[2-VSLD13] Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|[2-GSVD14] Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|[2-LSAD16] Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6301Apparence et Mouvement2016-05-11T10:52:55Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|[2-VSGL13]Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6300Apparence et Mouvement2016-05-11T10:51:54Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x220px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x220px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x220px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6299Apparence et Mouvement2016-05-11T10:51:19Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x250px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x250px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR16_Labeling_results.png|left|thumb|x250px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<!--|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]--><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6297Apparence et Mouvement2016-05-11T10:47:55Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x250px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x250px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<center><br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x250px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x250px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x250px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
|}<br />
</center><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6296Apparence et Mouvement2016-05-11T10:47:21Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<center><br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
</center><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
|}<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6295Apparence et Mouvement2016-05-11T10:46:34Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|x350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|x350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|x350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|x350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|x350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
|}<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6294Apparence et Mouvement2016-05-11T10:43:56Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
{|<br />
|valign="top"|[[Image:VSLD13teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
|valign="top"|[[Image:GSVDG14teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
|valign="top"|[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|height 350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
|}<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6293Apparence et Mouvement2016-05-11T10:43:10Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
{|<br />
|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
[[Image:VSLD13teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
[[Image:GSVDG14teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|height 350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
<br clear=all><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6292Apparence et Mouvement2016-05-11T10:41:15Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
{|valign="top"|[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
|valign="top"|[[Image:VSKLD15teaser.png|left|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
|}<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
[[Image:VSLD13teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
[[Image:GSVDG14teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|height 350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
<br clear=all><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6291Apparence et Mouvement2016-05-11T10:35:07Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|left|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br clear=all><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
[[Image:VSLD13teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
[[Image:GSVDG14teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, grâce à une analyse spectrale.]]<br />
[[Image:LSADDR_16_Rep_Image_50.png|left|thumb|height 350px|Des cartes de labels multi-échelles sont obtenues à l'aide de notre méthode d'analyse. Une application possible est la génération automatique de palettes pour l'édition interactive de textures.]]<br />
<br clear=all><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6290Apparence et Mouvement2016-05-11T10:31:57Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|left|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
[[Image:VSLD13teaser.png|left|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
<br clear=all><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6289Apparence et Mouvement2016-05-11T10:31:36Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
[[Image:VSGLD13teaser.png|none|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|none|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
[[Image:VSLD13teaser.png|none|thumb|height 350px|Des textures sont synthétisées à la volée sur GPU, à partir d'échantillons d'exemples à plusieurs échelles.]]<br />
<br clear=all><br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6288Apparence et Mouvement2016-05-11T10:30:09Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|left|thumb|height 350px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|right|thumb|height 350px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br clear=all><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6287Apparence et Mouvement2016-05-11T10:29:32Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|center|thumb|height 300px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|center|thumb|height 300px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br clear=all><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6286Apparence et Mouvement2016-05-11T10:29:09Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|left|thumb|height 200px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|right|thumb|height 200px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br clear=all><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6285Apparence et Mouvement2016-05-11T10:27:50Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|left|thumb|300px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|right|thumb|300px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br clear=all><br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6284Apparence et Mouvement2016-05-11T10:26:22Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|left|thumb|300px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
[[Image:VSKLD15teaser.png|right|thumb|300px|Des objets 3D virtuels avec leur apparence sont simplifiés : il s'agit de les alléger en minimisant la perte de qualité visuelle.]]<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6283Apparence et Mouvement2016-05-11T10:25:17Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
[[Image:VSGLD13teaser.png|left|thumb|400px|Partant d'un ensemble de photos prises à main levée, une représentation virtuelle de l'apparence d'un objet est reconstruite. Cette apparence encode entre autres les effets spéculaires.]]<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. En complément, dans le cadre d'une collaboration avec l'Université de Yale, nous nous sommes intéressés à l'analyse de texture [[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] afin d'améliorer le contrôle des algorithmes de synthèse. On remarquera en particulier trois publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14],[http://icube-publis.unistra.fr/2-LSAD16 2-LSAD16]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique. Les contributions en matière de synthèse de textures ont permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. <br />
<br />
<br />
<br />
===Perspectives === <br />
<br />
<!-- de Dominique à tous :<br />
ATTENTION POUR LES PERSPECTIVES C'EST 1/2 PAGE PAR THEME <br />
DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS <br />
MAIS DEVELOPPER UNE VISION GLOBALE DU THEME<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE <br />
<br />
=====Plateformes matérielles et logicielles=====<br />
''de Basile à tous : proposition à valider de regroupement des deux plateformes''<br />
<br />
Nous souhaitons continuer à développer la '''plateforme''' [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support '''matériel et logiciel''' à nos activités de '''numérisation''', et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
Nous avons initié une '''plateforme open source dédiée à l’analyse et à la synthèse de texture''', qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
--><br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6173Apparence et Mouvement2016-03-31T11:27:11Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. Par ailleurs, grâce à une collaboration démarrée en janvier 2015 avec le Computer Graphics Group de l'Université de Yale (Yitzchak Lockerman, PhD candidate et Holly Rushmeier, Professor), nous sommes dotés d'un outil de classification et d'extraction multi-échelle des textures dans une image. Cette collaboration a donné lieu à une publication à paraître en juillet 2016 dans les actes du congrès SIGGRAPH 2016, le plus reconnu du domaine, ces actes constituant un numéro de la revue ACM Transactions on Graphics.<br />
<!-- Yitzchak Lockerman, Basile Sauvage, Rémi Allègre, Jean-Michel Dischler, Holly Rushmeier. Multi-Scale Label-Maps Extraction for Texture Synthesis.--><br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6169Apparence et Mouvement2016-03-31T09:51:52Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013. Par ailleurs, grâce à une collaboration démarrée en janvier 2015 avec le Computer Graphics Group de l'Université de Yale (Holly Rushmeier), nous sommes dotés d'un outil de classification et d'extraction multi-échelle de textures dans une image<br />
<br />
Yitzchak Lockerman, Basile Sauvage, Rémi Allègre, Jean-Michel Dischler, Holly Rushmeier. Multi-Scale Label-Maps Extraction for Texture Synthesis.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6168Apparence et Mouvement2016-03-31T09:29:22Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire automatiquement des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. Pour cela il est nécessaire de se doter d'outils d'analyse adaptés, permettant de classifier les textures et de les extraire à différentes échelles. Nous souhaitons aussi représenter les matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
Par ailleurs, Nous <br />
<br />
Yitzchak Lockerman, Basile Sauvage, Rémi Allègre, Jean-Michel Dischler, Holly Rushmeier. Multi-Scale Label-Maps Extraction for Texture Synthesis.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
=====Modélisation géométrique par croquis=====<br />
Le dernier axe concerne la modélisation géométrique par croquis. L'objectif sera de développer des méthodes qui permettent de reconstruire des formes 3D à partir de croquis. L’intérêt de cet axe recherche est de permettre aux personnes sans connaissance en modélisation 3D de créer des formes facilement et rapidement.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Collaborations&diff=6167Collaborations2016-03-31T09:17:37Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Collaborations]]<br />
===Collaborations internes entre équipes===<br />
* Avec l’équipe '''ICPS''' du département Informatique de ICube au sein de l'équipe-projet INRIA CAMUS.<br />
* Avec les équipes '''MIV''' et '''AVR''' du département IRTS de ICube au sein de l'axe transverse '''Imagerie et Robotique Médicale et Chirurgicale''' et des projets internes OPRA et ClinMod.<br />
* Avec les équipes '''MécaFlu''' et '''MMB''' du département Mécanique de ICube au sein de l'axe transverse '''Calcul scientifique''', du projet interne TubularMesh et du projet IHU BILIKIMO.<br />
<br />
=== Coopérations régionales ===<br />
* Holo3, CRITT, Saint Louis, dans le cadre du projet industriel CIMBEES, du projet Européen Eveil-3D [[http://icube-publis.unistra.fr/3-SVRC14 3-SVRC14], [http://icube-publis.unistra.fr/3-SVRC13 3-SVRC13]], Ami3D.<br />
* Institut de Recherche contre les Cancers de l’Appareil Digestif (IRCAD, Strasbourg) dans le cadre du projet IHU 3D-Surg : La chirurgie en 3D. <br />
<br />
===Coopérations nationales===<br />
* Projets INRIA <br />
** ALCOVE/SHAMAN/SHACRA/MIMESIS dans le cadre des projets ANR ACouStiC et IHU Haystack [[http://icube-publis.unistra.fr/2-HPCE15 2-HPCE15], [http://icube-publis.unistra.fr/4-HBDC15 4-HBDC15], [http://icube-publis.unistra.fr/4-BEDC12 4-BEDC12]], et des projets ANR VORTISS et IHU BILIKIMO [[http://icube-publis.unistra.fr/4-PHCC15 4-PHCC15], [http://icube-publis.unistra.fr/4-PHCC15a 4-PHCC15a]]<br />
** ARTIS dans le cadre de l’ANR ATROCO<br />
** HYBRID dans le cadre du projet ANR ACouStiC [[http://icube-publis.unistra.fr/2-EFCH15 2-EFCH15], [http://icube-publis.unistra.fr/4-EMFB12 4-EMFB12]]<br />
** IMAGINE dans le cadre de la co-tutelle de thèse de Geoffrey Guingo.<br />
** MARELLE dans le cadre du projet ANR GALAPAGOS [[http://lsiit-cnrs.unistra.fr/Publications/2010/4-DB10 4-DB10], [http://lsiit-cnrs.unistra.fr/Publications/0/4-PBNxx 4-PBN11]]<br />
** SCALAPPLIX dans le cadre du projet ANR MASSIM<br />
** VISAGES [[http://icube-publis.unistra.fr/4-EHJ10 4-EHJ10]]<br />
<br />
* LE2i (Université de Bourgogne) dans le cadre de la plateforme CGoGN, de manière régulière avec D. Michelucci (constructions géométriques [[http://icube-publis.unistra.fr/2-TSMF11 2-TSMF11]]), et avec Céline Roudet [[http://icube-publis.unistra.fr/2-PRS15 2-PRS15]].<br />
* LIRIS (Lyon) dans le cadre des ANR DNA et ATROCO.<br />
* XLIM (Université de Poitiers et Limoges) dans le cadre des ANR VORTISS [[http://icube-publis.unistra.fr/3-BBCK09 3-BBCK09]] et GALAPAGOS [[http://icube-publis.unistra.fr/7-MCF10 7-MCF10]], aussi avec l'Université de La Rochelle [[http://icube-publis.unistra.fr/2-MCF15 2-MCF15]], et concernant la synthèse de textures [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]].<br />
* I3S (Sophia-Antipolis) avec Frédéric Payan [[http://icube-publis.unistra.fr/2-PRS15 2-PRS15]].<br />
<br />
=== Coopérations internationales ===<br />
* Michael Beeson (San José State University) [[http://icube-publis.unistra.fr/2-BBN15 2-BBN15]]<br />
* Hyung yun Choi (Corée du Sud, HongIk University) dans le cadre d'un projet industriel financée par ESI Korea (http://www.esi.co.kr/) [3-SCCCxx]<br />
* Jieqing Feng (State Key Lab of CAD & CG, Chine) [[http://icube-publis.unistra.fr/2-CFB16 2-CFB16]]<br />
* James Gain (Afrique du Sud, université de Cap Town) [[http://icube-publis.unistra.fr/2-GB08a 2-GB08a]]<br />
* Xiao-Shan Gao (Chinese Academy of Sciences, Institute of Systems Science) ([http://lsiit-cnrs.unistra.fr/Publications/2007/7-GMS07 7-GMS07]]<br />
* See-Jo Kim (Corée du Sud, Andong National University) et Kyunghi Hong (Corée du Sud, Chungnam National University) dans le cadre des projets nationaux Coréens financées par KOSEF [[http://lsiit-cnrs.unistra.fr/Publications/2010/5-COHS10 5-COHS10], [http://lsiit-cnrs.unistra.fr/Publications/2010/6-LKSH10 6-LKSH10], [http://lsiit-cnrs.unistra.fr/Publications/2010/5-KCWK10 5-KCWK10], [http://lsiit-cnrs.unistra.fr/Publications/2010/7-HKS10 7-HKS10], [http://lsiit-cnrs.unistra.fr/Publications/2009/10-HKSK09 10-HKSK09], [http://lsiit-cnrs.unistra.fr/Publications/2009/5-COHK09 5-COHK09], [http://lsiit-cnrs.unistra.fr/Publications/2009/5-LKHS09 5-LKHS09], [http://lsiit-cnrs.unistra.fr/Publications/2009/5-SKJK09 5-SKJK09], [http://lsiit-cnrs.unistra.fr/Publications/2009/5-LKHS09 5-LKHS09], [http://lsiit-cnrs.unistra.fr/Publications/2007/4-SKCH07 4-SKCH07], [http://lsiit-cnrs.unistra.fr/Publications/2007/10-SKCH07 10-SKCH07], [http://lsiit-cnrs.unistra.fr/Publications/2007/7-HKS07 7-HKS07], [http://lsiit-cnrs.unistra.fr/Publications/2007/2-SCH07 2-SCH07], [http://lsiit-cnrs.unistra.fr/Publications/2005/5-SH05 5-SH05]]<br />
* Seungyong Lee (Computeger Graphics Lab à POSTECH, Corée du Sud) [[http://icube-publis.unistra.fr/4-JKSC16 4-JKSC16]]<br />
* Ik-Soo Lim (Royaume Unis, Bangor University), en préparation d'un projet international [[http://lsiit-cnrs.unistra.fr/Publications/2009/4-PLS09 4-PLS09], [http://lsiit-cnrs.unistra.fr/Publications/2008/4-PLS08 4-PLS08]]<br />
* Lena Maier-Hein et Alexander Seitel (Allemagne, DKFZ, Heidelberg, équipe du Pr. Hans-Peter Meinzer) [[http://icube-publis.unistra.fr/2-SESR11 2-SESR11], [http://icube-publis.unistra.fr/5-ESFR10 5-ESFR10]]<br />
* Igor Peterlik (Republique Tcheque, Masaryk University) dans le cadre du projet IHU Haystack [[http://icube-publis.unistra.fr/2-HPCE15 2-HPCE15]]<br />
* Pedro Quaresma (Portugal, Université de Coimbra) [[http://icube-publis.unistra.fr/2-JNQ12 2-JNQ12]]<br />
* Karan Singh (U. Toronto, Canada), et Yotam Gingold (George Mason University, USA) [[http://icube-publis.unistra.fr/7-CSEC16 7-CSEC16]]<br />
* Equipe ARGO (Serbie, Université de Belgrade): Predrag Janicic, Filip Maric, Sana Stojanovic, Vesna Marinković [[http://icube-publis.unistra.fr/2-SMMJ16 2-SMMJ16], [http://icube-publis.unistra.fr/2-SMJ16 2-SMJ16], [http://icube-publis.unistra.fr/2-SNJ15 2-SNJ15], [http://icube-publis.unistra.fr/4-MJS15 4-MJS15] [http://icube-publis.unistra.fr/4-SNBJ14 4-SNBJ14], [http://icube-publis.unistra.fr/7-MJS14 7-MJS14], [http://icube-publis.unistra.fr/2-JNQ12 2-JNQ12]]<br />
* Computer Graphics Group, Université de Yale, Etats-Unis: Yitzchak Lockerman (PhD Candidate), Holly Rushmeier (Professor). Publication à paraître dans ACM Transactions on Graphics, Proc. SIGGRAPH 2016.<br />
<br />
=== Partenaires industriels ===<br />
* CEA – Cadarache, département de recherche sur la fusion contrôlée (contrat de coopération)<br />
* Institut Français du Pétrole (Jean-François Rainaud)<br />
* Edukera.com<br />
<br />
=== Partenaires hospitaliers ===<br />
* Clinique Psychiatrique, Physiopathologie Clinique et Expérimentale de la Schizophrénie (Unité INSERM 666), dans le cadre de l'ANR FeelInControl [[http://icube-publis.unistra.fr/2-WPDC15 2-WPDC15]].<br />
* CHU de Strasbourg : <br />
** Service de radiologie interventionnelle, Pr. Gangi et Dr. Rao [[http://icube-publis.unistra.fr/2-BESS07 2-BESS07], [http://icube-publis.unistra.fr/2-ESG05 2-ESG05], [http://icube-publis.unistra.fr/4-EBSS05 4-EBSS05], [http://icube-publis.unistra.fr/4-ESGM04 4-ESGM04], [http://icube-publis.unistra.fr/4-ESPA03 4-ESPA03], [http://icube-publis.unistra.fr/4-ESPA03a 4-ESPA03a]]<br />
** Service de neurochirurgie (intégration du Dr. Voirin à l'équipe en 2016)<br />
* CHU de Rennes Pontchaillou, service de neurochirurgie, Dr. Haegelen [[http://icube-publis.unistra.fr/2-EFCH15 2-EFCH15], [http://icube-publis.unistra.fr/2-DHEF14 2-DHEF14], [http://icube-publis.unistra.fr/4-DZHJ14 4-DZHJ14], [http://icube-publis.unistra.fr/2-EHLA12 2-EHLA12], [http://icube-publis.unistra.fr/4-EMFB12 4-EMFB12], [http://icube-publis.unistra.fr/4-EHJ10 4-EHJ10]]<br />
* Hôpital de la Pitié Salpêtrière Paris APHP, services de neurochirurgie et de neurologie, Dr. Karachi, Dr. Welter [[http://icube-publis.unistra.fr/2-EFCH15 2-EFCH15], [http://icube-publis.unistra.fr/4-EMFB12 4-EMFB12]]<br />
* Institut du Cerveau et de la Moelle Epinière (ICM Paris) (UPMC/INSERM/Hôpital de la Pitié-Salpêtrière) dans le cadre du projet ANR ACouStiC [[http://icube-publis.unistra.fr/2-EFCH15 2-EFCH15], [http://icube-publis.unistra.fr/2-DHEF14 2-DHEF14], [http://icube-publis.unistra.fr/4-EMFB12 4-EMFB12]]<br />
* LTSI équipe MediCIS (Université Rennes 1/INSERM) dans le cadre du projet ANR ACouStiC [[http://icube-publis.unistra.fr/2-EFCH15 2-EFCH15], [http://icube-publis.unistra.fr/2-DHEF14 2-DHEF14], [http://icube-publis.unistra.fr/4-DZHJ14 4-DZHJ14], [http://icube-publis.unistra.fr/2-EHLA12 2-EHLA12], [http://icube-publis.unistra.fr/4-EMFB12 4-EMFB12], [http://icube-publis.unistra.fr/4-EHJ10 4-EHJ10]]<br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6165Apparence et Mouvement2016-03-30T12:57:22Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre modèle.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6164Apparence et Mouvement2016-03-30T12:56:06Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<!--Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé des nouvelles méthodes pour l’analyse de la forme qui permet d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ceux méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14]][[http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14]][[http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14]][[http://icube-publis.unistra.fr/8-Luog14 8-Luog14]][[http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de la mise-en-correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15] des données dynamiques.--><br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction des zones de saillance=====<br />
L’obtention de la vérité terrain pour les saillances spatio-temporelles et la mise-en-correspondance sur les maillages dynamiques (animés) est un défi ouvert. Nous développons actuellement des méthodes pour construire la vérité terrain sur les maillages statiques basées sur la vision humain (en collaboration avec Xlim et LIRIS), en utilisant un eye-tracker. Avec cette construction de la vérité terrain, nous pourrons ensuite travailler sur des problèmes de plus haut niveau, comme par exemple la validation de modèles computationnelles pour les zones de saillance, la prédiction du mouvements des yeux, et proposer des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’un atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous sommes intéressés par l’acquisition, l’analyse, la représentation et la modélisation statistique de données de dimension-4 du corps humain. En particulier, nous allons travailler sur le développement d’un modèle statistique (i.e. atlas) basé sur la représentation compacte de données 4D qui sont redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme en utilisant cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6162Apparence et Mouvement2016-03-30T12:41:06Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]], permettant d'obtenir des modèles d'objets numérisés avec géométrie et apparence particulièrement compacts.<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction de zone de saillance=====<br />
L'obtention de la vérité terrain pour les saillances spatio-temporels et la mise en correspondance sur des maillages dynamiques (animés) constituent des problèmes ouverts. Nous somme en train de construire la vérité terrain sur des maillages statiques en s'appuyant sur la vision humain (en collaboration avec les laboratoires Xlim de Limoges et LIRIS de Lyon), en utilisant un dispositif de type ''eye-tracker''. Avec cette construction de la vérité terrain réussie, nous pourrions ensuite nous intéresser à des défis de plus haut niveau, comme par exemple la validation de modèles de calcul pour les zones de saillance, la prédiction de mouvement des yeux, et étudier des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous somme intéressés par l’acquisition, l’analyse, la représentation et modélisation statistique de données 4D sur l'humain. En particulier, nous voulons nous concentrer sur la mise au point d'un modèle statistique (i.e. un atlas) s'appuyant sur la représentation compacte de données 4D redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme, reposant sur cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6161Apparence et Mouvement2016-03-30T12:37:31Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets, en termes de forme et mouvement, et par un habillage sophistiqué de ces modèles 3D pour leur donner des apparences réalistes. Les techniques d'acquisition de la forme et du mouvement à partir de scanners 3D ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment en lien avec la taille des modèles et lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]].<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction de zone de saillance=====<br />
L'obtention de la vérité terrain pour les saillances spatio-temporels et la mise en correspondance sur des maillages dynamiques (animés) constituent des problèmes ouverts. Nous somme en train de construire la vérité terrain sur des maillages statiques en s'appuyant sur la vision humain (en collaboration avec les laboratoires Xlim de Limoges et LIRIS de Lyon), en utilisant un dispositif de type ''eye-tracker''. Avec cette construction de la vérité terrain réussie, nous pourrions ensuite nous intéresser à des défis de plus haut niveau, comme par exemple la validation de modèles de calcul pour les zones de saillance, la prédiction de mouvement des yeux, et étudier des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous somme intéressés par l’acquisition, l’analyse, la représentation et modélisation statistique de données 4D sur l'humain. En particulier, nous voulons nous concentrer sur la mise au point d'un modèle statistique (i.e. un atlas) s'appuyant sur la représentation compacte de données 4D redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme, reposant sur cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6160Apparence et Mouvement2016-03-30T12:32:55Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Nos outils s'appuient sur des structures de données et des mécanismes ''out-of-core'' permettant de gérer des données très volumineuses : plusieurs millions de points et de photographies pour un même objet. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]].<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives === <br />
<br />
<!-- ATTENTION POUR LES PERSPECTIVES LES CONSIGNES N'ONT PAS ENCORE ETE DONNEE<br />
MAIS A PRIORI C'EST 1/2 PAGE PAR THEME DONC NE PAS REPRENDRE TOUS LES POINTS PRECEDENTS<br />
LE PARAGRAPHE "Notre projet est de créer un pont" POURRAIT SUFFIRE --><br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction de zone de saillance=====<br />
L'obtention de la vérité terrain pour les saillances spatio-temporels et la mise en correspondance sur des maillages dynamiques (animés) constituent des problèmes ouverts. Nous somme en train de construire la vérité terrain sur des maillages statiques en s'appuyant sur la vision humain (en collaboration avec les laboratoires Xlim de Limoges et LIRIS de Lyon), en utilisant un dispositif de type ''eye-tracker''. Avec cette construction de la vérité terrain réussie, nous pourrions ensuite nous intéresser à des défis de plus haut niveau, comme par exemple la validation de modèles de calcul pour les zones de saillance, la prédiction de mouvement des yeux, et étudier des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous somme intéressés par l’acquisition, l’analyse, la représentation et modélisation statistique de données 4D sur l'humain. En particulier, nous voulons nous concentrer sur la mise au point d'un modèle statistique (i.e. un atlas) s'appuyant sur la représentation compacte de données 4D redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme, reposant sur cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6146Apparence et Mouvement2016-03-30T08:16:35Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
=====Analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]].<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction de zone de saillance=====<br />
L'obtention de la vérité terrain pour les saillances spatio-temporels et la mise en correspondance sur des maillages dynamiques (animés) constituent des problèmes ouverts. Nous somme en train de construire la vérité terrain sur des maillages statiques en s'appuyant sur la vision humain (en collaboration avec les laboratoires Xlim de Limoges et LIRIS de Lyon), en utilisant un dispositif de type ''eye-tracker''. Avec cette construction de la vérité terrain réussie, nous pourrions ensuite nous intéresser à des défis de plus haut niveau, comme par exemple la validation de modèles de calcul pour les zones de saillance, la prédiction de mouvement des yeux, et étudier des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous somme intéressés par l’acquisition, l’analyse, la représentation et modélisation statistique de données 4D sur l'humain. En particulier, nous voulons nous concentrer sur la mise au point d'un modèle statistique (i.e. un atlas) s'appuyant sur la représentation compacte de données 4D redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme, reposant sur cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion scripthttps://igg.icube.unistra.fr/index.php?title=Apparence_et_Mouvement&diff=6145Apparence et Mouvement2016-03-30T08:16:19Z<p>Conversion script : </p>
<hr />
<div>{{PAGE_Begin}}<br />
__NOTOC__<br />
[[en:Appearance and Movement]]<br />
<br />
'''[[Accueil_new|Retour à l'accueil]]'''<br />
<br />
=Apparence et Mouvement=<br />
Bilan de 2011 à mi-2016 et prospective du thème Apparence et Mouvement<br />
<br />
===Contexte ===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition, presque pixel par pixel, devient un processus fastidieux pour les infographistes, et donc coûteux à produire. Les techniques d'acquisition sont elles aussi limitées car elles contraignent fortement les conditions dans lesquelles un matériau peut être acquis : conditions d'éclairage spécifiques, accessibilité du matériau, etc. <br />
<br />
===Objectifs / Challenges===<br />
Notre premier challenge est de mettre au point des méthodes d'analyse et de segmentation des données produites par les scanners, pour faciliter d'une part la création de modèles 3D, et d'autre part pour des applications de construction d'atlas statistiques. Notre second challenge est de développer des outils permettant de produire des textures "par l'exemple", c'est-à-dire à partir d'échantillons de textures extraits d'images. En particulier, nous voulons représenter des matériaux d'objets numérisés à l'aide de textures, générées à partir d'un ensemble de photographies prises avec peu de contraintes, et pouvant être utilisées pour habiller des modèles 3D quelconques et être visualisées de façon réaliste dans différentes conditions d'éclairage virtuel.<br />
<br />
===Participants permanents===<br />
* Un professeur : [[Jean-Michel Dischler]]<br />
* Une chargée de recherche : [http://igg.unistra.fr/People/seo/Home.html Hyewon Seo]<br />
* Cinq maîtres de conférences : [[Rémi Allègre]], Karim Chibout, Frédéric Cordier, Arash Habibi, [[Basile Sauvage]]<br />
* Trois ingénieurs de recherche : Frédéric Larue (2011-), Olivier Génevaux (2011-2015), Sylvain Thery (2015-)<br />
* 5 Doctorants : Geoffrey Guingo (CDD à partir du 1/10/2015 ERC Marie-Paule CANI et contrat Allegorithmic), Guoliang Luo (Contrat Projet SHARED du 10/2011 au 12/2014 (Thèse soutenue le 04/11/2014)), Vasyl Mykhalchuk (Contrat Projet SHARED du 11/2011 au 04/2015 (Thèse soutenue le 09/04/2015)), Alexandre Ribard (Allocataire UNISTRA à partir du 1/11/2015), Kenneth Vanhoey (Allocataire UNISTRA du 10/2010 au 09/2013 (Thèse soutenue le 18/02/2014)).<br />
<br />
===Résultats===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous développons la plateforme matérielle et logicielle [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis] couvrant l'ensemble de la chaîne de traitement en numérisation, depuis l'acquisition des données jusqu'à la création de modèles 3D texturés, incluant également des outils de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes. Notre plateforme comporte aussi un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique. ExRealis répond à nos besoins en termes d'acquisition et de traitement de données, et nous permet de capitaliser les développements réalisés dans le cadre de notre production scientifique. Frédéric Larue a présenté un ''tutorial'' sur l'acquisition de l'apparence, incluant une présentation de la plateforme ExRealis, lors des journées AC3D du GDR ISIS en mai 2015.<br />
<br />
===== L’analyse des formes, recalage, et segmentation de données dynamiques =====<br />
<br />
Grâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes des humains en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques [[http://icube-publis.unistra.fr/2-MCS13 2-MCS13]], nous avons développé de nouvelles méthodes pour l’analyse de la forme qui permettent d’exploiter les données de mouvements [[http://icube-publis.unistra.fr/2-SKCC13 2-SKCC13]]. Ces méthodes sont les premières qui répondent aux problèmes de segmentation [[http://icube-publis.unistra.fr/4-LSC14 4-LSC14], [http://icube-publis.unistra.fr/4-LLS15 4-LLS15]], d’extraction de points caractéristiques [[http://icube-publis.unistra.fr/4-MSC14 4-MSC14], [http://icube-publis.unistra.fr/2-MSC15 2-MSC15]], de calcul de similarité [[http://icube-publis.unistra.fr/4-LCS14 4-LCS14], [http://icube-publis.unistra.fr/8-Luog14 8-Luog14], [http://icube-publis.unistra.fr/2-LCS16 2-LCS16]] et de mise en correspondance [[http://icube-publis.unistra.fr/8-Mykh15 8-Mykh15]] sur les données dynamiques.<br />
<br />
=====Reconstruction de l'apparence=====<br />
<br />
Les fonctions paramétriques 2D de couleur sont très utilisées en rendu basé image ou en ré-éclairage d'images. Ces fonctions permettent d'exprimer la couleur d'un point en fonction d'un paramètre directionnel continu : la direction de vue ou la direction d'éclairage incident. Produire de telles fonctions à partir de données acquises (photographies) est une approche prometteuse mais difficile. Acquérir des données de façon dense et uniforme n'est pas toujours possible. Les données sont en général peu denses, distribuées de façon non uniformes et bruitées. Pour pallier à ces difficultés, nous avons proposé une méthode de reconstruction de fonctions de ''radiance'' pour des objets numérisés, à partir de photographies [[http://icube-publis.unistra.fr/2-VSGL13 2-VSGL13]]. Notre méthode permet de visualiser les objets de façon réaliste dans leurs environnements lumineux originaux. Nous avons aussi développé une méthode de simplification de maillages auxquels sont attachées des fonctions de radiance [[http://icube-publis.unistra.fr/2-VSKL15 2-VSKL15]].<br />
<br />
=====Modélisation et synthèse de textures=====<br />
Les textures sont cruciales pour le réalisme des mondes virtuels 3D. Afin d'alléger le travail des artistes qui doivent dessiner des mondes gigantesques, nous avons développé des méthodes permettant de générer automatiquement des textures haute résolution à partir d'une image d'entrée unique, avec contrôle de la préservation des motifs, du caractère aléatoire de leur distribution, et de la variété du contenu de la texture générée [[http://icube-publis.unistra.fr/2-GDG12 2-GDG12], [http://icube-publis.unistra.fr/2-GDG12a 2-GDG12a], [http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]]. On remarquera en particulier deux publications [[http://icube-publis.unistra.fr/2-VSLD13 2-VSLD13], [http://icube-publis.unistra.fr/2-GSVD14 2-GSVD14]] dans ''ACM Transactions on Graphics'', considérée comme la revue la plus réputée en informatique graphique (IF : 3.725). L'ensemble de ces travaux a permis à Jean-Michel Dischler d'être invité au séminaire Real-World Visual Computing au Leibniz-Zentrum für Informatik (Schloss Dagstuhl) en octobre 2013.<br />
<br />
===Perspectives===<br />
<br />
=====Plateforme matérielle et logicielle de numérisation=====<br />
Nous souhaitons continuer à développer la plateforme [http://icube-igg.unistra.fr/fr/index.php/ExRealis ExRealis], comme support matériel et logiciel à nos activités, et également valoriser cette plateforme dans le cadre de prestations.<br />
<br />
=====Vérité terrain et modèle de prédiction pour l’extraction de zone de saillance=====<br />
L'obtention de la vérité terrain pour les saillances spatio-temporels et la mise en correspondance sur des maillages dynamiques (animés) constituent des problèmes ouverts. Nous somme en train de construire la vérité terrain sur des maillages statiques en s'appuyant sur la vision humain (en collaboration avec les laboratoires Xlim de Limoges et LIRIS de Lyon), en utilisant un dispositif de type ''eye-tracker''. Avec cette construction de la vérité terrain réussie, nous pourrions ensuite nous intéresser à des défis de plus haut niveau, comme par exemple la validation de modèles de calcul pour les zones de saillance, la prédiction de mouvement des yeux, et étudier des méthodes efficaces pour la construction de la vérité terrain pour les saillances spatio-temporelles.<br />
<br />
=====Construction d’atlas et modèles de prédiction pour les données de mouvement=====<br />
Nous somme intéressés par l’acquisition, l’analyse, la représentation et modélisation statistique de données 4D sur l'humain. En particulier, nous voulons nous concentrer sur la mise au point d'un modèle statistique (i.e. un atlas) s'appuyant sur la représentation compacte de données 4D redondantes. Ainsi, nous souhaitons développer des méthodes de prédiction pour le mouvement et le changement de la forme, reposant sur cet atlas.<br />
<br />
=====Traitement de l'apparence et synthèse de textures=====<br />
Notre projet est de créer un pont entre les activités de reconstruction de l'apparence et les activités de synthèse de texture. L’objectif est de prendre pour exemple des objets réels numérisés, et de générer automatiquement des apparences similaires pour d’autres objets 3D. Nous avons également initié des travaux sur des textures dynamiques pour des objets animés, en collaboration avec Marie-Paule Cani (équipe INRIA IMAGINE). Pour atteindre ces objectifs, il reste plusieurs verrous à lever.<br />
<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous voulons aller plus loin que la visualisation d'objets avec leurs conditions d'éclairage d'acquisition. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis de classifier et d’estimer les propriétés intrinsèques des matériaux. Les matériaux doivent être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). Ces problématiques sont abordées dans la thèse d'Alexandre Ribard commencée au 1/11/2015, dirigée par Jean-Michel Dischler et co-encadrée par Rémi Allègre.<br />
<br />
Concernant la représentation de l'apparence, nous souhaitons aller plus loin en mettant au point des techniques algorithmiques pour synthétiser l'apparence des matériaux par des méthodes à partir d'échantillons ou de façon procédurale. Nous savons pour l’instant synthétiser des textures de couleur. La synthèse conjointe d’autres propriétés qui contribuent à l’apparence (la réflectivité par exemple) posent de nouvelles difficultés. En outre, nos méthodes de synthèse génèrent actuellement une apparence similaire dans toute la texture. Nous souhaitons générer des apparences différentes dans différentes parties de la texture, et donc sur différentes parties d'un modèle 3D.<br />
<br />
Nous souhaitons également intégrer un aspect temporel dans la synthèse de texture, avec la génération et le contrôle de textures dynamiques sur des surfaces elles-mêmes animées.<br />
Les scènes 3D sont souvent animées, soit grâce au mouvement et à la déformation des objets géométriques, soit grâce à des textures qui varient au cours du temps.<br />
Les méthodes actuelles traitent généralement l'un ou l'autre aspect, exclusivement. <br />
Pour certains phénomènes naturels pourtant, l'apparence (encodée dans la texture) et la géométrie doivent être dynamiques toutes les deux : c'est le cas des coulées de lave, des avalanches ou des vagues par exemple.<br />
Ces problématiques sont abordées dans la thèse de Geoffrey Guingo commencée au 1/10/2015, sous la co-direction de Jean-Michel Dischler et de Marie-Paule Cani, et co-encadrée par Basile Sauvage.<br />
<br />
=====Plateforme d'analyse et de synthèse de textures=====<br />
Nous avons initié une plateforme open source dédiée à l’analyse et à la synthèse de texture, qui se présente comme une surcouche à la bibliothèque ITK (Insight Segmentation and Registration Toolkit). Elle est destinée en premier lieu à faire du développement collaboratif, puis à rendre publics des codes accompagnant nos publications.<br />
<br />
<br />
<!--<br />
pour la reconstruction des propriétés photométriques d'objets numérisés à partir de photographies, sous la forme de fonctions de radiance <br />
--><br />
<br />
<!--<br />
Par ailleurs, nous produisons des textures à partir d'exemples spécifiques: des images qui représentent un échantillon de matériau homogène. On parle de synthèse de textures « par l'exemple ».<br />
--><br />
<br />
<!--<br />
proposant une chaine de traitements automatiques permettant de produire des modèles géométriques détaillés et de reconstruire les propriétés photométriques de la surface des objets à partir de photographies.<br />
--><br />
<br />
<!--<br />
Concernant la reconstruction de l’apparence à partir des données numérisées, nous savons pour l'instant reconstruire des fonctions de radiance, qui permettent de visualiser l’objet dans son environnement lumineux original. La prochaine étape est de permettre la visualisation de l'objet dans n’importe quel environnement, ce qui nécessite de reconstruire l’environnement d’acquisition puis d’estimer les propriétés intrinsèques des matériaux. <br />
<br />
Il s'agit classifier les différents matériaux présents sur une surface, afin de pouvoir estimer leurs paramètres, puis de les synthétiser séparément.<br />
<br />
Les matériaux doivent par ailleurs être représentés par des couches de textures compatibles avec les moteurs de rendu du marché (couleur diffuse, couleur spéculaire, rugosité, occultation ambiante, etc.). <br />
--><br />
<br />
<!--<br />
===Objectifs / Challenges (ancienne version)===<br />
<br />
La création de mondes virtuels 3D trouve des applications dans des domaines variés, aussi bien technologiques comme des simulateurs 3D, du prototypage virtuel pour l’aide à la prise de décision, des catalogues et archives 3D, etc., qu’artistiques avec par exemple la création de média à des fins ludiques ou éducatives. Ces mondes deviennent de plus en plus volumineux et de plus en plus riches en détails, permettant ainsi des rendus d’images de synthèse difficiles à distinguer de la réalité. Une plus grande richesse visuelle est obtenue par une définition précise d'objets (forme et mouvement) et par un habillage sophistiqué de ces modèles 3D (apparence). Les techniques d'acquisition de la forme et du mouvement (scanners 3D) ont permis d'augmenter considérablement la qualité et quantité de modèles produits, mais il reste d'importantes limites, notamment de taille des modèles et surtout lorsque l'on souhaite transposer les mouvements acquis sur un modèle particulier à un autre objet.<br />
Le challenge consiste alors à analyser et segmenter les données produites par les scanners, par exemple pour la construction d'atlas statistiques.<br />
Parallèlement, l'habillage, appelé « la texture » en informatique graphique, consiste à plaquer une image 2D sur l’objet 3D, comme un papier peint. Il permet d’ajouter des détails à petite échelle sur les surfaces : des veines pour du bois, des briques pour une façade ou des brins d’herbe pour une pelouse. Avec la définition croissante des dispositifs d’affichage, la création de textures très haute définition, c’est-à-dire dépassant les centaines de Mega-pixels, est devenue incontournable. Mais la création de textures de cette taille, avec des outils classiques d’édition presque pixel par pixel, devient un processus fastidieux pour les infographistes et donc coûteux en matière de production. Les techniques d'acquisition sont elles aussi limitées car ils contraignent fortement les conditions dans lesquels un matériaux peut être acquis: conditions d'éclairage précises, accessibilité du matériaux, etc. Le challenge consiste alors à analyser l'information que produit un ensemble de photographies prises sans contraintes particulières pour tenter produire des « textures » représentant ce même matériau, mais sur une surface 3D quelconque et pour des conditions différentes d'éclairage virtuel.<br />
--><br />
<br />
{{PAGE_End}}</div>Conversion script