Équipe IGG : Informatique Géométrique et Graphique

Différences entre les versions de « ExRealis »

De Équipe IGG : Informatique Géométrique et Graphique
Aller à la navigation Aller à la recherche
m
Ligne 2 : Ligne 2 :
 
__NOEDITSECTION__
 
__NOEDITSECTION__
  
−
= Plateforme de Numérisation IGG =
 
  
−
L'objectif de notre plateforme est d'offrir un certain nombre d'outils (équipements et logiciels) permettant la mesure de données réelles en vue de leur utilisation pour des applications en synthèse d'images et en réalité virtuelle. Le spectre des données qui peuvent être acquises est large et comprend:
+
= ExRealis =
−
* la forme d'objets réels ''i.e.'' leur géométrie,
 
−
* leur apparence, celle-ci pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes,
 
−
* les mouvements d'objets ou d'humains, y compris leurs déformations au cours du temps.
 
  
  
 +
Les scanners 3D du commerce offrent aujourd'hui une précision d'ordre métrologique permettant de capturer des empreintes numériques fidèles d'objets réels. La production de contenu numérique à l'aide de ces outils reste cependant encore fastidieuse du fait des nombreux traitements qu'elle nécessite, au-delà de la prise de données, avant d'aboutir à des modèles 3D exploitables.
  
−
== Numérisation de forme et d'apparence ==
+
En outre, depuis quelques années, l'équipe IGG s'applique à mettre en œuvre son savoir faire en numérisation au service du patrimoine culturel, domaine pour lequel la seule numérisation géométrique ne suffit pas. En effet, la capture de l'apparence est alors primordiale, car c'est uniquement par cette information qu'il devient possible de restituer de manière réaliste les copies numériques produites, en simulant de la manière la plus fidèle qui soit le comportement des matériaux qui les composent par rapport aux conditions d'éclairage et d'observation.
  
−
Au lieu d'avoir une personne qui créé un modèle polygonal d'un objet existant, nous souhaitons pouvoir directement acquérir ce modèle à partir de la réalité. A ce jour il existe beaucoup de techniques et d'équipements (comme les scanners 3D) permettant de faire des numérisations. Mais ces techniques ont souvent des limitations importantes: leur utilisation requiert un degré important d'expertise, plusieurs étapes nécessitent des interventions manuelles fastidieuses, les modèles obtenus sont de très grande taille et impossible à rendre en temps réel directement sur carte graphique, etc.  
+
Ainsi, la plate-forme ''ExRealis'' offre un certain nombre d'outils, équipements et logiciels permettant de produire du contenu numérique de différentes natures à partir de données réelles, avec pour objectif de soutenir les travaux de recherche menés par l'équipe IGG autour de thématiques comme le rendu réaliste, la synthèse de texture, la réalité virtuelle ou encore l'animation 3D, mais également de permettre des prestations variées de numérisation auprès de partenaires.
  
−
Dans ce contexte, la plateforme de numérisation IGG couvre les trois aspects suivants:
+
Cette plate-forme propose notamment:
−
* acquisition de modèles avec apparence par des dispositifs dédiés,
+
* un éventail d'équipements et d'outils logiciels couvrant l'ensemble de la chaîne de traitement en numérisation, depuis la prise de données jusqu'à la création de modèles 3D texturés;
−
* traitement automatiques ou semi-automatiques des modèles (recalage, filtrage, fusion, reconstruction, simplification et représentation adaptée à l'application),
+
* des méthodes avancées de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes;
−
* outils de rendu spécifiques sur GPU.  
+
* d'un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique.
  
 +
Après plus de 10 ans de travail autour de la numérisation ''3D + texture'', l'équipe IGG a su acquérir une bonne expertise du domaine et un savoir faire quant à la mise en œuvre de ces outils pour des cas pratiques de campagnes de numérisation.
  
−
<div id="SamplePictures">''Exemples de numérisations réalisées avec les matériels et logiciels de la plateforme''</div>
 
  
−
Ci-dessous, quelques rendus issus de la numérisation d'une partie du Fort de Bois l'Abbé [http://maps.google.com/?ie=UTF8&t=h&ll=48.204577,6.40107&spn=0.007022,0.016512&z=17 (48°12'16.3"N&nbsp;6°24'00.8"E)], situé à Uxegney près d'Epinal. Le modèle final compte environ 63 millions de points, capturés à l'aide du scanner Leica Scanstation 2 depuis 20 positions différentes du scanner sur le site. Les couleurs replaquées sur les points sont issues de la caméra interne du scanner, destinée à la manipulation  et non à une capture fidèle de l'apparence du site.
 
−
<gallery widths=300px>
 
−
Image:FlortBLAScanPositions.png
 
−
Image:Fort.png
 
−
Image:FortBLAOverview1.png
 
−
Image:‎FortBLAOverview2.png
 
−
Image:FortBLAOverview3.png
 
−
Image:FortBLACloseup1.png
 
−
Image:FortBLACloseup2.png
 
−
</gallery>
 
−
Ci-dessous deux exemples d'artefacts Ethnologiques numérisés avec texture de couleur. Ces objets font partie de la collection de la MISHA de Strasbourg.
 
−
Le premier modèle est obtenu à partir de 63 scans, 12M de points, la couleur est reconstruite à partir de 23 photographies. Le rendu utilise 11.6M de
 
−
triangles décimés à 1%, soit environ 100000 triangles.
 
−
Le second modèle est obtenu à partir de 56 scans, 11.1M de points, 260 images, 7M de triangles décimés à 1%.
 
  
−
[[Image:Dege275.png|x200px]]
 
  
−
[[Image:Kanaga.png|x200px]]
+
= Des équipements =
  
−
Ci-dessous un exemple d'objet avec champ de lumière surfacique, cad que la couleur en chaque point de la surface dépend de la position de l'observateur.
 
−
<gallery widths=300px>
 
−
Image:gong.png
 
−
Image:gongall.png
 
−
</gallery>
 
  
−
Ci-dessous, un exemple de numérisation bi-directionnelle de tableau. L'image de gauche montre une photographie du tableau, l'image du milieu un rendu en synthèse d'images pour le même point de vue en utilisant un placage de texture de couleur classique et l'image de droite en utilisant une fonction bidirectionnelle de texture de laquelle le relief a été découplé de la réflectance.
+
'''Scanner courte portée'''
  
−
[[Image:tableaunum_lsiit.png|600px]]
+
[[Image:ScannerLumStruct.jpg|right|thumb|200px]]
  
−
= Equipements =
+
portée, résolution, etc.
−
 
+
Ce dispositif optique basé sur de la mesure de forme par lumière structurée permet la numérisation 3D d'objets d'une taille comprise entre 20 et 100 cm. Une caméra externe permet d'effectuer un recalage automatique de plusieurs prises de vues ainsi que la superposition d'une information d'apparence directionnelle de couleur RVB.
−
'''Scanner optique par projection de franges et mesure de décalage de phase'''.
+
<br style="clear: both" />
−
 
 
−
[[Image:ScannerLumStruct.jpg|right|thumb|200px]]
 
  
−
Ce dispositif permet l'acquisition 3D d'objets d'une taille comprise entre environ 10 et 50cm. Une caméra externe permet d'effectuer un recalage automatique de plusieurs prises de vues ainsi que la superposition d'une information d'apparence directionnelle de couleur RVB. Un logiciel spécifique a été développé pour faire des acquisitions et des restitutions sur écran.
 
  
−
'''Laser scanner moyenne portée'''.
+
'''Scanner moyenne portée'''
  
 
[[Image:laser_leica.png|right|thumb|120px]]
 
[[Image:laser_leica.png|right|thumb|120px]]
  
−
Il s'agit d'un laser ScanStation2 de Leica Geosystems. Il permet d'effectuer des scans sur une portée de 0.2 à 300m avec une vitesse allant jusqu'à 50000 points/sec. Un jeu de cibles permet également de faire du recalage. Voir également la [http://www.leica-geosystems.fr/fr/Scanner-Laser-3D-Leica-ScanStation-2_62189.htm fiche technique] de Leica Geosystems.
+
laser à temps de vol
 +
Le scanner ScanStation2 de Leica Geosystems permet d'effectuer des acquisitions sur une portée de 0.2 à 300m avec une vitesse allant jusqu'à 50 000 points/sec. Un jeu de cibles permet également de faire du recalage. Voir également la [http://www.leica-geosystems.fr/fr/Scanner-Laser-3D-Leica-ScanStation-2_62189.htm fiche technique] de Leica Geosystems.
 +
<br style="clear: both" />
  
−
Ce scanner laser a servi à [[#SamplePictures|numériser une partie du Fort de Bois l'Abbé]] près d'Epinal.
 
  
 
'''Matériel photographique'''
 
'''Matériel photographique'''
 +
 
[[Image:PhotoHardware.jpg|left|thumb|120px]]
 
[[Image:PhotoHardware.jpg|left|thumb|120px]]
−
Ce matériel photographique semi-professionnel est principalement dédié à la capture d'apparence. La duplication d'une partie du matériel (boîtiers Canon EOS 5D MkII et paires d'objectifs 24mm, 50mm, 135mm) permet également la capture de paires d'images stéréo.
+
 
 +
 
 +
Ce matériel photographique semi-professionnel est principalement dédié à la capture de l'apparence. La duplication d'une partie du matériel (boîtiers Canon EOS 5D MkII et paires d'objectifs 24mm, 50mm, 135mm) permet également la capture de paires d'images stéréo.
 
<br style="clear: both" />
 
<br style="clear: both" />
  
  
 
'''Système de capture de mouvements'''
 
'''Système de capture de mouvements'''
−
Ce matériel autorise l'acquisition des mouvements d'objets ou d'humains dans l'espace. Il s'agit d'un système de capture optique de grande précision (12 caméras IR Vicon T40 ou T40S, 4Mpixels à 370 Hz) capable de capturer les trajectoires de marqueurs portés par les sujets dont les mouvements sont à numériser. Des trajectoires sont ensuite reconstruites (logiciel Vicon Blade) et peuvent éventuellement servir à animer des personnages. Ce matériel a été acquis pour sa plus grande partie grâce au CPER IRMC.
 
  
−
= Logiciels =
+
Ce matériel autorise l'acquisition des mouvements d'objets ou d'humains dans l'espace. Il s'agit d'un système de capture optique composé de 12 caméras IR Vicon T40 et T40S, 4 Mpixels à 370 Hz, capables de capturer les trajectoires de marqueurs portés par les sujets dont les mouvements doivent être numérisés. Ces trajectoires peuvent ensuite être utilisées pour l'animation squelettale de personnages.
 +
 
 +
Ce matériel a été acquis en grande partie grâce au CPER IRMC.
 +
 
 +
 
 +
 
 +
 
 +
= Des outils logiciels =
 +
 
 
Un développement logiciel a été mené dans le but d'intégrer l'ensemble des traitements utiles à la création de modèles numériques réalistes à partir des objets physiques réels. Ce développement couvre:
 
Un développement logiciel a été mené dans le but d'intégrer l'ensemble des traitements utiles à la création de modèles numériques réalistes à partir des objets physiques réels. Ce développement couvre:
 
* le traitement de la géométrie acquise pour reconstruire des maillages exploitables à partir de nuages de points;
 
* le traitement de la géométrie acquise pour reconstruire des maillages exploitables à partir de nuages de points;
 
* l'exploitation de photographies pour reconstituer l'apparence sous forme de ''lightfield''.
 
* l'exploitation de photographies pour reconstituer l'apparence sous forme de ''lightfield''.
 +
* des structures de données et des mécanismes hors-mémoire permettant de gérer de très grandes masses de données;
  
 
[[Image:DigitPipeline.png|650px]]
 
[[Image:DigitPipeline.png|650px]]
Ligne 102 : Ligne 88 :
 
<br style="clear: both" />
 
<br style="clear: both" />
  
−
Ci-contre un maillage et une reconstruction d'apparence. [[Image:mesh_texture.png|x200px]]
+
 
 +
 
 +
 
 +
 
 +
= Un savoir faire =
 +
 
 +
 
 +
Dans le cadre de différentes collaborations, l'équipe IGG a eu l'occasion de mettre en oeuvre ses compétences en numérisation au travers de nombreuses prestations. Le champ d'application principalement visé est le patrimoine culturel, comme l'illustrent les exemples suivants.
 +
 
 +
 
 +
'''Fondation de l'Oeuvre Notre Dame'''
 +
 
 +
Dans le cadre du projet [http://www.eveil-3d.eu/francais/index.php Eveil3D] et en partenariat avec le CRIIT Holo3 et la Fondation de l'Oeuvre Notre Dame, l'équipe IGG a effectué en octobre 2013 la numérisation de deux statues de la cathédrale de Strasbourg. L'objectif était de mettre ces statues en situation dans un sénario d'apprentissage en environnement immersif.
 +
 
 +
Hautes d'environ 50 cm, elles ont été numérisées à l'aide d'un scanner courte portée à lumière structurée. 35 millions de points et 55 photos ont été acquis pour l'ours, et 22 millions de points et 28 photos pour le taureau.
 +
 
 +
 
 +
'''Maison Interuniversitaire des Siences de l'Homme'''
 +
 
 +
 
 +
 
 +
'''Fort de Bois l'Abbé'''
 +
 
 +
Ci-dessous, quelques rendus issus de la numérisation d'une partie du Fort de Bois l'Abbé [http://maps.google.com/?ie=UTF8&t=h&ll=48.204577,6.40107&spn=0.007022,0.016512&z=17 (48°12'16.3"N&nbsp;6°24'00.8"E)], situé à Uxegney près d'Epinal. Le modèle final compte environ 63 millions de points, capturés à l'aide du scanner Leica Scanstation 2 depuis 20 positions différentes du scanner sur le site. Les couleurs replaquées sur les points sont issues de la caméra interne du scanner, destinée à la manipulation  et non à une capture fidèle de l'apparence du site.
 +
<gallery widths=300px>
 +
Image:FlortBLAScanPositions.png
 +
Image:Fort.png
 +
Image:FortBLAOverview1.png
 +
Image:?FortBLAOverview2.png
 +
Image:FortBLAOverview3.png
 +
Image:FortBLACloseup1.png
 +
Image:FortBLACloseup2.png
 +
</gallery>
 +
 
 +
Ci-dessous, un exemple de numérisation de tableau. L'image de gauche montre une photographie du tableau, l'image du milieu un rendu en synthèse d'images pour le même point de vue en utilisant un placage de texture de couleur classique et l'image de droite en utilisant une fonction bidirectionnelle de texture de laquelle le relief a été découplé de la réflectance bidirectionnelle.
 +
 
 +
[[Image:tableaunum_lsiit.png|600px]]
 +
 
 +
 
 +
 
 +
 
 +
= Collaborations =
 +
 
 +
 
 +
Plusieurs projets nationaux et régionaux sont associés à cette plateforme:
 +
* Projet Interreg EVEIL3D,
 +
* [http://artis.imag.fr/Projets/ATROCO/ ANR ATROCO],
 +
* Ministère RIAM AMI3D,
 +
* Région Pôle Image.
 +
 
 +
 
  
  
 
[[en:Digitization]]
 
[[en:Digitization]]

Version du 30 juin 2015 à 17:23



ExRealis

Les scanners 3D du commerce offrent aujourd'hui une précision d'ordre métrologique permettant de capturer des empreintes numériques fidèles d'objets réels. La production de contenu numérique à l'aide de ces outils reste cependant encore fastidieuse du fait des nombreux traitements qu'elle nécessite, au-delà de la prise de données, avant d'aboutir à des modèles 3D exploitables.

En outre, depuis quelques années, l'équipe IGG s'applique à mettre en œuvre son savoir faire en numérisation au service du patrimoine culturel, domaine pour lequel la seule numérisation géométrique ne suffit pas. En effet, la capture de l'apparence est alors primordiale, car c'est uniquement par cette information qu'il devient possible de restituer de manière réaliste les copies numériques produites, en simulant de la manière la plus fidèle qui soit le comportement des matériaux qui les composent par rapport aux conditions d'éclairage et d'observation.

Ainsi, la plate-forme ExRealis offre un certain nombre d'outils, équipements et logiciels permettant de produire du contenu numérique de différentes natures à partir de données réelles, avec pour objectif de soutenir les travaux de recherche menés par l'équipe IGG autour de thématiques comme le rendu réaliste, la synthèse de texture, la réalité virtuelle ou encore l'animation 3D, mais également de permettre des prestations variées de numérisation auprès de partenaires.

Cette plate-forme propose notamment:

  • un éventail d'équipements et d'outils logiciels couvrant l'ensemble de la chaîne de traitement en numérisation, depuis la prise de données jusqu'à la création de modèles 3D texturés;
  • des méthodes avancées de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes;
  • d'un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique.

Après plus de 10 ans de travail autour de la numérisation 3D + texture, l'équipe IGG a su acquérir une bonne expertise du domaine et un savoir faire quant à la mise en œuvre de ces outils pour des cas pratiques de campagnes de numérisation.



Des équipements

Scanner courte portée

ScannerLumStruct.jpg

portée, résolution, etc. Ce dispositif optique basé sur de la mesure de forme par lumière structurée permet la numérisation 3D d'objets d'une taille comprise entre 20 et 100 cm. Une caméra externe permet d'effectuer un recalage automatique de plusieurs prises de vues ainsi que la superposition d'une information d'apparence directionnelle de couleur RVB.


Scanner moyenne portée

Laser leica.png

laser à temps de vol Le scanner ScanStation2 de Leica Geosystems permet d'effectuer des acquisitions sur une portée de 0.2 à 300m avec une vitesse allant jusqu'à 50 000 points/sec. Un jeu de cibles permet également de faire du recalage. Voir également la fiche technique de Leica Geosystems.


Matériel photographique

PhotoHardware.jpg


Ce matériel photographique semi-professionnel est principalement dédié à la capture de l'apparence. La duplication d'une partie du matériel (boîtiers Canon EOS 5D MkII et paires d'objectifs 24mm, 50mm, 135mm) permet également la capture de paires d'images stéréo.


Système de capture de mouvements

Ce matériel autorise l'acquisition des mouvements d'objets ou d'humains dans l'espace. Il s'agit d'un système de capture optique composé de 12 caméras IR Vicon T40 et T40S, 4 Mpixels à 370 Hz, capables de capturer les trajectoires de marqueurs portés par les sujets dont les mouvements doivent être numérisés. Ces trajectoires peuvent ensuite être utilisées pour l'animation squelettale de personnages.

Ce matériel a été acquis en grande partie grâce au CPER IRMC.



Des outils logiciels

Un développement logiciel a été mené dans le but d'intégrer l'ensemble des traitements utiles à la création de modèles numériques réalistes à partir des objets physiques réels. Ce développement couvre:

  • le traitement de la géométrie acquise pour reconstruire des maillages exploitables à partir de nuages de points;
  • l'exploitation de photographies pour reconstituer l'apparence sous forme de lightfield.
  • des structures de données et des mécanismes hors-mémoire permettant de gérer de très grandes masses de données;

DigitPipeline.png

Recalage, Débruitage, Intégration, Simplification.

Beaucoup d'interventions manuelles sont nécessaires pour aller des données brutes (nuages de points) vers un modèle géométrique complet de l'objet. Nous développons des outils permettant d'automatiser (ou de rendre plus accessible) ce travail.

Exemple de recalage, débruitage et simplification:

Recalage.png Debruitage.png Simplification.png

Texture, Apparence, Rendu.

Acquérir l'apparence d'un objet réel est un problème difficile. De nombreuses photos doivent être prises et recalées avec le modèle 3D. Nous proposons des outils permettant de faciliter ce travail et de rendre compatibles les représentations avec les capacités des cartes graphiques actuelles.

  • Exemples de rendus d'un modèle scanné

  • Exemple d'acquisition et recalage de la texture




Un savoir faire

Dans le cadre de différentes collaborations, l'équipe IGG a eu l'occasion de mettre en oeuvre ses compétences en numérisation au travers de nombreuses prestations. Le champ d'application principalement visé est le patrimoine culturel, comme l'illustrent les exemples suivants.


Fondation de l'Oeuvre Notre Dame

Dans le cadre du projet Eveil3D et en partenariat avec le CRIIT Holo3 et la Fondation de l'Oeuvre Notre Dame, l'équipe IGG a effectué en octobre 2013 la numérisation de deux statues de la cathédrale de Strasbourg. L'objectif était de mettre ces statues en situation dans un sénario d'apprentissage en environnement immersif.

Hautes d'environ 50 cm, elles ont été numérisées à l'aide d'un scanner courte portée à lumière structurée. 35 millions de points et 55 photos ont été acquis pour l'ours, et 22 millions de points et 28 photos pour le taureau.


Maison Interuniversitaire des Siences de l'Homme


Fort de Bois l'Abbé

Ci-dessous, quelques rendus issus de la numérisation d'une partie du Fort de Bois l'Abbé (48°12'16.3"N 6°24'00.8"E), situé à Uxegney près d'Epinal. Le modèle final compte environ 63 millions de points, capturés à l'aide du scanner Leica Scanstation 2 depuis 20 positions différentes du scanner sur le site. Les couleurs replaquées sur les points sont issues de la caméra interne du scanner, destinée à la manipulation et non à une capture fidèle de l'apparence du site.

  • FlortBLAScanPositions.png
  • Fort.png
  • FortBLAOverview1.png
  • ?FortBLAOverview2.png
  • FortBLAOverview3.png
  • FortBLACloseup1.png
  • FortBLACloseup2.png

Ci-dessous, un exemple de numérisation de tableau. L'image de gauche montre une photographie du tableau, l'image du milieu un rendu en synthèse d'images pour le même point de vue en utilisant un placage de texture de couleur classique et l'image de droite en utilisant une fonction bidirectionnelle de texture de laquelle le relief a été découplé de la réflectance bidirectionnelle.

Tableaunum lsiit.png



Collaborations

Plusieurs projets nationaux et régionaux sont associés à cette plateforme:

  • Projet Interreg EVEIL3D,
  • ANR ATROCO,
  • Ministère RIAM AMI3D,
  • Région Pôle Image.
Récupérée de « https://igg.icube.unistra.fr/index.php?title=ExRealis&oldid=5387 »