ExRealis

ExRealis - Une plateforme pour la numérisation

Dans de nombreux secteurs, dont l'industrie, on constate un besoin croissant de contenu numérique, que ce soit pour l'enrichissement de mondes virtuels, pour des simulations ou pour du prototypage avant production, par exemple. Le commerce propose, à l'heure actuelle, de nombreux scanners 3D dont la précision, d'ordre métrologique, permet désormais la mesure fiable d'objets réels et la capture d'empreintes numériques fidèles. Cela aboutit en partie à transformer la tâche de production de contenu numérique, jusque là exclusivement dévolue aux infographistes 3D, en un acte technique de prise de données souvent moins onéreux.

Malgré l'amélioration des technologies de mesure de forme, le passage des données mesurées à un contenu numérique exploitable par des applications graphiques requière encore de nombreux traitements intermédiaires. En outre, depuis quelques années, l'équipe IGG s'applique à mettre en œuvre son savoir faire en numérisation au service du patrimoine culturel, domaine pour lequel la seule mesure de forme ne suffit pas. En effet, capturer l'apparence est alors tout aussi primordial, car c'est uniquement par cette information qu'il devient possible de restituer de manière réaliste les copies numériques produites, en simulant de la manière la plus fidèle qui soit le comportement des matériaux qui les composent par rapport aux conditions d'éclairage et d'observation. Mais l'acquisition d'une telle information requière elle aussi des traitements additionnels.

C'est pour répondre efficacement à l'ensemble de ces besoins que la plateforme ExRealis a été conçue. Elle offre un certain nombre d'outils, équipements et logiciels permettant de produire du contenu numérique de différentes natures à partir de données réelles, avec pour objectif de soutenir les travaux de recherche menés par l'équipe IGG autour de thématiques comme le rendu réaliste, la synthèse de texture, la réalité virtuelle ou encore l'animation 3D, mais également de permettre des prestations variées de numérisation auprès de partenaires. Elle propose notamment:

• un éventail d'équipements et d'outils logiciels couvrant l'ensemble de la chaîne de traitement en numérisation, depuis la prise de données jusqu'à la création de modèles 3D texturés;
• des méthodes avancées de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes;
• un dispositif de capture de mouvements pour l'animation d'avatars en réalité virtuelle ou pour des applications en biomécanique.

Nos équipements

La plateforme ExRealis est dotée d'un certain nombre de dispositifs, détaillés ci-dessous, qui permettent la mesure de différentes informations (géométrie, couleur, mouvement) à partir de scènes ou d'objets réels.

• 

  Scanner courte portée

• 

  Scanner moyenne portée

• 

  Matériel photographique

• 

  Système de capture de mouvement

Scanner courte portée

Ce dispositif optique basé sur le principe de lumière structurée permet la numérisation 3D d'objets d'une taille allant de 20cm à 1m. Sa portée est comprise entre 80 et 120cm et les images télémétriques produites ont une résolution de 1280x960, ce qui offre une définition moyenne de 600 à 700 points par cm carré.
Le logiciel de pilotage et de mesure de forme a été entièrement développé au sein de l'équipe, ce qui nous offre une grande flexibilité ainsi que la possibilité d'une reconfiguration complète du dispositif pour ajuster, par exemple, la définition à des besoins spécifiques.

Scanner moyenne portée

Le scanner laser à temps de vol ScanStation2 de Leica Geosystems permet d'effectuer des acquisitions sur une portée de 0.2 à 300m avec une vitesse allant jusqu'à 50 000 points/sec. Un jeu de cibles fourni par le constructeur permet également de recaler les nuages de points provenant de différentes stations.
Voir également la fiche technique de Leica Geosystems pour de plus amples informations.

Matériel photographique

L'équipe dispose également d'un matériel photographique semi-professionnel consistant en une paire de boîtiers Canon EOS 5D MkII ainsi que deux jeux d'objectifs 24mm, 50mm et 135mm.
Ces appareils sont principalement dédiés à la capture de l'apparence (couleur, texture des objets), mais la duplication du matériel peut également permettre, au besoin, la capture de paires d'images stéréoscopiques.

Système de capture de mouvement

Ce système optique, composé de 12 caméras infrarouge Vicon T40 et T40S d'une définition de 4 Mpixels et d'une fréquence de 370 Hz, permet la capture des mouvements d'objets ou de sujets grâce à la mesure des trajectoires dans l'espace de marqueurs infrarouges. Ces trajectoires peuvent ensuite être utilisées, par exemple, pour l'animation squelettale de personnages.

Nos outils logiciels

Les dispositifs présentés ci-dessus ne fournissent que des données brutes. Afin de produire du contenu numérique exploitable, celles-ci doivent alors être retravaillées par nos logiciels. Dans cette optique, nous menons un processus continu de développement dans le but d'intégrer l'ensemble des traitements utiles à la création de modèles numériques réalistes à partir d'objets physiques réels. Ces développements, basés sur des structures de données et des mécanismes hors-mémoire pour la gestion de très grandes masses de données, permettent le traitement de la géométrie (reconstruction de maillages 3D à partir des données produites par les scanners) ainsi que le traitement de l'apparence (synthèse de couleur, texture, etc. sur ces maillages à partir de photographies).

Acquisition et traitement de la géométrie

Suite à une numérisation, c'est-à-dire à l'acte de prise de données en lui-même, de nombreux traitements doivent être appliqués aux données brutes provenant du scanner avant qu'un modèle 3D exploitable puisse être obtenu. De manière non exhaustive, ces traitements incluent généralement les étapes suivantes:

• le nettoyage, qui vise à supprimer d'éventuels artefacts de mesure (points aberrants, bruit de numérisation, etc.);
• le recalage géométrique, qui permet l'alignement les uns par rapport aux autres des nuages de points acquis par le scanner depuis différents points de vue;
• l'intégration, grâce à laquelle une surface maillée peut être obtenue à partir des points 3D mesurés;
• la décimation, qui permet de décliner le maillage 3D obtenu en différentes résolutions, en fonction de l'application visée.

Notre logiciel couvre l'intégralité des étapes de cette chaîne de traitements, soit grâce à des solutions algorithmiques totalement automatisées, soit à l'aide d'une interface adéquate lorsque l'intervention de l'utilisateur est requise, comme dans le cas de certaines tâches de nettoyage des données, par exemple. Nous sommes donc en mesure de produire, à partir d'objets réels, des modèles 3D propres (autant d'un point de vue géométrique que topologique), à différents niveaux de détails, et pouvant être exportés en de nombreux formats compatibles avec les logiciels de CAO/DAO du marché.

Acquisition et traitement de l'apparence

Acquérir l'apparence d'un objet réel commence par une campagne photographique de ce dernier, afin d'en mesurer les propriétés photométriques. La reconstruction d'une texture à partir des images ainsi acquises demande alors de résoudre certains problèmes:

• le maillage correspondant à l'objet, issu d'une numérisation 3D préalable, doit d'abord être déplié en espace texture par une étape de paramétrisation qui va définir l'agencement de l'espace de stockage pour l'information d'apparence à reconstruire;
• les photographies doivent ensuite être mises en correspondance avec la géométrie de l'objet, grâce à une estimation de la pose et des paramètres optiques de chacune d'elles. Ces paramètres permettent alors de reprojeter le contenu des images sur le maillage;
• les échantillons chromatiques provenant des photos doivent enfin être traités et combinés de manière à produire une texture exempte des artefacts généralement liés aux aberrations chromatiques ou aux erreurs dans l'estimation des paramètres lors de la mise en correspondance images / objet 3D.

Les textures produites peuvent consister, soit en une simple information couleur, soit en des modèles de représentation plus évolués permettant de donner une indication non seulement sur la teinte mais également sur certaines propriétés du matériau, telles que la brillance, par exemple.

L'équipe IGG a travaillé sur l'estimation et le rendu temps réel de tels modèles, en s'attaquant notamment aux champs de lumière. Ces derniers capturent l'apparence d'un objet dans un environnement lumineux donné: celui présent au moment de l'acquisition. Cela inclut notamment tous les effets d'illumination liés au déplacement de l'observateur autour de l'objet (pics spéculaires, inter-réflexions, etc.), ce qui permet a posteriori d'examiner librement la copie numérique dans les mêmes conditions d'éclairage tout en conservant un très haut degré de réalisme par rapport à des modèles de textures plus simplistes.

Toutes ces briques logicielles, nécessaires à l'acquisition de l'apparence, ont été intégrées à la plateforme ExRealis, ce qui en fait un outil puissant pour la reconstruction de maillages 3D texturés à partir de données réelles.

Comparaison entre texture couleur et champ de lumière. Les reflets apparents augmentent le réalisme et permettent de mieux appréhender la nature des matériaux.

Notre savoir faire

Après plus de 10 ans de travail autour de la numérisation 3D + apparence, l'équipe IGG a su acquérir une bonne expertise du domaine et un savoir faire quant à la mise en œuvre de ces outils pour des cas pratiques de campagnes de numérisation. Dans le cadre de différentes collaborations, nous avons ainsi eu l'occasion de mettre en application ce savoir faire au travers de prestations telles que celles présentées ci-dessous.

Fondation de l'Œuvre Notre Dame

Dans le cadre du projet Eveil3D et en partenariat avec le CRIIT Holo3 et la Fondation de l'Œuvre Notre Dame, l'équipe IGG a effectué en octobre 2013 la numérisation de deux statues de la cathédrale de Strasbourg. L'objectif était de mettre ces statues en situation dans un sénario d'apprentissage en environnement immersif. Hautes d'environ 50 cm, elles ont été numérisées à l'aide du scanner courte portée à lumière structurée. Une campagne photographique a de surcroit permis d'en acquérir l'apparence afin de produire des textures couleur pour ces modèles.

Statue ours, cathédrale de Strasbourg. De gauche à droite: photographie, vues du modèle 3D reconstruit après numérisation de la géométrie (35M de points), vues du modèle 3D texturé après numérisation de l'apparence (55 photographies).

Statue taureau, cathédrale de Strasbourg. De gauche à droite: photographie, vues du modèle 3D reconstruit après numérisation de la géométrie (22M de points), vues du modèle 3D texturé après numérisation de l'apparence (28 photographies).

Maison Inter-universitaire des Siences de l'Homme (MISHA)

La MISHA dispose d'une grande collection d'objets ethnographiques, et a lancé il y a quelques années un projet de monde virtuel basé sur le moteur OpenSIM pour permettre de les étudier ou de les remettre en situation. Cela nécessite bien évidemment d'avoir un modèle numérique des pièces en question, et donc de les avoir préalablement numérisées.

Elle a donc fait appel à nos compétences à l'automne 2013 pour produire les copies numériques d'une dizaine d'objets ethnographiques d'origine africaine, de la tribu Dogon. Ceux-ci ont été numérisés à l'aide du scanner courte portée à lumière structurée pour la gréométrie, et grâce à une campagne photographique pour la couleur.

Copies numériques de trois masques dogons. De gauche à droite: masque adone (antilope), masque kanaga, masque d'un oiseau surmonté d'un dege.

Copie numérique d'une coupe de Hogon. Assemblée à droite, puis chaque pièce présentée de manière distincte à gauche.

Copies numériques de deux statuettes féminines dege.

Fort de Bois l'Abbé

Ci-dessous, quelques rendus issus de la numérisation d'une partie du Fort de Bois l'Abbé (48°12'16.3"N 6°24'00.8"E), situé à Uxegney près d'Epinal. Le modèle final compte environ 63 millions de points, capturés à l'aide du scanner Leica Scanstation 2 depuis 20 positions différentes sur le site. Les couleurs attribuées aux points sont issues de la caméra interne du scanner, destinée à la manipulation et non à une capture fidèle de l'apparence.

• 
• 
• 
• 

Gypsothèque de l'Université de Strasbourg

Nous avons eu l'occasion d'entrer en contact avec la Gypsothèque de l'université de Strasbourg (musée de copies en plâtre d'œuvres d'art) pour effectuer la numérisation d'une de leurs statues.

Modèle numérisé d'une statue d'Aphrodite, Gypsothèque de Strasbourg.

Quelques numérisations en laboratoire

Voici quelques modèles numérisés dans nos locaux afin de produire des jeux de données servant à illustrer les travaux de recherche de l'équipe IGG. Certains de ces modèles 3D sont munis d'une texture de type champ de lumière, permettant de simuler les variations d'illumination liées aux déplacement de l'observateur pour plus de réalisme, ainsi que nous l'avons présenté plus haut. Pour ceux-là, une texture couleur standard peut également être exportée dans les formats d'image standards.

• 

  Eléphant
  Géometrie: 4.9M triangles
  Texture: champ de lumière + couleur

• 

  Dragon
  Géometrie: 18.2M triangles
  Texture: champ de lumière + couleur

• 

  Mask1
  Géometrie: 7.7M triangles
  Texture: champ de lumière + couleur

• 

  Mask2
  Géometrie: 8.7M triangles
  Texture: couleur

• 

  Vénus au bain
  Géometrie: 3.6M triangles
  Pas de texture

Collaborations

Plusieurs projets nationaux et régionaux sont associés à cette plateforme:

• Projet Interreg EVEIL3D,
• ANR ATROCO,
• Ministère RIAM AMI3D,
• Région Pôle Image.

Contacts

Si vous avez des besoins, que ce soit en termes de prestations ou de transfert technologique autour de la numérisation, ou si vous êtes simplement intéressés par l'un des modèles présentés sur cette page, vous pouvez contacter Frédéric Larue, ingénieur de recherche en charge de la plateforme ExRealis à l'adresse mail suivante: flarue AT unistra.fr