ExRealis
ExRealis devient un pôle de la Plate-forme d'ICube GAIA (Géométrie, Analyse et Intelligence Artificielle)
ExRealis - Une plateforme pour la numérisation
Dans de nombreux secteurs industriels, on constate un besoin croissant d'outils pour la production de contenu numérique, que ce soit pour des applications vidéoludiques, cinématographiques, de simulation ou de prototypage rapide. De nombreux scanners 3D sont actuellement disponibles dans le commerce, dont la précision métrologique garantit désormais des mesures fiables d'objets réels ainsi que la capture d'empreintes numériques fidèles. Cela aboutit en partie à transformer la tâche de production de contenu numérique, jusque là exclusivement dévolue aux infographistes 3D, en un acte technique de prise de données souvent moins onéreux.
Malgré l'amélioration de ces technologies, passer des données mesurées à un contenu numérique exploitable par des applications graphiques requière encore de nombreux traitements. De plus, pour certains domaines spécifiques comme le patrimoine culturel ou les milieux artistiques, la seule forme ne suffit pas: mesurer l'apparence est tout aussi primordial pour l'affichage de modèles numériques à l'aspect réaliste.
C'est pour répondre efficacement à l'ensemble de ces besoins que la plateforme ExRealis a été conçue. Elle offre un certain nombre d'outils, matériels et logiciels, permettant de produire du contenu numérique de différentes natures à partir de données réelles, avec pour objectif de soutenir les travaux de recherche menés par l'équipe IGG autour de thématiques comme le rendu réaliste et la synthèse de texture, mais également de permettre des prestations variées de numérisation auprès de partenaires. Elle propose notamment:
- un éventail d'équipements et d'outils logiciels couvrant l'ensemble de la chaîne de traitement en numérisation, depuis la prise de données jusqu'à la création de modèles 3D texturés;
- des méthodes avancées de reconstruction et de visualisation de textures pouvant tenir compte d'environnements lumineux ou de caractéristiques de matériaux complexes.
Nos équipements
La plateforme ExRealis est dotée d'un certain nombre de dispositifs, détaillés ci-dessous, qui permettent la mesure de la géométrie ou de la couleur à partir de scènes ou d'objets réels.
Scanner courte portée
Scanner moyenne portée
Matériel photographique
Scanner courte portée
Ce dispositif permet la numérisation 3D par lumière structurée d'objets d'une taille allant de 20cm à 1m. Sa portée est comprise entre 80 et 120cm et les images télémétriques produites ont une résolution de 1280x960, ce qui offre une définition moyenne de 600 à 700 points par cm carré.
Le logiciel de pilotage et de mesure de forme a été entièrement développé au sein de l'équipe, ce qui nous offre une grande flexibilité ainsi que la possibilité d'une reconfiguration complète du dispositif pour ajuster, par exemple, la définition à des besoins spécifiques.
Scanner moyenne portée
Le scanner laser à temps de vol ScanStation2 de Leica Geosystems permet d'effectuer des acquisitions sur une portée de 0.2 à 300m avec une vitesse allant jusqu'à 50 000 points/sec. Un jeu de cibles fourni par le constructeur permet également de recaler les nuages de points provenant de différentes stations.
Voir également la fiche technique de Leica Geosystems pour de plus amples informations.
Matériel photographique
L'équipe dispose également d'un matériel photographique semi-professionnel, composé de deux boitiers Canon EOS 5D Mark ii ainsi que d'un jeu d'objectifs allant de 25mm à 125mm. Nous l'utilisons pour la capture de l'apparence (couleur, texture des objets) d'objets réels, de même que leur numérisation 3D par photogrammétrie.
Notre solution logicielle
ExRealis propose un logiciel pour le traitement de données numérisées. Nous menons un processus continu de développement dans le but d'intégrer l'ensemble des traitements utiles à la création de modèles numériques réalistes à partir d'objets physiques réels. Les algorithmes proposés permettent le traitement de la géométrie (reconstruction de maillages 3D à partir des données produites par les scanners) ainsi que le traitement de l'apparence (synthèse de couleur, texture, etc. sur ces maillages à partir de photographies).
Dédié à un usage pratique, ce logiciel a été conçu de manière modulaire, avec un souci constant d'ergonomie. Il est prévu pour gérer de grandes masses de données par le biais de structures de données et de mécanismes hors-mémoire, et un grand nombre de ses algorithmes sont optimisés grâce à de la programmation parallèle ou GPU.
Acquisition et traitement de la géométrie
Suite à une numérisation, c'est-à-dire à l'acte de prise de données en lui-même, de nombreux traitements doivent être appliqués aux données brutes provenant du scanner avant qu'un modèle 3D exploitable puisse être obtenu.
Notre logiciel couvre l'intégralité des étapes de cette chaîne de traitements, soit grâce à des solutions algorithmiques totalement automatisées, soit à l'aide d'une interface adéquate lorsque l'intervention de l'utilisateur est requise, comme dans le cas de certaines tâches de nettoyage des données, par exemple. Nous sommes en mesure de produire, à partir d'objets réels, des modèles 3D propres (autant d'un point de vue géométrique que topologique), à différents niveaux de détails, et pouvant être exportés en de nombreux formats compatibles avec les logiciels de CAO/DAO du marché.
|
Recalage géométrique. Les dispositifs nécessitant la prise de plusieurs vues 3D depuis des poses différentes (scanners à lumière structurée, lidars, ...) fournissent pour chaque acquisition un nuage de points indépendant qui doit être ré-aligné avec les autres, à la manière d’un grand puzzle 3D. Nous avons développé un algorithme qui nous a permis d’automatiser ce processus pour des scanners à lumière structurée, mais ExRealis permet également un recalage manuel à l’aide d’une interface dédiée, ainsi que le raffinement du recalage par des algorithmes itératifs. |
|
Nettoyage. Aucune technologie de numérisation n’étant exempte de bruit, il est fréquent que des points de mesure erronés apparaissent, risquant de perturber les traitements subséquents. Là aussi, une interface dédiée permet un nettoyage manuel. Mais cette tâche est souvent fastidieuse. C’est pourquoi des heuristiques ont été implémentées pour automatiser ce processus, utilisant des indices de confiance calculés sur la base de quantités géométriques ou colorimétriques. |
|
Reconstruction de surfaces. Les nuages de points fournis par les technologies de mesure de forme constitue une représentation mal adaptée à de nombreux usages auxquels les modèles 3D sont destinés (visualisation réaliste, simulations physiques, etc). Il est donc souvent nécessaire de passer à une description close de la surface, sous la forme d’un maillage 3D. Pour ce faire, nous avons intégré à ExRealis des méthodes tirées la littérature scientifique pour extraire des surfaces triangulées à partir des points de mesure. |
|
Simplification de surfaces. Pour afficher des modèles 3D sur des dispositifs à faible performances graphiques (tablettes, smartphones, casques autonome de réalité virtuelle), il est important de pouvoir réduire leur complexité géométrique en conséquence. ExRealis incorpore différents algorithmes permettant cette réduction tout en limitant la perte de détails géométriques, afin de préserver au maximum la forme de l’objet lors de l’opération de simplification. |
ExRealis dispose par ailleurs de nombreux autres outils pour le traitement ou l’amélioration des données géométriques : ré-échantillonnage de nuages de points, lissage de surfaces, bouchage de trous, mesure de cotes et de volumes, etc.
Acquisition et traitement de l'apparence
Acquérir l'apparence d'un objet réel commence par une campagne photographique de ce dernier, afin d'en mesurer les propriétés photométriques. La reconstruction d'une texture à partir des images ainsi acquises demande alors de résoudre un certain nombre de points clés:
|
Paramétrisation de surfaces. Donner une apparence à un objet 3D se fait classiquement par le biais de textures, qui sont des images pouvant contenir différentes informations (albédo, réflectivité, rugosité, détails, …). Pour que chaque portion de surface corresponde à une partie d’image, l’objet 3D doit d’abord être déplié et mis à plat, à l’instar du globe terrestre sur un planisphère. Plusieurs algorithmes pour résoudre cette étape clé dite de paramétrisation sont disponibles dans le logiciel. |
|
Recalage photographique. Pour obtenir la couleur d’un modèle à partir de photos, une première étape consiste à retrouver les points de vue d’où elles ont été prises afin de pouvoir ensuite les projeter sur le modèle 3D comme on le ferait dans la réalité avec un vidéo-projecteur. Des méthodes d’étalonnage de caméra ont donc été intégrées au logiciel dans ce but, comme étape préliminaires à la reconstruction de l’apparence. |
|
Reconstruction de cartes de couleur. L’usage de photos multiples pour reconstruire une carte de couleur nécessite de traiter correctement les zones de la surface sur lesquelles se projettent plusieurs photos. Un mélange naïf peut en effet laisser apparaître des artefacts visuels dans ces zones de transition. ExRealis dispose donc d’algorithmes de mélange plus évolués qui se basent sur des critères de visibilité pour permettre, par exemple, de réduire l’impact des erreurs de reprojection ou d’éliminer le flou de profondeur de champ présent dans certaines images sources. |
|
Reconstruction de cartes de normales. Au-delà d’un certain seuil, la simplification de surface peut engendrer la perte de détails géométriques. En stockant ces détails dans une carte de normales, il est possible de modifier l’illumination au moment du rendu afin de simuler une complexité géométrique sur des maillages simplifiés. Cette approche est moins coûteuse que d’afficher directement des maillages complexes. ExRealis permet la reconstruction de cartes de normales pour des maillages grossiers à partir de versions plus détaillées de ceux-ci. Sur l'image présentée ici, le modèle de gauche est composé de 10K triangles, celui du milieu de 4M de triangles, et celui de droite de 10K triangles + une carte de normales pour stocker les détails. |
Les textures produites peuvent consister soit en une simple information couleur, soit en des modèles de représentation plus évolués permettant de donner une indication non seulement sur la teinte mais également sur certaines propriétés du matériau, telles que la brillance, par exemple.
L'équipe IGG a travaillé sur l'estimation et le rendu temps réel de tels modèles, en s'attaquant notamment aux champs de lumière. Ces derniers capturent l'apparence d'un objet dans un environnement lumineux donné: celui correspondant au moment de l'acquisition. Cela inclut tous les effets d'illumination liés au déplacement de l'observateur autour de l'objet (pics spéculaires, inter-réflexions, etc.), ce qui permet a posteriori d'examiner librement la copie numérique dans les mêmes conditions d'éclairage tout en conservant un très haut degré de réalisme par rapport à des modèles d'apparence plus simplistes.
Notre savoir-faire
Travaillant autour de la numérisation 3D + apparence depuis 2005, l'équipe IGG a su acquérir une bonne expertise du domaine et un savoir-faire quant à la mise en œuvre de ces outils pour des cas pratiques de campagnes de numérisation. Dans le cadre de différentes collaborations, nous avons ainsi eu l'occasion de mettre en application ce savoir-faire au travers de prestations telles que celles présentées ci-dessous.
Musée Vodou de Strasbourg
La société Virtual Journey a lancé un projet proposant aux visiteurs du Musée Vodou de Strasbourg de vivre au travers d’un casque virtuel les rites singuliers associés à cette religion secrète et méconnue en Europe. L’expérience permet ainsi de s’immerger au cœur de cérémonies tournées en vidéo 3D 360° au Bénin, de même que de redonner vie à certains des objets du musée pour en expliquer la fonction par le biais de copies 3D issues de la numérisation de ces pièces. C’est dans ce but que l'équipe IGG du laboratoire ICube a été contactée pour collaborer à ce projet.
Nous avons donc réalisé sur place une campagne de mesure photogrammétrique de deux jours et demi afin de numériser une quinzaine d’objets en lien avec les rituels présentés. Après traitement en laboratoire, notamment à l’aide du logiciel ExRealis développé par IGG pour le traitement de données numérisées, les copies 3D ont été fournies à Virtual Journey pour intégration dans l’application de réalité virtuelle.
Officiellement déployé en octobre 2019, ce projet a reçu un accueil très enthousiaste de la part du public et de la presse, qui nous a offert une excellente couverture médiatique:
- article et reportage sur le site Alsace20.
- article dans le 20 Minutes.
- article dans les DNA.
- article sur le blog Pokaa.
- présentation au festival du numérique Bizz&Buzz.
Fondation de l'Œuvre Notre Dame
Dans le cadre du projet Eveil3D et en partenariat avec le CRIIT Holo3 et la Fondation de l'Œuvre Notre Dame, l'équipe IGG a effectué en octobre 2013 la numérisation de deux statues de la cathédrale de Strasbourg. L'objectif était de mettre ces statues en situation dans un scénario d'apprentissage en environnement immersif. Hautes d'environ 50 cm, elles ont été numérisées à l'aide du scanner courte portée à lumière structurée. Une campagne photographique a de surcroit permis d'en acquérir l'apparence afin de produire des textures couleur pour ces modèles.
Maison Inter-universitaire des Siences de l'Homme (MISHA)
La MISHA dispose d'une grande collection d'objets ethnographiques, et a lancé il y a quelques années un projet de monde virtuel basé sur le moteur OpenSIM pour permettre de les étudier ou de les mettre en situation. Cela nécessite bien évidemment d'avoir un modèle numérique des pièces en question, et donc de les avoir préalablement numérisées.
Elle a donc fait appel à nos compétences à l'automne 2013 pour produire les copies numériques d'une dizaine d'objets ethnographiques d'origine africaine, de la tribu Dogon. Ceux-ci ont été numérisés à l'aide du scanner courte portée à lumière structurée pour la gréométrie, et grâce à une campagne photographique pour la couleur.
Fort de Bois l'Abbé
Ci-dessous sont présentés quelques rendus issus de la numérisation que nous avons faite d'une partie du Fort de Bois l'Abbé (48°12'16.3"N 6°24'00.8"E), situé à Uxegney près d'Epinal. Le modèle final compte environ 63 millions de points, capturés à l'aide du scanner Leica Scanstation 2 depuis 20 positions différentes sur le site. Les couleurs attribuées aux points sont issues de la caméra interne du scanner, destinée à la manipulation et non à une capture fidèle de l'apparence.
Gypsothèque de l'Université de Strasbourg
Nous avons eu l'occasion d'entrer en contact avec la Gypsothèque de l'université de Strasbourg (musée de copies en plâtre d'œuvres d'art) pour effectuer la numérisation d'une de leurs statues.
Quelques numérisations en laboratoire
Voici quelques modèles numérisés dans nos locaux afin de produire des jeux de données servant à illustrer les travaux de recherche de l'équipe IGG. Certains de ces modèles 3D sont munis d'une texture de type champ de lumière, permettant de simuler les variations d'illumination liées aux déplacement de l'observateur pour plus de réalisme, ainsi que nous l'avons présenté plus haut. Pour ceux-là, une texture couleur classique peut également être exportée dans les formats d'image standards.
Eléphant
Géométrie: 4.9M triangles
Texture: champ de lumière + couleur
Dragon
Géométrie: 18.2M triangles
Texture: champ de lumière + couleur
Mask1
Géométrie: 7.7M triangles
Texture: champ de lumière + couleur
Mask2
Géométrie: 8.7M triangles
Texture: couleur
Vénus au bain
Géométrie: 3.6M triangles
Pas de texture
Collaborations
Plusieurs projets nationaux et régionaux sont associés à cette plateforme:
- Projet Interreg EVEIL3D,
- ANR ATROCO,
- Ministère RIAM AMI3D,
- Région Pôle Image.
Contacts
Si vous avez des besoins en termes de prestations ou de transfert technologique autour de la numérisation, ou si vous êtes simplement intéressés par l'un des modèles présentés sur cette page, vous pouvez contacter Frédéric Larue, ingénieur de recherche en charge de la plateforme ExRealis.