Modélisation géométrique, Simulation et Interaction Bilan2016-2021
Objectifs / Challenges
Participants
- Trois professeurs : Dominique Bechmann, David Cazier et Franck Hétroy-Wheeler
- Une directeure de recherche CNRS : Birgitta Dresp-Langley (2019-2020)
- Chaire Gutenberg 2019, Daniel Oberfeld-Twistel, Associate Professor at Johannes Gutenberg - Universität Mainz (Institute of Psychology)
- Trois maîtres de conférences : Antonio Capobianco, Jérôme Grosjean et Pierre Kraemer
- Deux ingénieurs : Thierry Blandet et Sylvain Thery
- Ingénieur GEOSIRIS depuis le 01/09/2018, Lionel Untereiner (IR associé à IGG depuis le 8/06/2020)
- Post-Doctorants : Sabah Boustila (Contrat à partir de 15/01/2020), Flavien Lecuyer (ATER IUT Haguenau 2020-2021), Joris Ravaglia (Unistra Idex 2018 - programme Attractivité à partir du 01/10/2019)
- Doctorants : Paul Viville (Allocataire UNISTRA du 10/2019 au 09/2022), Quentin Wendling (Allocataire UNISTRA du 10/2019 au 09/2022), Julien Casarin (Bourse CIFRE Gfi-Labs de 2016 à 2019. Soutenance le 30 septembre 2019), Alexandre Hurstel (Contrat projet 3D-Surg de 2015 à 2019. Soutenance le 30 septembre 2019), Sabah Boustila (Contrat projet CIMBEES de 2012 à 2015. Soutenance le 25 mai 2016), AUTRES ??
Résultats
Génération de maillage volumique hexaédrique
La construction d'un maillage volumique pour un domaine géométrique donné est un problème complexe et abordé depuis de nombreuses années. La génération de maillages purement hexaédriques pour des domaines de forme quelconque est encore un problème ouvert. Nous avons développé une chaîne de traitement pour la génération de maillages hexaédriques pour des domaines dont la forme peut être représentée par leur squelette. En exploitant cette représentation, le maillage généré est bien aligné avec la géométrie du domaine et sa connectivité est aussi régulière que possible. La difficulté principale réside dans le traitement de la connectivité du maillage au niveau des embranchements du squelette qui peuvent avoir un nombre de branches incidentes quelconque. Nous avons proposé une nouvelle solution avec la construction de surfaces de connexion qui encodent la connectivité du maillage volumique final autour de chacun des sommets du squelette. Chaque sommet est traité de manière indépendante en choisissant, selon la configuration locale, une méthode adaptée. Ces méthodes étant mutuellement compatibles, aucun système de contraintes global n'a besoin d'être résolu. Au final, la chaîne de traitement proposée permet de gérer des formes complexes même en présence de cycles et de nombreuses étapes peuvent traiter les cellules en parallèle. Par rapport à l'état de l'art, la qualité des maillages obtenus est au moins similaire sinon meilleure. L'algorithme mis en oeuvre est robuste à la présence de cycles, et génère des résultats plus symétriques et réguliers dans de nombreux cas. [7-VKB20] [4-VKB21]
Interaction intuitive et sans contact
Lors d'une intervention chirurgicale guidée par l'image, la consultation d'images médicales, en 2D ou 3D, joue un rôle crucial de contrôle pour le chirurgien mais induit une perte de stérilité en raison du contact avec le clavier et la souris. Pour éviter ce problème, dans le cadre du projet BPI 3D-Surg, nous avons proposé une démarche conceptuelle [2-HB19] pour concevoir un vocabulaire gestuel intuitif, efficace et bien adapté aux spécificités du contexte chirurgical, permettant l'usage de technologies sans contact. L'idée clé est d'observer les gestes que l'utilisateur produit instinctivement lorsqu'il est confronté à la tâche de devoir produire une interaction donnée. Ce faisant, chaque sujet nous a fourni son propre vocabulaire gestuel grâce à une démarche d'élicitation (magicien d'Oz). Les gestes recueillis ont ensuite été analysés pour identifier ceux qui étaient les plus fréquemment utilisés par tous et en déduire un vocabulaire gestuel général mais intuitif, spécifique à l'application testée, et satisfaisant au mieux les critères contextuels, conceptuels et techniques que nous avions préalablement identifié. La deuxième étape de notre démarche consiste à faire évaluer le vocabulaire générique précédent par les utilisateurs cibles (chirurgiens) en utilisant le retour d'expérience des experts pour le faire encore évoluer afin d'optimiser la facilité d'utilisation, la mémorisation, la cohérence, la performance et le confort des postures [8-Hurs19].
Travail Collaboratif en Réalité Virtuelle
Les récentes avancées technologiques en Réalité Virtuelle ont donné naissance à un ensemble varié de supports permettant de visualiser des environnements virtuels, et d'interagir en manipulant les contenus 3D. Notre objectif est de permettre la création d’expériences virtuelles, accessibles depuis tout support, en vue d'offrir un travail collaboratif impliquant des acteurs, ayant des métiers et des rôles différents, et donc des besoins, en termes de visualisation, et surtout d'interaction avec le contenu 3D, différents. C'est pourquoi un seul dispositif ou support n’est pas suffisant pour accompagner le travail collaboratif. Pour ce faire, nous avons conçu le protocole UMI3D [4-CLTB19], interface entre les contenus et les supports, permettant à tout support d’interagir avec un contenu 3D distant, hébergé sur un serveur. Le fonctionnement du protocole d'échange UMI3D repose principalement sur l'établissement de contrats d'interaction entre le contenu 3D et les supports. Le serveur communique avec le support grâce à une connexion web bidirectionnelle établie entre le contenu 3D et le navigateur UMI3D dédié au support. Le serveur décrit alors au navigateur un ensemble de contrats d'interaction qui définissent les interactions possibles à cet instant pour l'utilisateur. Ces contrats sont définis par la transmission, standardisée au format JSON, d'une combinaison d'objets que nous appelons brique d'interaction. La notion de brique d'interaction s'appuie sur notre étude des degrés de liberté publiée à IEEE VR’2011 [4-VCB11]. Ces briques constituent un nombre réduit de classes permettant de décrire les interactions possibles dans l'environnement virtuel. Lors de la réception du contrat d'interaction par le navigateur, celui-ci effectue une opération dite de projection, pour générer ou mettre à jour l'interface utilisateur spécifique au support, et ainsi rendre possible la réalisation par l'utilisateur du contrat d'interaction. Dans le cadre de la thèse CIFRE de Julien Casarin [8-Casa19], nous avons par ailleurs implémenté le modèle UMI3D avec le moteur de jeu Unity3D [4-CPB18 (mention honorable à CSCW2018), 6-CGPS18] et il en résulte une boîte à outils Unity qui peut être utilisée pour concevoir des interactions collaboratives.
Analyse de nuages de points 3D de plantes
En biologie fondamentale comme appliquée, la mesure précise de caractéristiques géométriques des plantes et des arbres (hauteur, angles d'insertion des branches, longueurs entre noeuds, aires des feuilles, etc.) est nécessaire aussi bien pour comprendre l'interaction d'une plante avec son environnement (phénotypage) ou les mécanismes sous-jacents à sa croissance que pour valider les modèles structure-fonction (FSPM). Depuis quelques années, le développement de systèmes d'acquisition passifs (photogrammétrie) ou actifs (scanners laser) a permis de limiter les mesures manuelles qui sont coûteuses et nécessitent de découper et donc détruire les plantes. Ces systèmes génèrent un modèle virtuel de l'objet d'étude sous la forme d'un nuage de points tridimensionnel. Un tel nuage de points doit ensuite subir différents traitements géométriques : débruitage, décomposition en organes botaniques (tige ou tronc, branches, pétioles, feuilles), reconstruction d'un modèle surfacique pour chaque organe, ... Notre contribution à une telle chaîne de traitement est double. Nous avons proposé une méthode de segmentation extrêmement précise d'un nuage de points de plante en organes botaniques, reposant sur une analyse spectrale du nuage de points [7-MHG20]. Une première phase de segmentation basée sur le vecteur de Fiedler de l'opérateur Laplacien appliqué à un graphe construit sur le nuage de points permet de regrouper les points appartenant à chacun des organes et de construire un graphe quotient, où chaque noeud représente un organe et est relié aux organes voisins. Une seconde phase de segmentation incorpore des informations botaniques a priori sur ce graphe quotient et grâce à une minimisation d'énergie permet d'optimiser la frontière entre organes voisins. Nous avons également mené une étude comparative entre six méthodes classiques de reconstruction de surface, appliquée au calcul de l'aire des feuilles d'un arbre ou d'une plante [7-BRHL20]. Pour cela nous avons caractérisé les principaux critères géométriques discriminants sur un nuage de points, et montré qu'aucune des méthodes standard ne donne de résultat convenable dans tous les contextes. Néanmoins, deux des méthodes fournissent unes estimation raisonnable de la surface foliaire dans les cas simples.