Différences entre les versions de « Modélisation géométrique, Simulation et Interaction Bilan2016-2021 »
| Ligne 44 : | Ligne 44 : | ||
==== Perception de l'agencement spatial en environnement virtuel ==== | ==== Perception de l'agencement spatial en environnement virtuel ==== | ||
| − | La réalité virtuelle a montré de nombreux avantages dans plusieurs domaines, notamment celui de l'architecture. Cependant, des travaux antérieurs ont prouvé que les distances sont mal perçues, que ce soit dans des espaces intérieurs ou extérieurs. Plusieurs indices visuels peuvent affecter et améliorer notre perception des distances tels que les couleurs des surfaces, etc. Le projet Gutenberg, dirigé par Daniel Oberfeld-Twistel, vise à examiner comment les propriétés acoustiques des espaces intérieurs influencent la perception de la taille et de l'espace. Des recherches antérieures ont montré que les propriétés acoustiques ont un effet sur la perception de la disposition spatiale d'un espace intérieur et que, dans une certaine mesure, les dimensions d'une pièce peuvent être estimées en écoutant une source sonore à l'intérieur de la pièce. Cependant, notre compréhension de l'interaction entre la disposition spatiale et les propriétés acoustiques de la pièce reste limitée. | + | La réalité virtuelle a montré de nombreux avantages dans plusieurs domaines, notamment celui de l'architecture. Cependant, des travaux antérieurs ont prouvé que les distances sont mal perçues, que ce soit dans des espaces intérieurs ou extérieurs. Plusieurs indices visuels peuvent affecter et améliorer notre perception des distances tels que les couleurs des surfaces, etc. Le projet Gutenberg, dirigé par Daniel Oberfeld-Twistel, vise à examiner comment les propriétés acoustiques des espaces intérieurs influencent la perception de la taille et de l'espace. Des recherches antérieures ont montré que les propriétés acoustiques ont un effet sur la perception de la disposition spatiale d'un espace intérieur et que, dans une certaine mesure, les dimensions d'une pièce peuvent être estimées en écoutant une source sonore à l'intérieur de la pièce. Cependant, notre compréhension de l'interaction entre la disposition spatiale et les propriétés acoustiques de la pièce reste limitée. L'objectif du projet est d'identifier les principes qui sous-tendent la perception des espaces intérieurs à partir d'informations auditives ou audiovisuelles et de répondre ainsi à plusieurs questions. L'être humain peut-il estimer la hauteur, la largeur, la profondeur, le volume et la forme d'un espace lorsque seules des informations auditives sont disponibles ? Est-il également possible de faire paraître une petite pièce plus spacieuse en manipulant ses caractéristiques acoustiques ? |
| − | + | Dans les expériences, nous présentons des pièces virtuelles vides, sans fenêtre et contenant une porte afin de fournir un repère visuel familier. La forme des pièces est rectangulaire. Nous faisons varier la taille de la pièce (largeur, profondeur et hauteur). Chaque taille est présentée dans deux configurations acoustiques : soit avec une forte réverbération (faible absorption sonore des surfaces de la pièce), soit avec une faible réverbération (forte absorption sonore des surfaces de la pièce). Les participants visualisent les pièces à l'aide d'un casque de réalité virtuelle et écoutent des sources sonores à l'intérieur de l'espace (locuteurs masculins et féminins, instruments de musique). Les simulations acoustiques interactives en réalité virtuelle sont créées à l'aide de simulations acoustiques de pointe (https://www.akustik.rwth-aachen.de/go/id/dwoc/lidx/1/file/183613) et présentées par le biais d'un rendu binaural en temps réel (http://virtualacoustics.org/) avec suivi de la tête, fournissant un champ sonore spatial physiquement plausible. La tâche consiste à estimer la largeur, la profondeur, la hauteur et le volume perçus des pièces en unités du système métrique (mètres ou centimètres). | |
| − | Dans le cadre du postdoc de Sabah Boustila, une première expérience | + | Dans le cadre du postdoc de Sabah Boustila, une première expérience a examiné la perception auditive des dimensions des pièces. Dans les simulations visuelles, les pièces étaient complètement sombres, de sorte que les surfaces de la pièce n'étaient pas visibles. Les participants devaient donc estimer la taille de la pièce en écoutant les sources sonores à l'intérieur des espaces. Les résultats ont montré que les jugements de taille étaient largement influencés par le temps de réverbération. Les espaces intérieurs avec un temps de réverbération plus élevé étaient estimés plus grands que les espaces avec un temps de réverbération plus faible. Cependant, les participants n'ont pas été en mesure de percevoir avec précision les variations de largeur, de profondeur et de hauteur. Ces résultats sont compatibles avec les quelques études antérieures qui se sont penchées sur la perception auditive des espaces intérieurs, mais élargissent également de manière significative les travaux antérieurs. Dans les expériences suivantes, nous présenterons les pièces à la fois auditivement et visuellement, afin d'étudier si les caractéristiques auditives d'une pièce ont une influence sur sa taille perçue, même lorsque des informations visuelles complètes sont disponibles. |
====Interaction intuitive et sans contact==== | ====Interaction intuitive et sans contact==== | ||
Version actuelle datée du 7 avril 2022 à 15:55
Objectifs / Challenges
Les travaux du thème "Modélisation géométrique, Simulation et Interaction" visent à répondre à deux grandes problématiques. La première concerne le développement d'outils de modélisation et d'analyse géométriques et topologiques d'objets 3D, à la fois génériques et suffisamment robustes pour être adaptés à des cas concrets. La seconde a trait à l'interaction humain-machine en environnement virtuel, en prenant en compte aussi bien la perception par l'humain de cet environnement que la communication de l'humain vers la machine.
Participants
- Trois professeurs : Dominique Bechmann, David Cazier et Franck Hétroy-Wheeler
- Une directrice de recherche CNRS : Birgitta Dresp-Langley (2019-2020)
- Chaire Gutenberg 2019, Daniel Oberfeld-Twistel, Associate Professor at Johannes Gutenberg - Universität Mainz (Institute of Psychology)
- Trois maîtres de conférences : Antonio Capobianco, Jérôme Grosjean et Pierre Kraemer
- Trois ingénieurs : Thierry Blandet, Sylvain Thery et Joris Ravaglia (depuis 10/2020)
- Ingénieur GEOSIRIS depuis le 01/09/2018, Lionel Untereiner (IR associé à IGG depuis le 8/06/2020)
- Post-Doctorants : Sabah Boustila (Contrat du 15/01/2020 au 31/12/2020), Flavien Lecuyer (ATER IUT Haguenau 2020-2021), Joris Ravaglia (Unistra Idex 2018 - programme Attractivité de 10/2019 à 09/2020)
- Doctorants : Paul Viville (Allocataire UNISTRA du 10/2019 au 09/2022), Quentin Wendling (Allocataire UNISTRA du 10/2019 au 09/2022), Julien Casarin (Bourse CIFRE Gfi-Labs de 2016 à 2019. Soutenance le 30 septembre 2019), Alexandre Hurstel (Contrat projet 3D-Surg de 2015 à 2019. Soutenance le 30 septembre 2019), Sabah Boustila (Contrat projet CIMBEES de 2012 à 2015. Soutenance le 25 mai 2016), Mélinda Boukhana (Bourse CIFRE Arvalis de 03/2018 à 12/2021. Soutenance le 15 décembre 2021), Katia Mirande (Contrat projet ROMI de 11/2018 à 04/2022).
Résultats
Génération de maillage volumique hexaédrique
La construction d'un maillage volumique pour un domaine géométrique donné est un problème complexe et abordé depuis de nombreuses années. La génération de maillages purement hexaédriques pour des domaines de forme quelconque est encore un problème ouvert. Nous avons développé une chaîne de traitement pour la génération de maillages hexaédriques pour des domaines dont la forme peut être représentée par leur squelette. En exploitant cette représentation, le maillage généré est bien aligné avec la géométrie du domaine et sa connectivité est aussi régulière que possible. La difficulté principale réside dans le traitement de la connectivité du maillage au niveau des embranchements du squelette qui peuvent avoir un nombre de branches incidentes quelconque. Nous avons proposé une nouvelle solution avec la construction de surfaces de connexion qui encodent la connectivité du maillage volumique final autour de chacun des sommets du squelette. Chaque sommet est traité de manière indépendante en choisissant, selon la configuration locale, une méthode adaptée. Ces méthodes étant mutuellement compatibles, aucun système de contraintes global n'a besoin d'être résolu. Au final, la chaîne de traitement proposée permet de gérer des formes complexes même en présence de cycles et de nombreuses étapes peuvent traiter les cellules en parallèle. Par rapport à l'état de l'art, la qualité des maillages obtenus est au moins similaire sinon meilleure. L'algorithme mis en oeuvre est robuste à la présence de cycles, et génère des résultats plus symétriques et réguliers dans de nombreux cas. [7-VKB20] [4-VKB21]
Analyse de nuages de points 3D de plantes
En biologie fondamentale comme appliquée, la mesure précise de caractéristiques géométriques des plantes et des arbres (hauteur, angles d'insertion des branches, longueurs entre nœuds, aires des feuilles, etc.) est nécessaire aussi bien pour comprendre l'interaction d'une plante avec son environnement (phénotypage) ou les mécanismes sous-jacents à sa croissance que pour valider les modèles structure-fonction (FSPM). Depuis quelques années, le développement de systèmes d'acquisition passifs (photogrammétrie) ou actifs (scanners laser) a permis de limiter les mesures manuelles qui sont coûteuses et nécessitent de découper et donc détruire les plantes. Ces systèmes génèrent un modèle virtuel de l'objet d'étude sous la forme d'un nuage de points tridimensionnel. Un tel nuage de points doit ensuite subir différents traitements géométriques : débruitage, décomposition en organes botaniques (tige ou tronc, branches, pétioles, feuilles), reconstruction d'un modèle surfacique pour chaque organe, suivi temporel, etc.
Notre contribution à une telle chaîne de traitement est triple. Nous proposons une méthode de segmentation robuste d'un nuage de points de plante en organes botaniques, reposant à la fois sur une analyse spectrale du nuage de points et sur l'incorporation de connaissances botaniques (thèse de Katia Mirande, 2018-2022, [7-MHG20]). L'analyse spectrale permet de déterminer de manière très précise les frontières entre organes, notamment entre le pétiole et la limbe d'une feuille. Quant à l'utilisation de connaissances a priori sur la structure de la plante dans un algorithme probabiliste, elle permet de rendre la segmentation globalement robuste. Notre deuxième contribution concerne la reconstruction de la surface d'un limbe, dans le but d'estimer précisément son aire (thèse de Mélinda Boukhana, 2018-2021, [7-BRHL20]). Nous avons notamment mené une étude comparative entre sept méthodes classiques de reconstruction de surface, selon neuf critères que nous avons définis pour l'occasion et en utilisant un modèle synthétique original de nuage de points 3D de limbe. Nous montrons qu'aucune de ces méthodes n'estime de manière robuste l'aire d'un limbe, et nous proposons une approche alternative plus performante reposant sur une surface de Bézier. Enfin, nous proposons un algorithme multi-échelle de suivi point à point de nuages de points 3D de plantes en croissance (stage de Master de Haolin Pan, [4-PHCC21]). Notre algorithme repose sur le calcul d'un squelette topologique de la plante. Tous ces travaux ont été menés en collaboration avec des spécialistes des plantes, respectivement C. Godin (Inria Lyon), B. de Solan (Arvalis) et D. Colliaux (Sony Computer Science Laboratory).
Perception de l'agencement spatial en environnement virtuel
La réalité virtuelle a montré de nombreux avantages dans plusieurs domaines, notamment celui de l'architecture. Cependant, des travaux antérieurs ont prouvé que les distances sont mal perçues, que ce soit dans des espaces intérieurs ou extérieurs. Plusieurs indices visuels peuvent affecter et améliorer notre perception des distances tels que les couleurs des surfaces, etc. Le projet Gutenberg, dirigé par Daniel Oberfeld-Twistel, vise à examiner comment les propriétés acoustiques des espaces intérieurs influencent la perception de la taille et de l'espace. Des recherches antérieures ont montré que les propriétés acoustiques ont un effet sur la perception de la disposition spatiale d'un espace intérieur et que, dans une certaine mesure, les dimensions d'une pièce peuvent être estimées en écoutant une source sonore à l'intérieur de la pièce. Cependant, notre compréhension de l'interaction entre la disposition spatiale et les propriétés acoustiques de la pièce reste limitée. L'objectif du projet est d'identifier les principes qui sous-tendent la perception des espaces intérieurs à partir d'informations auditives ou audiovisuelles et de répondre ainsi à plusieurs questions. L'être humain peut-il estimer la hauteur, la largeur, la profondeur, le volume et la forme d'un espace lorsque seules des informations auditives sont disponibles ? Est-il également possible de faire paraître une petite pièce plus spacieuse en manipulant ses caractéristiques acoustiques ?
Dans les expériences, nous présentons des pièces virtuelles vides, sans fenêtre et contenant une porte afin de fournir un repère visuel familier. La forme des pièces est rectangulaire. Nous faisons varier la taille de la pièce (largeur, profondeur et hauteur). Chaque taille est présentée dans deux configurations acoustiques : soit avec une forte réverbération (faible absorption sonore des surfaces de la pièce), soit avec une faible réverbération (forte absorption sonore des surfaces de la pièce). Les participants visualisent les pièces à l'aide d'un casque de réalité virtuelle et écoutent des sources sonores à l'intérieur de l'espace (locuteurs masculins et féminins, instruments de musique). Les simulations acoustiques interactives en réalité virtuelle sont créées à l'aide de simulations acoustiques de pointe (https://www.akustik.rwth-aachen.de/go/id/dwoc/lidx/1/file/183613) et présentées par le biais d'un rendu binaural en temps réel (http://virtualacoustics.org/) avec suivi de la tête, fournissant un champ sonore spatial physiquement plausible. La tâche consiste à estimer la largeur, la profondeur, la hauteur et le volume perçus des pièces en unités du système métrique (mètres ou centimètres).
Dans le cadre du postdoc de Sabah Boustila, une première expérience a examiné la perception auditive des dimensions des pièces. Dans les simulations visuelles, les pièces étaient complètement sombres, de sorte que les surfaces de la pièce n'étaient pas visibles. Les participants devaient donc estimer la taille de la pièce en écoutant les sources sonores à l'intérieur des espaces. Les résultats ont montré que les jugements de taille étaient largement influencés par le temps de réverbération. Les espaces intérieurs avec un temps de réverbération plus élevé étaient estimés plus grands que les espaces avec un temps de réverbération plus faible. Cependant, les participants n'ont pas été en mesure de percevoir avec précision les variations de largeur, de profondeur et de hauteur. Ces résultats sont compatibles avec les quelques études antérieures qui se sont penchées sur la perception auditive des espaces intérieurs, mais élargissent également de manière significative les travaux antérieurs. Dans les expériences suivantes, nous présenterons les pièces à la fois auditivement et visuellement, afin d'étudier si les caractéristiques auditives d'une pièce ont une influence sur sa taille perçue, même lorsque des informations visuelles complètes sont disponibles.
Interaction intuitive et sans contact
Lors d'une intervention chirurgicale guidée par l'image, la consultation d'images médicales, en 2D ou 3D, joue un rôle crucial de contrôle pour le chirurgien mais induit une perte de stérilité en raison du contact avec le clavier et la souris. Pour éviter ce problème, dans le cadre du projet BPI 3D-Surg, nous avons proposé une démarche conceptuelle [2-HB19] pour concevoir un vocabulaire gestuel intuitif, efficace et bien adapté aux spécificités du contexte chirurgical, permettant l'usage de technologies sans contact. L'idée clé est d'observer les gestes que l'utilisateur produit instinctivement lorsqu'il est confronté à la tâche de devoir produire une interaction donnée. Ce faisant, chaque sujet nous a fourni son propre vocabulaire gestuel grâce à une démarche d'élicitation (magicien d'Oz). Les gestes recueillis ont ensuite été analysés pour identifier ceux qui étaient les plus fréquemment utilisés par tous et en déduire un vocabulaire gestuel général mais intuitif, spécifique à l'application testée, et satisfaisant au mieux les critères contextuels, conceptuels et techniques que nous avions préalablement identifié. La deuxième étape de notre démarche consiste à faire évaluer le vocabulaire générique précédent par les utilisateurs cibles (chirurgiens) en utilisant le retour d'expérience des experts pour le faire encore évoluer afin d'optimiser la facilité d'utilisation, la mémorisation, la cohérence, la performance et le confort des postures [8-Hurs19].
Travail collaboratif en réalité mixte
Les récentes avancées technologiques en réalité virtuelle ont donné naissance à un ensemble varié de supports permettant de visualiser des environnements virtuels, et d'interagir en manipulant les contenus 3D. Notre objectif est de permettre la création d’expériences virtuelles, accessibles depuis tout support, en vue d'offrir un travail collaboratif impliquant des acteurs, ayant des métiers et des rôles différents, et donc des besoins, en termes de visualisation, et surtout d'interaction avec le contenu 3D, différents. C'est pourquoi un seul dispositif ou support n’est pas suffisant pour accompagner le travail collaboratif. Pour ce faire, nous avons conçu le protocole UMI3D [4-CLTB19], interface entre les contenus et les supports, permettant à tout support d’interagir avec un contenu 3D distant, hébergé sur un serveur. Le fonctionnement du protocole d'échange UMI3D repose principalement sur l'établissement de contrats d'interaction entre le contenu 3D et les supports. Le serveur communique avec le support grâce à une connexion web bidirectionnelle établie entre le contenu 3D et le navigateur UMI3D dédié au support. Le serveur décrit alors au navigateur un ensemble de contrats d'interaction qui définissent les interactions possibles à cet instant pour l'utilisateur. Ces contrats sont définis par la transmission, standardisée au format JSON, d'une combinaison d'objets que nous appelons brique d'interaction. La notion de brique d'interaction s'appuie sur notre étude des degrés de liberté publiée à IEEE VR’2011 [4-VCB11]. Ces briques constituent un nombre réduit de classes permettant de décrire les interactions possibles dans l'environnement virtuel. Lors de la réception du contrat d'interaction par le navigateur, celui-ci effectue une opération dite de projection, pour générer ou mettre à jour l'interface utilisateur spécifique au support, et ainsi rendre possible la réalisation par l'utilisateur du contrat d'interaction. Dans le cadre de la thèse CIFRE de Julien Casarin [8-Casa19], nous avons par ailleurs implémenté le modèle UMI3D avec le moteur de jeu Unity3D [4-CPB18 (mention honorable à CSCW2018), 6-CGPS18] et il en résulte une boîte à outils Unity qui peut être utilisée pour concevoir des interactions collaboratives.