Visualisation et interactions

Ce thème fédère les activités de recherche de l'équipe autour de l'interaction homme-machine en environnement immersif et de la visualisation de modèles 3D complexes.

Notre approche de la visualisation vise à proposer et étudier de nouvelles méthodes permettant de calculer une image réaliste et / ou intelligible à partir d'une représentation numérique d'un modèle 3D.

Nos problématiques d'interaction découlent de l'expertise de l'équipe concernant la visualisation et l'édition de modèles 3D. En nous appuyant sur les travaux des différents thèmes, nous avons développé une plate-forme de modélisation 3D en environnement immersif. Cette plate-forme, nommée VRModelis, implémente les différentes techniques d'interaction novatrices que nous avons développées. Celles-ci s'inscrivent dans l'objectif du thème consistant à proposer des techniques d'interaction qui, contrairement aux techniques existantes, permettent d'obtenir les niveaux de précision et de confort nécessaire aux tâches de modélisation.

Participants permanents

• Deux professeurs : Dominique Bechmann et Jean-Michel Dischler
• Trois maîtres de conférences : Antonio Capobianco, Caroline Essert, Jérôme Grosjean
• Un ingénieur de recherche : Olivier Génevaux

Autres participants

• 1 Chercheure associée: Murielle TORREGROSSA (MC IUT RS, -12/2012)
• 7 Post-doctorants: Vincent BAUDET (CNRS, 11/2006-10/2007), Arnaud FABRE (ATER, 12/2006-08/2007), Guillaume GILET (ANR ATROCO, 10/2009-08/2010), Amel GUETAT (ATER, 09/2007-08/2009), Jérôme SIMONIN (ANR DNA, 07/2009-06/2010), Ludovic STERNBERGER (ATER, 12/2006-08/2007), Manuel VEIT (ATER, 10/2010-08/2011)
• 2 Doctorants: Alexandre ANCEL (Ministère, 10/2008-), Jonathan WONNER (Normalien, 10/2010-)
• 4 Anciens doctorants: Lucas AMMANN (Ministère, 10/2006-09/2010), Guillaume GILET (Contrat IRCAD, 01/2006-09/2009), Stéphane MARCHESIN (Ministère, 10/2003-07//2007), Manuel VEIT (Ministère, 10/2007-09/2010),

Interaction

En nous appuyant sur l'analyse et l'évaluation de modèles théoriques de l'interaction 3D, nous avons réalisé un travail expérimental portant sur la notion essentielle de Degré de liberté VCB09. Pour cela, nous avons mis au point une nouvelle métrique permettant de mesurer le degré d'intégration des différents DDL constituant la tâche. Nous avons ainsi montré qu'il était pertinent de proposer des techniques permettant l'intégration du contrôle des DDL lorsque le niveau de précision requis est faible. En revanche, contrairement à l'approche généralement exploitée qui repose une intégration maximale de la manipulation des différents DDL, il est préférable d'isoler le contrôle des dimensions requérant un niveau de précision important en phase finale VCB11.

Nous proposons plusieurs techniques d'interaction, issues de cette approche, et qui permettent d'obtenir des niveaux de précisions autorisant la réalisation de tâches de modélisation en environnement immersif : DIOD (Dynamic Decomposition and integration of degrees of freedom) VCB10, CrOS (Cursor On Surface) Vei10.

Par ailleurs, nous avons proposé plusieurs études sur le thème du retour haptique. La première portait sur l'élaboration d'un menu haptique, dédié aux applications utilisant cette technologie. Les deux objectifs poursuivis étaient d'une part de permettre à l'utilisateur de contrôler l'application avec le même périphérique qu'ils utilisent déjà pour interagir, sans repasser à la souris en permanence, et d'autre part de mettre à profit le retour d'effort pour assister le geste lors du contrôle d'application avec périphérique 3D CE10,EC10, EC09.

La deuxième portait sur l'utilisation du retour haptique à des fins différentes de la simulation réaliste ou de l'assistance qui constituent 99% des utilisations de ces périphériques. Nous avons souhaité l'utiliser pour matérialiser des propriétés dans l'espace, soit parce qu'elles sont difficiles à afficher sur l'écran, soit parce que l'on souhaite décharger le canal visuel souvent sollicité par de trop nombreuses informations à afficher. Ainsi, nous étudions actuellement comment rendre haptiquement certaines valeurs numériques, en envisageant différents types de retours haptiques possibles (vibrations, viscosité, retour élastique ou magnétique,...) et en étudiant leurs seuils de perception.

Dans le cadre du projet ANR DNA, nous avons développé sur le workbench une plate-forme immersive de modélisation et d'édition de terrains. Notre modèle de terrain est un espace voxelisé de très grande taille pouvant intégrer des caractéristiques tridimensionnelles complexes comme des surplombs, des arches ou même des grottes. L'édition immersive d'un tel modèle 3D pose des contraintes fortes d'interaction et de visualisation. Les techniques de sélection et de manipulation existantes ne permettent pas en effet de sélectionner des positions 3D quelconques, matérialisées ou non par un élément graphique, visibles ou occultées par le décor, à distance de bras ou à grande distance. Nous avons conçu et développé une technique hybride de sélection 3D combiné à une gestion semi-automatique du point de vue, permettant également la navigation. La technique s'articule autour d'un pointeur 3D semblable à un pointeur de souris pour environnement immersif. Ce pointeur baptisé 3D arrow, présenté en poster à VR11, a été pour l'instant évalué et validé auprès d'utilisateurs sur une tâche de suivi de courbes 3D de très grande taille simulant des gestes d'édition caractéristiques.

Perspectives

Nous souhaitons exploiter nos outils concernant l'étude de l'intégration des DDL lors de tâches de manipulation à d'autres types de périphériques d'interaction, et notamment les interfaces tactiles. Certaines techniques que nous proposons (CrOS par exemple) seraient tout à fait adaptées à ce type de périphériques. Une première étude nous à permis de montrer la pertinence de cette approche VCB11 et nous souhaitons poursuivre notre travail sur ce point.

Dans le cadre des périphériques haptiques, nous envisageons de poursuivre nos recherches sur le menu 3D haptique, ainsi que sur la matérialisation de propriétés. Sur le 1er objectif, nous souhaitons comparer les performances de notre menu à des menus plus classiques de type pie menus notamment. Sur le 2ème objectif, nous allons expérimenter nos approches de matérialisation sur une application de planification automatisée d'interventions chirurgicales (voir aussi le thème Spécifications, contraites et preuves), afin de représenter autrement que visuellement l'espace des solutions possibles, la scène 3D affichée étant déjà bien chargée avec les nombreuses structures anatomiques à afficher, parfois en transparences superposées.