Visualisation et interactions

Ce thème regroupe les activités de recherche de l'équipe autour de l'interaction homme-machine en environnement immersif et de la visualisation de modèles 3D complexes.

Le but principal de nos études concernant la visualisation consiste à concevoir et implanter de nouvelles méthodes permettant de calculer une image réaliste et / ou intelligible à partir d'une représentation numérique d'un modèle 3D.

Nos travaux concernant les questions d'interaction en environnement virtuel tirent parti de l'expertise de l'équipe concernant la visualisation et l'édition de modèles 3D. En nous appuyant sur les travaux des différents thèmes, nous avons développé une plate-forme de modélisation 3D en environnement immersif. Cette plateforme, nommée VRModelis, implante les différentes techniques d'interaction novatrices que nous avons développées. Celles-ci s'inscrivent dans l'objectif du thème consistant à proposer des techniques d'interaction qui, contrairement aux techniques existantes, permettent d'obtenir les niveaux de précision et de confort nécessaire aux tâches de modélisation.

Participants permanents

Deux professeurs: Dominique Bechmann et Jean-Michel Dischler
Trois maîtres de conférences: Antonio Capobianco, Caroline Essert, Jérome Grosjean
Un ingénieur de recherche: Olivier Génevaux

Autres participants

1 Chercheure associée: Murielle TORREGROSSA (MC IUT RS, -12/2012)
7 Post-doctorants: Vincent BAUDET (CNRS, 11/2006-10/2007), Arnaud FABRE (ATER, 12/2006-08/2007), Guillaume GILET (ANR ATROCO, 10/2009-08/2010), Amel GUETAT (ATER, 09/2007-08/2009), Jérôme SIMONIN (ANR DNA, 07/2009-06/2010), Ludovic STERNBERGER (ATER, 12/2006-08/2007), Manuel VEIT (ATER, 10/2010-08/2011)
2 Doctorants: Alexandre ANCEL (Ministère, 10/2008-), Jonathan WONNER (Normalien, 10/2010-)
4 Anciens doctorants: Lucas AMMANN (Ministère, 10/2006-09/2010), Guillaume GILET (Contrat IRCAD, 01/2006-09/2009), Stéphane MARCHESIN (Ministère, 10/2003-07//2007), Manuel VEIT (Ministère, 10/2007-09/2010),

Visualisation

Visualisation scientifique et rendu volumique direct

Dans le domaine de la visualisation scientifique, nous nous intéressons essentiellement au rendu volumique direct de données numériques scalaires 3D issues de procédés tomographiques pour faciliter l’exploitation, l’exploration et la compréhension de ce type de données (une des applications visée est la visualisation scientifique de données médicales issues d’IRM par exemple).

L’objectif consiste à augmenter l’interactivité du rendu en utilisant les fonctionnalités des cartes graphiques modernes (en multi-GPU ou en mono-GPU).

Plusieurs contributions ont été proposées pour améliorer la visibilité de structures au sein de données 3D 4-MDM07,4-EMDM08,4-HZLD08,2-GAMD10 et 2-MDM10 et pour paralléliser les traitements 4-MMD06,4-MMD08. Les activités en rendu volumique direct se poursuivent et concernent actuellement la gestion efficace de modèles d’éclairages avancés 4-ADM10.

Rendu d'objets et modélisation de matériaux

Dans le domaine du rendu nous proposons essentiellement des mécanismes permettant de modéliser et de rendre l'apparence de surfaces. Des outils interactifs pour la création de matériaux volumétriques procéduraux (définis à partir de fonctions stochastiques) ont été proposés 2-GD09,2-GD10. Des approches nouvelles pour le rendu de matériaux transparents 4-GLD06 ainsi que le rendu d'objets de type terrains 4-AGD10 sont explorés.

Nos efforts portent également sur la création de cartes d’identité numériques d’objets et de matériaux « réels » : variations de la géométrie, de la couleur et de la réflectance sur une surface. Pour cela nous explorons des procédés d’acquisition : objets avec texture ou échantillons plans de textures. Les masses de données générés par les procédés d'acquisition nécessitent de traiter l’information de façon à l'adapter au rendu temps réel sur GPU. Notre objectif consiste également à créer des apparences visuelles complexes à partir de collections d'images (photographies).

Interaction

En nous appuyant sur l'analyse et l'évaluation de modèles théoriques de l'interaction 3D, nous avons réalisé un travail expérimental portant sur la notion essentielle de Degré de liberté 4-VCB09. Pour cela, nous avons mis au point une nouvelle métrique permettant de mesurer le degré d'intégration des différents DDL constituant la tâche. Nous avons ainsi montré qu'il était pertinent de proposer des techniques permettant l'intégration du contrôle des DDL lorsque le niveau de précision requis est faible. En revanche, contrairement à l'approche généralement exploitée qui repose une intégration maximale de la manipulation des différents DDL, il est préférable d'isoler le contrôle des dimensions requérant un niveau de précision important en phase finale 4-VCB11. Ce travail réalisé dans le cadre de la thèse de M. Veit encadré par D. Bechmann et A. Capobianco a donné lieu à une publication majeure à la conférence de référence du domaine, IEEE VR11 2-VCB11.

Nous proposons plusieurs techniques d'interaction, issues de cette approche, et qui permettent d'obtenir des niveaux de précisions autorisant la réalisation de tâches de modélisation en environnement immersif : DIOD (Dynamic Decomposition and integration of degrees of freedom) 4-VCB10, CrOS (Cursor On Surface) 8-Vei10.

Par ailleurs, nous avons proposé plusieurs études sur le thème du retour haptique. La première portait sur l'élaboration d'un menu haptique, dédié aux applications utilisant cette technologie. Les deux objectifs poursuivis étaient d'une part de permettre à l'utilisateur de contrôler l'application avec le même périphérique qu'ils utilisent déjà pour interagir, sans repasser à la souris en permanence, et d'autre part de mettre à profit le retour d'effort pour assister le geste lors du contrôle d'application avec périphérique 3D 4-CE10, 4-EC10, 4-EC09.

La deuxième portait sur l'utilisation du retour haptique à des fins différentes de la simulation réaliste ou de l'assistance qui constituent 99% des utilisations de ces périphériques. Nous avons souhaité l'utiliser pour matérialiser des propriétés dans l'espace, soit parce qu'elles sont difficiles à afficher sur l'écran, soit parce que l'on souhaite décharger le canal visuel souvent sollicité par de trop nombreuses informations à afficher. Ainsi, nous étudions actuellement comment rendre haptiquement certaines valeurs numériques, en envisageant différents types de retours haptiques possibles (vibrations, viscosité, retour élastique ou magnétique,...) et en étudiant leurs seuils de perception.

Dans le cadre du projet ANR DNA, nous avons développé sur le workbench une plateforme immersive de modélisation et d'édition de terrains. Notre modèle de terrain est un espace voxelisé de très grande taille pouvant intégrer des caractéristiques tridimensionnelles complexes comme des surplombs, des arches ou même des grottes. L'édition immersive d'un tel modèle 3D pose des contraintes fortes d'interaction et de visualisation. Les techniques de sélection et de manipulation existantes ne permettent pas en effet de sélectionner des positions 3D quelconques, matérialisées ou non par un élément graphique, visibles ou occultées par le décor, à distance de bras ou à grande distance. Nous avons conçu et développé une technique hybride de sélection 3D combiné à une gestion semi-automatique du point de vue, permettant également la navigation. La technique s'articule autour d'un pointeur 3D semblable à un pointeur de souris pour environnement immersif. Ce pointeur baptisé 3D arrow, présenté en poster à IEEE VR2011 4-GSGM11, a été pour l'instant évalué et validé auprès d'utilisateurs sur une tâche de suivi de courbes 3D de très grande taille simulant des gestes d'édition caractéristiques.

Perspectives

Nouvelles approches en visualisation et interaction

Dans le cadre de la visualisation nous souhaitons poursuivre nos efforts en matière d'amélioration de l’interactivité et qualité du rendu. Les données fournies par les tomographes ainsi que les données synthétiques créées par modélisation 3D sont de plus en plus volumineuses. Elles sont aussi de plus en plus souvent multi-modales. Outre la gestion efficace des gros volumes de données que cela implique, le problème de l’affichage de façon intelligible de cette information se pose. Nous souhaitons proposer des techniques de visualisation qui permettent d’afficher l’ensemble des données en adaptant les techniques classiques de rendu volumique direct. Notre effort porte également sur l’amélioration de la qualité du calcul de l’éclairage. Pour valider le choix des paramètres d’éclairage, nous envisageons de nous appuyer sur des études psycho-visuelles qui permettraient de valider les meilleurs configurations (sources de lumière diffuse ou ponctuelle, position, intensité, ombrage, etc.) à présenter ensuite aux utilisateurs finaux. Cette problématique rejoint celle de l’interaction 3D du fait que la validation devient centrée sur l’utilisateur.

Sur le plan de l’interaction 3D, nous souhaitons exploiter nos outils concernant l'étude de l'intégration des DDL lors de tâches de manipulation à d'autres types de périphériques d'interaction, et notamment les interfaces tactiles. Certaines techniques que nous proposons (CrOS par exemple) seraient tout à fait adaptées à ce type de périphériques. Une première étude nous a permis de montrer la pertinence de cette approche et nous souhaitons poursuivre notre travail sur ce point afin de pouvoir le valoriser auprès de la communauté scientifique en interaction et réalité virtuelle.

Dans le cadre des périphériques haptiques, nous envisageons de poursuivre nos recherches sur le menu 3D haptique, ainsi que sur la matérialisation de propriétés. Sur le 1er objectif, nous souhaitons comparer les performances de notre menu à des menus plus classiques de type pie menus notamment. Sur le 2ème objectif, nous allons expérimenter nos approches de matérialisation sur une application de planification automatisée d'interventions chirurgicales (voir aussi le thème Spécifications, contraintes et preuves), afin de représenter autrement que visuellement l'espace des solutions possibles, la scène 3D affichée étant déjà bien chargée avec les nombreuses structures anatomiques à afficher, parfois en transparences superposées.