THEME 2 OPERATION5

Opération 5: Interaction 3D

Responsable : Dominique Bechmann PR 1C

Participants : Antonio Capobianco MC 71ème section, Jérôme Grosjean MC, Pascal Schreck PR 2C, Sylvain Thery IR, Caroline Villard MC, IR CNRS (Recrutement au 1-12-2007).

Doctorants : Manuel Veit

Post-doctorant : Ludovic Sternberger.

Présentation

Parallèlement à la modélisation des objets, nous souhaitons pouvoir interagir avec ces modèles à tous les niveaux. Nous souhaitons manipuler, déformer, éditer, aussi bien leur topologie que leur plongement, aussi bien les contraintes et les descriptions de haut niveau que les solutions proposées. Cela nous conduit à nous intéresser à la problématique de l'interaction en réalité virtuelle. Notre approche repose sur le retour visuel, l'utilisation des deux mains et le retour d'effort pour interagir avec les objets modélisés.

L’interaction 3D se caractérise par un découpage de l'interaction en tâches élémentaires [3-SB07]. Les tâches élémentaires de l’interaction 3D sont la navigation, la sélection et la manipulation, avec contrôle gestuel et retour d’effort. Le contrôle d’application vient compléter les tâches élémentaires. Nous présentons nos travaux suivants ce découpage.

Plate-forme de réalité virtuelle

La réalité virtuelle souffre, pour le moment, du manque de standard permettant de concevoir une application en environnement virtuel. Un des premiers soucis est l'hétérogénéité des dispositifs physiques qui sont encore en pleine évolution. Le second tient au fait que peu de concepts fondamentaux de l'interaction 3D aient été dégagés à ce jour et que donc, les techniques d'interaction sont en pleine émergence. Dans ces conditions, tout investissement en environnement virtuel nécessite quasiment le développement d'une plate-forme logicielle de réalité virtuelle, adaptée, d'une part aux dispositifs d'entrées-sorties disponibles, et d'autre part aux applications visées.

Ainsi dans le cadre de la thèse de Ludovic Sternberger soutenue en 2006, une librairie d'interaction 3D a été conçue et développée : la vrLIB [4-SBB07, 8-Ste06]. Cette dernière ne prétend pas améliorer ou remplacer les nombreuses librairies de réalité virtuelle conçues à travers le monde. Son positionnement est de proposer une boîte à outils logiciels permettant de passer, le plus simplement possible, d'une application existante sur station de travail type PC, à une application en environnement immersif de type workbench. Cette activité a vocation à évoluer en vue des applications scientifiques et en particulier, des applications médicales que nous visons. Elle sera portée par le futur ingénieur de recherche du CNRS que le LSIIT recrutera en 2007 pour prendre en charge la plate-forme de réalité virtuelle.

Contrôle d'applications

L'objectif de cette activité est de proposer de nouvelles techniques permettant de contrôler des applications en environnement immersif [8-Geb04]. Les premiers travaux de l'équipe ont été effectués dans le cadre de la thèse de Dominique Gerber soutenue en 2005. Ils portent sur la conception d'un nouveau menu, adapté aux dispositifs immersifs. Ce menu, de la famille des menus circulaires, appelé menu Spin [4-GB05, 4-GB04, 6-GBG05], se contrôle par une simple rotation de la main : une rotation vers la droite impliquant soit une rotation du menu (décalant ainsi l'élément sélectionné vers la gauche), soit une rotation de l'élément sélectionné. Les deux options correspondent à des schémas cognitifs, différents selon l'utilisateur, qui sont, à peu près, aussi fréquent l'un que l'autre. Une correction des mouvements de l'utilisateur a été mise en place afin de diminuer les erreurs de saisie. Une version hiérarchique du menu Spin a été conçue, permettant ainsi de créer des menus de contrôle contenant autant d'élément que nécessaire. Enfin, ce menu a l'avantage d'être efficace pour une large gamme d'utilisateurs allant des débutants aux utilisateurs confirmés. Le Spin Menu, ainsi que le Menu CCube développé par Jérôme Grosjean durant sa thèse dans le projet INRIA I3D, sont intégrés dans la vrLIB.

Sélection et Manipulation

Contrairement aux espoirs que la réalité virtuelle a suscités à ses débuts, la sélection et la manipulation d'objets virtuels dans un environnement immersif posent, pour le moment, plus de problèmes qu'elles n'en résolvent. Rapidement la nécessité d'apporter des aides à la manipulation, via des indices visuels et/ou des manipulations contraintes, est apparue. Ces aides n'ont de sens que dans un contexte applicatif donné, c'est pourquoi nous avons considéré un certain nombre d'aides pour diverses applications immersives.

Pilote géologique immersif

La première application immersive [4-HBB03, 2-BSP05] sur laquelle nous avons travaillé en collaboration avec l'Institut Français du Pétrole et l'Ecole des Mines de Paris, offrait la possibilité de labelliser interactivement des surfaces, représentant des couches géologiques ou des failles, afin de construire un graphe d'évolution géologique du sous-sol représenté par les surfaces. Cette première application nous a surtout permis de nous rendre compte de la difficulté du travail en environnement immersif.

Déformation 3D (DogmeRV)

La seconde application immersive, DogmeRV [4-GB04], développée dans le cadre de la thèse de Dominique Gerber, tentait de tirer parti de l'environnement immersif pour le contrôle de la déformation d'objets via le modèle de déformation Dogme [2-BG03]. Là encore, nous nous sommes heurtées à de nombreuses difficultés dont la première fut le contrôle de l'application. Ceci nous a conduit au développement du Spin menu décrit précédemment. Néanmoins, quelques-unes des manipulations que nous avons mises en place, nous ont laissé entrevoir les possibilités de travailler en environnement immersif : la saisie directe de la trajectoire de déformation par mouvement de la main, le contrôle de la taille de la zone déformée par déplacement de poignées.

Planification de la radiofréquence

La troisième application est médicale [4-VSCG04] : elle permet de planifier une opération de brûlure d'une tumeur par échauffement thermique (la radiofréquence). L'environnement immersif permet de placer interactivement l'aiguille sur l'abdomen. Elle est actuellement en cours de développement dans le cadre du postdoc CNRS de Vincent Baudet avec prise en compte du retour d'effort.

Modélisation d'objets 4D

La quatrième application, StigmaVR [4-BRA07], tente de capitaliser l'expérience acquise en terme de manipulation pour pousser encore plus loin des tests en environnement immersif : cette fois ce sont des objets 4D que l'on tente de manipuler via plusieurs vues 3D de l'objet.

Constats sur l'interaction 3D

Ces quatre applications immersives nous ont principalement permis de dresser un constat sur l'interaction 3D : il faut totalement repenser une tâche avant de vouloir la réaliser en environnement immersif car le simple "portage" conduit à une perte d'efficacité et d'ergonomie par rapport à la tâche habituellement effectuée sur station de travail et cela pour plusieurs raisons:

• Dans l’environnement virtuel, le point de vue partiel de l’utilisateur sur l’objet ne lui permet pas de visualiser tous les effets réalisés. De plus, l’environnement de travail semi-immersif de type workbench limite la possibilité de l’utilisateur de modifier son point de vue en se déplaçant autour de l’objet.

• La perception de la profondeur des objets virtuels dans la scène peut être imparfaite et créer un décalage entre la position de la main réelle et le point désigné dans le monde virtuel: ceci pose notamment des problèmes de précision des gestes.

A partir de ces constats, notre travail a consisté ensuite à proposer de réelles améliorations pour la sélection et la manipulation en environnement immersif via le contrôle gestuel et l'ajout de modalité, en particulier, le retour haptique.

Contrôle gestuel

Un des atouts des environnements immersifs réside dans la possibilité d'imaginer et de concevoir un contrôle efficace du geste. Une première étude [4-FSSB06, 4-FSSB05] portant sur l'amélioration du geste en environnement immersif a été mené autour de la pose de contraintes géométriques en 3D. Une seconde, plus poussée, dans le cadre d'une application de déformations de formes géométriques, permet de spécifier des contraintes de déformation sur des volumes virtuels, simplement en reproduisant un geste «intuitif» de déformation (saisie du point d’application de la contrainte et geste de déformation pour spécifier la déformation: étirement, torsion, etc.). Nous nous sommes attachés à proposer plusieurs améliorations au paradigme de déformation de base en environnement immersif.

La plus aboutie offre la possibilité d’utiliser un mode d’interaction bi-manuelle [4-VCB07] qui permet d’augmenter la liberté de l’utilisateur dans son interaction avec le système: il peut choisir d’exprimer des contraintes alternativement avec l’une et l’autre main, de réaliser des déformations simultanées (permettant d’obtenir des résultats complexes difficiles à obtenir avec des déformations successives), ou encore il devient possible de saisir/déplacer l’objet dans le monde virtuel d’une main, en imposant une déformation de l’autre. L'introduction d'un repère physique dans l'environnement, par le biais de l'utilisation de la main non-dominante, permet d'envisager un meilleur contrôle du geste de déformation réalisé, grâce à l'ajout d'informations proprioceptives. L'évaluation du gain effectif ainsi obtenu, aussi bien en termes de rapidité d'exécution que de précision, est en cours d'évaluation.

Retour d'effort

Pour permettre d'effectuer des mouvements précis selon des axes ou des directions privilégiées de l’espace à trois dimensions, l'amélioration de l'interaction gestuelle également visée consiste à contraindre physiquement les mouvements de la main ou d’un outil tenu en main, grâce à un dispositif à retour d'effort.

Une première étude [2-VSG05], réalisée dans le cadre de l'application médicale de radiofréquence, a permis de montrer le grand intérêt d'un outil de localisation 3D et du retour d'effort pour la simulation réaliste du geste chirurgical. L'objectif visé est principalement la formation de praticiens, car son expérience joue un rôle non négligeable dans les taux de réussite de l'opération. Cette application a utilisé un système de retour d'effort du commerce couplé avec une station de travail classique.

Une collaboration entre le laboratoire LSIIT et le laboratoire du professeur Makato Sato au Tokyo Institute of Technology a permis d'installer un système à retour d’effort du type Spidar sur la station de réalité virtuelle du type workbench de l’Université Louis Pasteur de Strasbourg. Sylvain Thery a séjourné un mois au Japon en 2006 pour acquérir l'expérience nécessaire à l'installation d'un tel système à retour d'effort. Ce Spidar dédié a l'avantage d'offrir un espace de travail plus large, permettant de voir directement la scène en 3D et de la manipuler.