Problématique

Ce groupe de recherche, issu des équipes SIRV et VPCAB aborde la problématique des objets visuels, qu’il s’agisse d’images, de vidéos, de scènes 2D et 3D.

Cette problématique englobe les méthodes, les modèles et les outils pour traiter les objets visuels, réels, virtuels, mixtes, en allant jusqu’à les doter, par création ou par enrichissement, des éléments permettant de les utiliser (pour que l’utilisateur puisse s’exprimer, en tant que scientifique, ingénieur, artiste, formateur, médecin...). Nous ne voulons pas développer plusieurs modèles mais un seul meta-modèle ou plutôt un modèle multiforme (approche multimodèle) qui intègre plusieurs sous-modèles différents, chacun ayant ses propriétés et ses limitations intrinsèques ; globalement, chaque modèle palie les inconvénients des autres.

Ces travaux s’organisent selon trois axes de recherches :

• Acquisition, création et visualisation
• Vie Artificielle et Simulation Comportementale
• Environnements virtuels et augmentés interactifs et communicants

I. Acquisition, création et visualisation

Approche multimodèle permettant l’usage de modèles 2D et 3D, réels et synthétiques, statiques et animés, pour l’expression artistique, la communication, le design et la conception en réalité augmentée. Les objectifs sont :
  fournir les modèles permettant de construire une scène 3D à partir d’informations diverses : images ou vidéos acquises à partir du réel, objets 3D scannés objets 3D modélisés intuitivement images de synthèse
  étudier les moyens d’expression permettant de faciliter l’interaction entre les outils et les utilisateurs sketching, outils semi-automatique pour la production 3D
  visualiser en temps réel (ou interactif) la scène 3D rendu expressif, rendu haute dynamique, mélange de mondes réels et synthétiques, éclairage et propriétés de surfaces complexes

Problématiques : recalage de modèles, inversion de modèles ,fusion d’informations, développement des modèles, des structures de données et des algorithmes Résultats escomptés : méthodes de fusion et de manipulation d’images, vidéos et objets 3D par sketching , éclairage et ré-éclairage global en temps interactif, reconstruction 3D robuste et temps réel.

Applications construction d’environnements d’expression artistique et de communication accessibles à tous., design d’objets et de scènes, construction d’environnements de réalité augmentée. Cet axe propose donc une approche de la construction de scènes 3D pour la réalité augmentée et la synthèse d’images : fusion multimodèle guidée par l’esquisse.

II. Vie Artificielle et Simulation Comportementale

L’objectif de cet axe est de synthétiser des mondes virtuels dans lesquels des créatures autonomes ou contrôlées, agissant dans un environnement évolutif, présentent des propriétés inspirées du vivant (reproduction, co-évolution, auto-organisation, adaptation...). Il s’agit donc de passer d’une approche de conception individuelle des éléments de l’espace virtuel, à une approche globale permettant de les synthétiser simultanément. Les compétences de l’équipe recouvrent la morphogenèse de formes et de comportements par des techniques évolutionnistes, ainsi que les systèmes d’optimisation (mono ou multicritères) en environnement dynamique. Concernant l’autonomie des entités, nos recherches dans le domaine de la simulation comportementale portent en particulier sur les aspects apprentissage (classifieurs), communication, coordination spatiale, prise de décision. Pour synthétiser des créatures artificielles complètes au sein d’écosystèmes, nos travaux s’orientent maintenant dans le domaine de l’embryogenèse artificielle (computational development) ou comment coupler développement et évolution pour contrôler une croissance cellulaire apte à produire des organes ou assemblages d’organes adaptés. Ces travaux s’appuient sur des modèles multi agents massivement parallèles pour obtenir des propriétés émergentes du système.

Problématiques Simulation de comportements exhibant des propriétés de coopération/compétition, adaptation, évolution et apprentissage, anticipation, mémoire Production de formes ou de scènes complètes à l’aide d’outils de haut niveau. Synthèse d’écosystèmes (computational development) Couplage capteurs réels - entités artificielles

Résultats escomptés Peupler les mondes virtuels de créatures crédibles autonomes ou contrôlées. Synthétiser des systèmes artificiels complexes à partir de propriétés (physiques, structurelles, visuelles, fonctionnelles, comportementales...). Générer automatiquement des configurations pour la simulation fonctionnelle Animer des groupes et de foules Fournir des mécanismes évolués pour l’interaction avec des Objets Visuels dans les applications de réalité Augmentée.

Applications Comportement de personnages virtuels situés, Simulation de piétons, véhicules, villes..., Conception de structures et de systèmes pour la robotique évolutionniste, Aide au design et à la décision dans des domaines artistique et technique, Simulation de systèmes complexes (gestion de risque majeurs, simulation macro-économique, optimisation...)

III. Environnements virtuels et augmentés interactifs et communicants

Développement de méthodes, techniques et outils permettant l’utilisation partagée interactive de modèles 2D et 3D, réels et synthétiques, statiques et animés, dans des environnements (des conteneurs de contenus visuels) de réalité virtuelle et de réalité augmentée. Les objets visuels manipulés ici ont été crées ou acquis dans l’axe 1, auront évolué ou seront adaptés par des méthodes issues de l’axe 2. Les objets (que l’on pourrait qualifier de « smart objects » seront les contenus actifs de nos environnements visuels. Nous pourrons retrouver ici les notions de multi modèles, multi représentation, multi échelle, puisque nous allons être amenés à manipuler les objets, les partager, les communiquer, ...

Objectifs Couplages de simulations coopératives interactives hétérogènes Interfaces 3D immersives collaboratives, intuitives, non intrusives

Problématiques Simulation collaborative distribuée Echanges entre applications distribuées Optimisation des communications entre applications Liens entre mondes réels et mondes virtuels Interactivité, immersion, mobilité et intuitivité Résultats escomptés Couplages de données multimédia mutli modèles/multi échelle/mutli résolution Support de l’utilisation concurrente d’environnements distribués Enrichir l’interaction et l’immersion 3D multi utilisateur grâce aux couplages Réalité virtuelle - interaction - capture de mouvement Réalité virtuelle, interaction - Réalité/vidéo augmentée - Multimédia distribué

Applications Applications multimédias RV/RA distribuées Jeux largement multi joueurs (orientation vers des cibles spécifiques comme le ludoéducatif) Environnements collaboratifs (interaction 3D intuitive et non intrusive) Simulation distribuée Supports d’utilisateurs/opérateurs mobiles Salles pour le travail collaboratif Vers des systèmes d’informations multimédia ubiquitaires interactifs adaptatifs Co design (couplage design - simulation sur des maquettes virtuelles fonctionnelles) Domaines d’application des environnements virtuels 3D complexes plus larges : Sciences : expérimentation « in virtuo » Industrie : entraînement, ingénierie collaborative, prototypage et produit virtuel Société : éducation, aménagement du territoire, communication, divertissement

Les travaux sont complémentaires de ceux de l’axe 1 pour les aspects interaction du sketching, et aussi de ceux de l’axe 2 pour le « peuplement » des mondes virtuels d’entités autonomes et pour leur simulation. Un rapprochement virtuel - augmenté à ce niveau d’intégration est peu commun en France, il devient original par l’apport complémentaire de chaque groupe d’origine autour de la distribution d’objets visuels (environnements 3D et multimédia).

 Revenir à la rubrique Equipe VORTEX