LabForSIMS 2 - Les axes technologiques
Analyse conversationnelle
Interagir en langage naturel dans un jeu sérieux participe à la réalisation de scénarios ultra-réalistes.
Au sein du « LabForSIMS 2 », les apprenants dialogueront avec des avatars capables de répondre oralement en langage naturel aux questions posées par les humains selon un scénario préétabli et de se comporter selon un profil paramétré : patient, sage-femme, médecin, aide-soignante, proche du patient...
Le laboratoire LVIC du CEA-List a ainsi pour objectifs de :
- Construire un système de dialogue homme – machine générique pour implémenter les nombreux avatars des différents scénarios.
- Comprendre les solutions apportées par l’élève en langage naturel et les comparer finement avec la solution attendue
- Synthétiser les résultats des évaluations à destination d’un élève ou du corps enseignant
Nous savons que la communication verbale est un moyen majeur de réussite des soins. L’analyse conversationnelle permettra ainsi à l’apprenant de mieux comprendre les qualités et défauts de ses réponses et au corps enseignant d’évaluer sur l’ensemble des apprenants les éléments à retravailler par l’intermédiaire d’outils statistiques.
Environnement immersif collaboratif
Le laboratoire LSI du CEA-List développe des environnements virtuels ou mixtes immersifs collaboratifs. Ces environnements de simulation permettent de :
- Partager un environnement qui est « physicalisé »
- Piloter son clone « physicalisé » de manière naturelle et écologique via des systèmes de capture de mouvement temps réel du corps.
- Piloter par des commandes de haut niveau des avatars numériques autonomes dotés de comportements réactifs et capables d’interagir avec l’environnement.
- Manipuler des objets virtuels de manière naturelle et écologique via des systèmes de capture de mouvement de la main.
La réalité mixte consiste dans le cadre du « LabForSIMS 2 » à afficher l'environnement réel dans un casque de réalité virtuelle permettant des interactions tangibles pour l'utilisateur. Pour une expérience réussie, l'environnement réel se doit d'être fidèlement reconstruit en 3D (et correctement recalé avec l'environnement virtuel du casque de réalité virtuelle) et les divers objets manipulés par l'utilisateur (principalement des instruments médicaux de petite taille) doivent être précisément localisés sans latence. Le laboratoire LVIC développe à cette fin, deux technologies : un module de reconstruction 3D dense automatique de l’environnement médical et un module de suivi des instruments médicaux en s’appuyant sur le suivi de marqueurs et de primitives bas-niveaux.
La société HRV a pour missions de capitaliser dans les démonstrateurs les connaissances métier de la Faculté de Médecine Paris-Saclay, de relier de manière intelligente les différentes briques technologiques du CEA et d’apporter son expertise en infographie donnant ainsi une cohérence et des outils de formation attractifs et performants.