Réalité Virtuelle et retours haptiques, ou comment révolutionner le monde de l’Automobile ?

26 Septembre 2019
realite virtuelle banner
Au sein du pôle innovation AUSY, un certain nombre de projets sont sélectionnés chaque année pour être développés par l’équipe Réalité Augmentée / Réalité Virtuelle.

En 2019, c’est le monde de l’automobile qui est à l’honneur chez AUSY. L’électronique embarquée et les nouvelles technologies occupent une place de plus en plus importante à bord des véhicules. Pour preuve, les véhicules connectés sont une hyper tendance. 220 millions feront leur apparition d’ici 2025. Quant aux voitures autonomes (on parle ici de la catégorie 5 : plus aucune intervention humaine ni de condition de route), elles bénéficient d’une forte cote de popularité auprès des professionnels du secteur et auprès du grand public (bien qu’aucune ne soit pour le moment en circulation). On estime d’ailleurs leur nombre à près de 80 millions d’ici 2030. Leur arrivée est donc imminente ! La Réalité Virtuelle (qui plonge l’utilisateur dans un monde virtuel à partir de la modélisation d’un environnement réel) et la Réalité Augmentée (qui permet l’affichage d’informations virtuelles en 2D ou 3D dans un environnement réel) sont deux technologies qui permettent et permettront de répondre aux enjeux actuels et futurs du développement automobile.

C’est en ce sens que nous avons choisi d’utiliser un simulateur de conduite qui répondrait à un double objectif : 

  • Démontrer notre savoir-faire en Réalité Virtuelle et en modélisation 3D d’un environnement réel.
  • Utiliser des ressources matérielles existantes pour créer des retours haptiques, ceci dans le but de renforcer l’immersion du conducteur (retour de force dans le volant, vibrations dans le baquet, sensations d’accélération et de freinage sur le pédalier).

 

Une simulation de conduite immersive

Nous avions un but bien spécifique en nous lançant dans ce projet de grande ampleur : permettre aux conducteurs inexpérimentés d’appréhender le maniement d’un véhicule et les différentes règles de conduite sans risque, tout en leur faisant découvrir la Réalité Virtuelle.

L’objectif de cette simulation est de plonger l’utilisateur dans un monde immatériel qui se veut réaliste et immersif.  Il s’agit avant tout de démontrer ce qu’il est possible de faire avec la Réalité Virtuelle. Nous avons voulu recréer en tout point les sensations de conduite et les sens du corps humain (vue, toucher, ouïe) afin de maximiser l’intégration de l’usager dans cet environnement.

Mais au fait, qu’entend-on exactement par « simulation immersive » ?

L’art de la simulation permet de reproduire un environnement réel au sein d’un monde virtuel grâce à des techniques de modélisation et virtualisation extrêmement poussées.

On parle d’immersion car tout est fait pour que l’utilisateur « oublie » qu’il évolue dans un monde qui n’est pas réel : entités autonomes, retours haptiques, sons spatialisés, …

Autant de sujets que nous allons détailler tout au long de cet article.

Le visuel

realite virtuelle visuel

La première étape consiste à créer un décor virtuel dans lequel le sujet évoluera. Il se doit d’être ressemblant à l’environnement physique dans lequel nous interagissons chaque jour. Il est constitué de bâtiments et de routes, d’éléments décoratifs et d’entités se déplaçant grâce à l’intelligence artificielle.

Afin de transformer notre environnement réel en environnement virtuel, nous utilisons des techniques de modélisation. Pour cela, nous faisons appel à deux logiciels principaux :

  • Blender, qui permet la sculpture, le texturage et l’animation d’éléments en 3D.
  • Unity 3D, qui nous offre la possibilité d’assembler les éléments pour créer le monde et également programmer les interactions et fonctionnalités à l’aide du langage C#.

 Afin de pousser le réalisme nous travaillons les éclairages, les textures, les effets visuels et les effets de post traitement afin d’obtenir une image de grande qualité tout en respectant les contraintes liées à la Réalité Virtuelle.

realite virtuelle visuel 2

Pour être plongé dans ce monde virtuel, le conducteur doit porter un casque qui entoure l’intégralité de son champ de vision. Il envoie à chaque œil des micro images qui sont rassemblées et transformées en 3D par notre cerveau. Des capteurs permettent au logiciel d’adapter l’image aux mouvements de tête de l’utilisateur. Afin de renforcer l’immersion du conducteur, les images se doivent d’être aussi fluides que possible. Le logiciel transmet entre 90 et 120 images par seconde. À titre de comparaison, la fréquence d’affichage d’une télévision est de 30 images / seconde. Plus le nombre d’images / seconde sera important, plus la simulation sera fluide et agréable pour l’utilisateur.

Les entités autonomes

realite virtuelle entites automones

Dans un souci de mimétisme de notre monde, nous avons développé des entités autonomes reproduisant les différents comportements auxquels nous faisons face dans la réalité. Elles permettent de sensibiliser le conducteur et de lui inculquer des réflexes liés à la conduite. Afin de définir leurs itinéraires, nous avons fait appel à l’Intelligence Artificielle, et plus précisément, l’algorithme de recherche de chemin « A* ». Il est l’un des plus utilisés de par sa simplicité. Il a été conçu de manière à ce que le premier itinéraire trouvé soit l’un des plus efficaces. Il a l’avantage de disposer d’une grande vitesse de calcul, au détriment de l’exactitude des résultats. Dans le cas de notre solution, nous avons convenu que ce qui importait le plus était la vitesse de calcul de façon à réagir très rapidement aux différents comportements de l’utilisateur. Afin de perfectionner notre algorithme, nous avons utilisé le système NavMesh d’Unity. Ce dernier outil est à nos entités ce qu’une carte routière est aux êtres humains. Il va servir de support grâce auquel l’IA pourra définir l’itinéraire le plus adapté aux différentes situations. Enfin, il nous a également permis de définir des règles de priorité en cas de conflit.

Les sons

L’ouïe est un sens extrêmement important. Si l’utilisateur entend les bruits du monde réel, l’immersion sera cassée et l’expérience se révèlera peu concluante. Pour pallier ce risque, nous avons créé un environnement sonore spatialisé. Cela consiste à recréer une ambiance sonore uniformisée au sein de l’environnement (les sons arrivent depuis toutes les directions).

Pour cela, nous avons fait appel à l’outil de développement « Google Résonance », compatible avec Unity.

Resonance prend en compte tous les paramètres jusqu’au matériaux des objets du monde 3D afin de propager le son de façon hyper réaliste.

realite virtuelle bonhomme 3d

Source : resonance-audio.github.io

Mais comment cela marche-t-il exactement ?

Dans le monde réel, notre cerveau est capable de discerner la distance et la direction de laquelle provient un son grâce à la captation des ondes sonores par nos oreilles.  Google Résonance permet de simuler ce phénomène.  Ainsi, une fois plongé dans la simulation, le conducteur pense entendre des sons provenant de positions spécifiques tout autour de lui. Le logiciel s’adapte aux comportements de l’utilisateur. Si un son provient de la gauche et que le conducteur s’écarte vers la droite, alors le son diminuera proportionnellement à la distance d’éloignement.

Enfin, pour les éléments sonores, nous utilisons généralement des banques de sons en ligne. Nous pouvons, si le cas d’usage le nécessite, nous déplacer afin d’enregistrer nous-même des pistes sonores afin de coller parfaitement à la réalité.

Les retours haptiques

AUSY attache beaucoup d’importance aux retours haptiques et au toucher dans les simulations en Réalité Virtuelle. Les retours haptiques sont les vibrations ou sensations qui nous font ressentir le toucher. Un exemple probant est celui de nos smartphones, et plus précisément ceux de la marque à la pomme. Un simple appui prolongé sur l’écran vous permettra de ressentir une légère vibration. Les retours haptiques se sont développés de manière exponentielle depuis quelques années. Ils sont notamment fortement appréciés par les développeurs de jeux vidéo, car ils permettent aux joueurs une meilleure immersion. Les constructeurs automobiles sont également très friands de cette technologie. Ainsi, BMW en a récemment équipé ses écrans internes (la sensation est donc la même qu’avec les écrans de smartphones), tandis que Renault envoie des vibrations perceptibles à l’intérieur de tout l’habitacle pour avertir le conducteur qu’il est en train de se déporter sans avoir activé de clignotants.

realite virtuelle materiel

Pour cette simulation de conduite, nous avons mis en place un volant avec retour de force, des pédales et un baquet afin que l’utilisateur se sente comme dans une voiture. Nous avons codé la simulation avec un jeu complet de vibrations que nous activons selon la situation. Ainsi, si l’utilisateur dérape ou freine en urgence, il ressentira des vibrations dans le volant, transmises grâce à un moteur intégré à l’intérieur de celui-ci.

Il existe d’autres dispositifs compatibles avec la Réalité Virtuelle, tels que des gants (Glove One, Manus VR…) permettant de ressentir le toucher (les textures, le chaud, le froid…), ou des chaussures en cours de développement, qui permettent de ressentir la texture du sol (dur, granuleux, mou, sable, etc…) sur lequel l’utilisateur évolue.

Chaque simulation est plus ou moins adaptée à différents types d’équipements haptiques. Dans notre cas, le volant à retour de force était suffisant pour créer une expérience riche et immersive. Grâce au SDK de Logitech nous avons pu recréer les vibrations et forces de résistances que nous ressentons en voiture lorsque nous freinons, dérapons ou tournons.

Conclusion

Dans le cadre de ce projet de simulation de conduite en Réalité Virtuelle, AUSY a pu démontrer sa capacité en termes de développement 3D et de retours haptiques grâce à la Réalité Virtuelle. La simulation immersive est également un outil fantastique pour les professionnels du monde de l’automobile. Elle permet de développer l’ergonomie des véhicules (éclairage, agencement, design intérieur, …) et de mener des tests sur le développement des nouvelles technologies et des systèmes d’aide à la conduite à coûts réduits et en toute sécurité. 

Les prochaines étapes seront de se servir de ces briques afin de développer des algorithmes à destination de voitures autonomes. Ces tests nous permettront de vérifier le bon fonctionnement de ces algorithmes dans un monde virtuel afin de passer aux tests grandeur nature !

 

realite virtuelle auteur
Passionné par les nouvelles technologies et l'innovation, Anthony s’est spécialisé dans le développement de simulations immersives en Réalité Virtuelle / Réalité Augmentée avec Unity 3D. Il aime apprendre, partager son savoir et a déjà publié de nombreux livres sur le développement de solutions 3D temps réel dont Développer des applis innovantes avec Unity, Editions d-booker13 avril 2017, dans lequel il explique comment tirer parti de la Réalité Virtuelle ainsi que de la Réalité Augmentée pour créer 6 applications innovantes. Anthony est responsable du pôle 3D/RA/RV d’AUSY Sophia Antipolis. Avec l’équipe projet, il accompagne nos clients dans le développement de projets innovants.

 

Aussi n’hésitez pas à visiter nos pages web dédiées  à la Smart Innovation et à l'Automobile

Parlons ensemble de vos projets

contact