Replongeons dans notre immersion dans le virtuel. Si la débauche de technique pour nous intégrer dans un monde virtuel est importante, elle reste encore loin d’être suffisante pour reproduire la réalité. Pour en rester sur l’image, un casque de réalité virtuelle affiche une image par œil. Cet affichage présente des simplifications.
L’image est présente dans un rectangle qui ne couvre pas l’intégralité de l’angle de vision du porteur du casque. Elle est rafraîchit à une cadence précise pour l’ensemble des éléments affichés. La lumière envoyée à l’œil arrive toujours dans la même direction avec la même intensité.
Il y a encore de nombreux paramètres d’optique à améliorer si on veut plonger l’humanité dans la matrice uniquement sur le sens de la vue. Ce sens étant le plus important dans notre rapport à la réalité, il reste celui sur lequel les promoteurs du monde virtuel investissent le plus.
S’il y a un chiffre à retenir, Zuckerberg investit plus de 10 milliards de dollars par an dans ce domaine. Si ces casques semblent connaître un succès relatif, ils ne reflètent pas les découvertes réalisées par ses équipes. La technologie reste très onéreuse. Mais sans investisseurs, ni équipes de recherche, il n’y a pas de progrès.
Une image fidèle, c’est bien. L’environnement sonore est aussi important dans l’immersion du spectateur. Au début, les films étaient muets. Lors des premiers jeux vidéos, le son se résumait à quelques bips placés sur les événements marquants de l’action affichés.
Dans les jeux vidéo actuels, le son s’est grandement amélioré. Contrairement à la lumière, le son a besoin d’un support. L’air situé entre la source sonore et nos oreilles permet sa transmission. Le son est le résultat de la fréquence de vibration de l’air. Un écouteur placé près de chacune de nos oreilles et nous sommes prêts à entrer dans la simulation.
Prenons un cas simple, nous sommes dans une pièce dans laquelle un pianiste joue sur son piano. Il joue un La4, le fameux La 440 de nos diapasons. 440 fois par seconde tant que la note est maintenue, la membrane de nos écouteurs avance puis recule pour produire l’onde sonore qui est envoyée à nos oreilles. Nous entendons la note.
Pour être plus réaliste, il faut tenir compte de notre position par rapport au piano. Sommes-nous loin ? Dans ce cas, le son perçu est plus faible. Si nous nous rapprochons, le son devient plus fort. Sommes-nous face au piano ou regardons-nous d’un côté ? Le son arrivant sur l’oreille tourné côté piano doit donc être plus important.
Aux problématiques d’intensité qui permettent la spatialisation du son s’ajoutent les problématiques d’échos. L’onde sonore rebondit sur les murs. Si nous sommes dans un boudoir ou dans une salle de réception, le même La nous paraîtra différent. Calculer l’onde sonore issue d’un objet dans un jeu vidéo est facile. Calculer les ondes réfléchies de cette même source, …
Je prends ici un cas simple avec une source sonore. Imaginez maintenant le casse-tête pour les développeurs lorsqu’ils doivent placer le héros/joueur sur une place de marché. Il est impossible de simuler des centaines de sources sonores provenant de centaines de localisations différentes.
Le choix est alors d’appliquer un fond sonore basique tout en gardant un traitement particulier pour les sources qui peuvent faire avancer la quête principale. Un son réaliste dans un jeu vidéo demanderait des ressources énormes. Les développeurs préfèrent les concentrer sur l’image.
Un La 440 est une vibration simple à simuler tant que le joueur ne bouge pas. Le La d’un piano n’est pas le même que celui joué par un violon ou chanté par une cantatrice. C’est une histoire d’harmoniques, plus ou moins perdues lors des rebonds suivant la nature du support.
Et si le héros bouge, l’effet Doppler doit être pris en compte. Pour simplifier, l’harmonique est un ensemble d’ondes proportionnelles à l’onde principale qui se superposent à celle-ci. L’effet Doppler c’est le fait qu’en se déplaçant en même temps que l’onde sonore, celle-ci est étirée ou compressée en arrivant à nos oreilles et donc est perçues plus aiguë ou plus grave qu’elle n’est.
Comme l’image, le son est encore loin d’être simulé dans toutes ses caractéristiques. Les progrès réalisés en 20 ans restent remarquables même si ce dernier fait l’objet de moins d’attention par les ingénieurs des mondes virtuels.