Qu’est-ce que la réalité mixte ?

La réalité mixte constitue la prochaine vague informatique après les ordinateurs centraux (mainframes), les PC et les smartphones. La réalité mixte est de plus en plus répandue chez les consommateurs et au sein des entreprises. Elle nous libère de l’écran, en proposant des interactions instinctives avec les données dans nos espaces de vie et avec nos amis. Les explorateurs en ligne, qui sont des centaines de millions dans le monde entier, ont expérimenté la réalité mixte sur leurs appareils portables. La réalité augmentée sur mobile offre aujourd’hui les solutions de réalité mixte les plus courantes sur les réseaux sociaux. Les utilisateurs ne se rendent peut-être même pas compte que les filtres de réalité augmentée qu’ils utilisent sur Instagram sont des expériences de réalité mixte. Windows Mixed Reality fait passer toutes ces expériences utilisateur au niveau supérieur avec de superbes représentations holographiques de personnes, des modèles 3D holographiques haute fidélité et le monde réel qui les entoure.

Fusion des mondes physiques et numériques, la réalité mixte rend possible les interactions 3D intuitives et naturelles entre l’humain, l’ordinateur et l’environnement. Cette nouvelle réalité est basée sur les progrès réalisés dans les domaines de la vision par ordinateur, du traitement graphique, des technologies d’affichage, des systèmes de saisie et du cloud computing. Le terme "réalité mixte" a été introduit dans un article de 1994 de Paul Milgram et Fumio Kishino, "A Taxonomy of Mixed reality Visual Displays." Leur article a exploré le concept d'un continuum de virtualité et la taxonomie des affichages visuels. Depuis, l’application de la réalité mixte s’étend bien au-delà des écrans pour inclure les domaines suivants :

• Compréhension de l’environnement : mappage et ancrages spatiaux.
• Compréhension de l’humain : suivi manuel, suivi oculaire et saisie vocale.
• Son spatial.
• Localisations et positionnement dans les espaces physiques et virtuels.
• Collaboration sur des ressources 3D dans les espaces de réalité mixte.

Image : La réalité mixte est le résultat de la fusion du monde physique et du monde numérique.

Interactions avec l’environnement et perception de l’environnement

Au cours des dernières décennies, la relation entre les êtres humains et les ordinateurs a continué à évoluer par le biais des méthodes d’entrée. Une nouvelle discipline est apparue, appelée « interactions homme-machine » ou IHM. L’entrée humaine peut à présent inclure les claviers, les souris, le tactile, l’entrée manuscrite, la voix et le suivi du squelette avec Kinect.

Les avancées dans les capteurs et la puissance de traitement créent de nouvelles perceptions informatiques des environnements en fonction de méthodes d’entrée avancées. C’est pourquoi les noms d’API dans Windows qui révèlent des informations environnementales sont appelées « API de perception ». Les entrées environnementales peuvent capturer :

• Position du corps d’une personne dans le monde physique (suivi du visage ou du crâne)
• Objets, surfaces et limites (mappage spatial et compréhension des scènes)
• Éclairage ambiant et son
• Reconnaissance d’objets
• Emplacements physiques

Image : Interactions entre les ordinateurs, les humains et les environnements.

Une combinaison des trois éléments essentiels prépare le terrain pour la création de véritables expériences de réalité mixte :

• Traitement informatique alimenté par le cloud
• Méthodes d’entrée avancées
• Perceptions de l’environnement

Lorsque nous bougeons dans le monde physique, nos mouvements sont mappés dans une réalité numérique. Les limites physiques influencent les expériences de réalité mixte telles que les jeux ou les conseils basés sur les tâches dans une usine de fabrication. Avec les entrées environnementales et les perceptions, les expériences commencent à se mélanger entre les réalités physiques et numériques.

Spectre de réalité mixte

La réalité mixte fusionne les mondes physiques et numériques. Ces deux réalités marquent les extrémités polaires d’un spectre appelé continuum de la virtualité. Pour désigner ce spectre de réalités, nous parlons de spectre de réalité mixte. À une extrémité du spectre, nous avons la réalité physique que nous, en tant qu'êtres humains, existons. À l’autre extrémité du spectre se trouve la réalité numérique correspondante.

Réalité augmentée et réalité virtuelle

Aujourd’hui, la plupart des téléphones portables du marché sont dotés de fonctionnalités de perception environnementale limitées voire inexistantes. Ils ne proposent pas d’expériences combinant réalité physique et réalité numérique.

Les expériences qui superposent des graphiques, des flux vidéo ou des hologrammes du monde physique sont du domaine de la réalité augmentée. Les expériences qui obstruent votre vue pour présenter une expérience numérique totalement immersive sont du domaine de la réalité virtuelle. Les expériences qui peuvent passer entre des réalités virtuelles et enrichies forment une réalité mixte, où vous pouvez :

• Placer un objet numérique, tel qu’un hologramme, dans le monde physique, comme s’il était physiquement présent.
• Être personnellement et numériquement présent dans le monde physique, sous la forme d’un avatar, pour collaborer de façon asynchrone avec d’autres personnes à des moments différents dans le temps.

Quand un utilisateur se trouve dans la réalité virtuelle, les obstacles physiques dans son environnement immédiat, tels que les murs et les meubles, sont représentés numériquement au sein de l’expérience afin que l’utilisateur puisse éviter d’entrer en collision avec ces obstacles.

Image : Spectre de réalité mixte

La plupart des expériences de réalité augmentée et de réalité virtuelle disponibles aujourd'hui représentent un petit sous-ensemble du spectre plus large de la réalité mixte. Windows 10 est conçu pour prendre en compte l’ensemble du spectre et fusionner les représentations numériques de personnes, de lieux et d’objets avec le monde réel.

Appareils et expériences

Deux principaux types d’appareils proposent des expériences Windows Mixed Reality :

1. Les appareils holographiques se caractérisent par leur capacité à afficher des objets numériques comme s’ils se trouvaient dans le monde réel.
2. Les appareils de réalité virtuelle immersifs se caractérisent par leur capacité à créer un sens de présence en cachant le monde physique et en le remplaçant par une expérience numérique totalement immersive.

Caractéristique	Appareils holographiques	Appareils immersifs
Exemple d’appareil	Microsoft HoloLens	Samsung HMD Odyssey+
Affichage	Écran transparent. Permet à l’utilisateur de voir l’environnement physique tout en portant le casque.	Écran opaque. Bloque l’environnement physique de l’utilisateur portant le casque.
Movement	Mouvement complet avec six degrés de liberté (6DoF), en rotation et translation.	Mouvement complet avec six degrés de liberté (6DoF), en rotation et translation.

Les expériences de réalité mixte sont le résultat d’avancées technologiques. Windows 10 offre une plateforme de réalité mixte commune pour les fabricants d’appareils et les développeurs. Aujourd’hui, un appareil donné peut prendre en charge une plage spécifique du spectre de réalité mixte. À l’avenir, de nouveaux appareils avec une plus grande étendue sont attendus : les appareils holographiques seront plus immersifs et les appareils immersifs seront plus holographiques.

Image : Positionnement des appareils dans le spectre de réalité mixte

En tant que développeur d’applications ou de jeux, quel type d’expérience voulez-vous créer ? Les expériences ciblent généralement un point ou une partie spécifique du spectre. Vous devez prendre en compte les caractéristiques des appareils que vous souhaitez cibler. HoloLens est mieux adapté aux expériences qui s’appuient sur le monde physique.

• Vers la gauche (près de la réalité physique). Les utilisateurs restent présents dans leur réalité physique et ne sont jamais amenés à croire qu’ils ont quitté cette réalité.
• Au milieu (réalité entièrement mixte). Ces expériences fusionnent le monde réel et le monde numérique. Par exemple, dans le film Jumanji, la jungle fait son apparition dans la structure physique de la maison où se déroule l’histoire.
• Vers la droite (près de la réalité numérique). Les utilisateurs font l’expérience d’une réalité numérique et ne sont pas conscients de la réalité physique qui les entoure.

Point de contrôle de découverte suivant

Vous êtes au début du parcours de découverte que nous avons disposé pour vous et de l’exploration des principes de base de la réalité mixte. À partir de là, vous pouvez passer au sujet suivant :