Penser différemment pour Mixed Reality

Lorsque Microsoft a lancé l’HoloLens (1ère génération) pour les développeurs impatients en 2016, l’équipe s’était déjà associée à des studios à l’intérieur et à l’extérieur de Microsoft pour créer les expériences de lancement de l’appareil. Ces équipes ont appris sur le tas, trouvant des opportunités et des défis dans le nouveau domaine de la conception de réalité mixte.

Nous avons transformé leurs méthodes et leurs insights en un programme que nous enseignons aux nouveaux développeurs dans notre Mixed Reality Academy. Le programme comprend des ateliers de conception d’une semaine que nous offrons à nos partenaires d’entreprise).

Voici un instantané de tout ce que nous avons appris pour aider nos partenaires d’entreprise à préparer leurs équipes pour le développement de la réalité mixte. Bien que la plupart de ces méthodes ciblent initialement le développement HoloLens, l’imagination et la communication en 3D sont essentielles à l’ensemble des expériences de réalité mixte.

Penser spatialement pendant le processus de conception

Tout processus de conception ou cadre de conception est destiné à itérer la pensée : aborder un problème à grande échelle, partager des idées avec d’autres personnes efficacement, évaluer ces idées et parvenir à une solution. Aujourd’hui, nous disposons de méthodes de conception et de développement bien établies pour créer des expériences sur des ordinateurs de bureau, des téléphones et des tablettes. Les équipes ont des attentes claires quant à ce qui est nécessaire pour itérer une idée et la transformer en produit pour les utilisateurs.

Les équipes sont souvent composées d’un mélange de développement, de conception, de recherche et de gestion. Tous les rôles doivent participer au processus de conception. L’obstacle à l’entrée pour contribuer à une idée d’application mobile est aussi simple que de dessiner un rectangle pour l’écran de l’appareil. Pendant ce temps, l’ébauche d’éléments d’interface utilisateur avec des zones et des lignes suffit pour établir des exigences techniques ou définir le comportement potentiel de l’utilisateur.

Avec la réalité mixte, le processus de conception 2D traditionnel commence à se décomposer. L’esquisse en 3D est difficile pour la plupart des gens, et l’utilisation d’outils 2D comme le stylet et le papier ou les tableaux blancs peut souvent limiter les idées à ces dimensions. Pendant ce temps, les outils 3D, conçus pour le jeu ou l’ingénierie, nécessitent un haut degré de compétence pour développer rapidement des idées. L’absence d’outils légers est aggravée par l’incertitude technique inhérente aux nouveaux appareils, où des méthodes d’interaction fondamentales sont toujours établies. Ces défis peuvent potentiellement limiter les contributions de conception aux membres de l’équipe ayant des antécédents de développement 3D, ce qui réduit considérablement la capacité de l’équipe à itération.

Équipes du programme partenaire Mixed Reality dans notre atelier

Lorsque nous travaillons avec des partenaires externes, nous entendons des histoires d’équipes qui attendent que le développeur termine le prototype avant de pouvoir poursuivre leur processus de conception. Le reste de l’équipe est alors potentiellement empêché d’effectuer des progrès significatifs sur le produit. Les développeurs se retrouvent avec toute la responsabilité de résoudre à la fois l’implémentation technique et l’expérience utilisateur alors qu’ils tentent de mettre une idée approximative dans le code.

Techniques de développement du processus de conception

Nos équipes chez Microsoft disposent d’un ensemble de techniques permettant d’inclure plus efficacement leur équipe et d’itérer rapidement à travers des problèmes de conception complexes. Bien qu’elles ne soient pas un processus formel, ces techniques sont destinées à compléter plutôt qu’à remplacer votre flux de travail. Ces méthodes permettent aux membres de l’équipe sans compétences spécialisées en 3D d’offrir des idées avant de plonger dans la phase de prototypage. Différents rôles et disciplines peuvent faire partie du processus de conception, pas seulement les concepteurs 3D et les développeurs. La découverte des opportunités et l’identification des défis possibles peuvent se produire plus tard dans le développement.

Génération d’idées avec bodystorming

Amener votre équipe à réfléchir aux événements qui se produisent dans le monde réel, au-delà du monde traditionnel des appareils 2D, est essentiel au développement d’expériences de réalité mixte innovantes. Chez Microsoft, nous avons trouvé les meilleurs résultats en encourageant l’interaction avec les accessoires physiques dans un espace réel. À l’aide de matériaux de création simples et bon marché, nous créons des accessoires physiques pour représenter des objets numériques, des interfaces utilisateur et des animations dans une expérience proposée. Cette technique est appelée bodystorming et a été un élément de base de l’idéation de produits dans la conception industrielle pendant des décennies.

Simple, fournitures d’art bon marché utilisées dans le bodystorming

Des accessoires physiques simples niveivent le terrain de jeu pour les participants, ce qui permet aux personnes ayant des ensembles de compétences et des antécédents différents de contribuer à des idées et de découvrir des opportunités inhérentes aux expériences de réalité mixte au lieu d’être enfermées dans la pensée 2D. Alors que le prototypage technique ou le storyboarding haute fidélité nécessite un développeur ou un artiste 3D qualifié, quelques boules de styromousse et carton peuvent suffire pour montrer comment une interface peut se dérouler dans l’espace physique. Ces techniques s’appliquent au développement de réalité mixte avec HoloLens et aux casques immersifs. Par exemple, un ensemble de connecteurs en plastique peut illustrer approximativement la taille des hologrammes qui apparaissent dans une expérience HoloLens ou en tant qu’accessoires pour agir sur des éléments interagissants ou des conceptions de mouvement dans un monde virtuel.

Le bodystorming est une technique utilisée pour générer rapidement des idées et évaluer des idées trop nébuleuses pour être prototypes. Chez Microsoft, le bodystorming est le plus souvent utilisé pour vérifier rapidement une idée. Il peut également vous aider à organiser une session plus approfondie si vous impliquez des parties prenantes externes qui ne sont pas familiarisées avec le développement de la réalité mixte ou qui ont besoin de distiller des scénarios généraux. N’oubliez pas que l’objectif du bodystorming est de créer des idées rapidement et efficacement en encourageant les participants à penser spatialement. Les illustrations détaillées ou les mesures précises ne sont pas importantes à ce stade. Les accessoires physiques doivent uniquement répondre aux exigences minimales pour explorer ou communiquer une idée. Les idées présentées par bodystorming ne sont pas censées être entièrement vérifiées, mais le processus peut aider à limiter les possibilités de tester plus tard pendant la phase de prototypage dans l’appareil. En tant que tel, le bodystorming ne remplace pas le prototypage technique, mais compense plutôt la charge de résoudre les défis techniques et de conception pendant la phase de prototypage.

Commentaires d’experts et d’acteurs

Après le processus de bodystorming de création avec des objets physiques dans le monde réel, l’étape suivante consiste à parcourir une expérience avec ces objets. Nous appelons cette phase du processus agissant et elle implique souvent la façon dont un utilisateur se déplacerait dans l’expérience ou une interaction spécifique.

Teams joue un scénario lors d’un atelier

Agir avec des accessoires physiques permet aux participants d’expérimenter le point de vue de l’utilisateur, tout en permettant aux observateurs extérieurs de voir comment les événements se passent. C’est le moment idéal pour inclure un public plus large de membres de l’équipe ou de parties prenantes qui peuvent fournir des commentaires d’experts spécifiques. Par exemple, si vous explorez une expérience de réalité mixte conçue pour des hôpitaux, le fait de simuler une situation devant un professionnel du secteur médical sera d’une aide inestimable. Un autre exemple est lorsque vous pouvez avoir un défi spécifique que vous essayez de comprendre, comme l’audio spatial ou la budgétisation pour la qualité des ressources et les performances. Dans ce cas, agir donne aux experts un concept rapide et approximatif de la façon dont l’expérience peut se dérouler, sans avoir besoin d’un prototype basé sur un appareil.

Ce genre d’acteur n’est pas formalisé, sans avoir besoin de faire appel à des talents professionnels, mais dans les situations où nous voulons partager la pensée avec d’autres personnes qui ne sont pas présentes, nous allons enregistrer une « scène » d’interaction ou inclure un storyboard artiste pour observer et dessiner des moments clés. Agir peut également être une activité légère, se produisant souvent in-situ pendant la phase de bodystorming. Le choix de la méthode à utiliser dépend de l’audience et de la fidélité nécessaire pour demander le type de commentaires approprié. En fin de compte, il s’agit de ce qui sera le plus efficacement capturer la pensée de votre équipe.

Capture d’idées avec des storyboards

La meilleure méthode pour transmettre les idées et les concepts de votre expérience proposée dépend de votre public prévu et du type de commentaires requis par votre prochaine itération. Lors de la présentation de nouvelles idées aux membres de l’équipe, des reconstitutions de faible fidélité du bodystorming peuvent suffire à mettre quelqu’un à la vitesse. Lorsque vous présentez vos concepts d’expérience à de nouvelles parties prenantes ou à des utilisateurs potentiels, la meilleure méthode est souvent le storyboarding. Le storyboarding est une technique commune à l’industrie du divertissement, que l’on trouve en arrière-plan dans le développement de films et de jeux vidéo. La technique permet de transmettre à la fois le flux global d’une expérience (à faible fidélité) et l’aspect esthétique (à haute fidélité). Comme avec le prototypage, comprendre les besoins de fidélité de votre storyboard est essentiel pour recueillir les bons commentaires et éviter les discussions contre-productives.

Exemple de storyboard basse fidélité

Les storyboards basse fidélité sont la bonne fidélité pour des discussions rapides, en particulier lors de la transmission d’idées de haut niveau. Il peut s’agir de simples dessins et formes primitives pour désigner des éléments virtuels dans une scène ou la proximité de composants interactifs (physiques et virtuels). Bien qu’elles soient utiles compte tenu de la facilité relative et de la faible maîtrise de l’exécution, n’oubliez pas la leçon du bodystorming : tout le monde ne peut pas voir les représentations 2D d’une expérience et comprendre les implications de la 3D.

Exemple de storyboard haute fidélité

Les storyboards haute fidélité sont un outil puissant lors de l’intégration de nouvelles parties prenantes ou de la combinaison des insights d’une session de bodystorming avec l’orientation esthétique proposée de votre expérience. Les storyboards peuvent créer des moodboards pour illustrer l’apparence finale d’une expérience virtuelle et capturer des moments clés qui peuvent être essentiels au produit final. Gardez à l’esprit que les storyboards haute fidélité nécessitent souvent un artiste, en particulier un artiste incorporé dans l’équipe, qui peut capturer des idées difficiles à décrire. Chez Microsoft, nous avons ajouté des artistes de storyboard, souvent avec des antécédents dans le développement de jeux, à nos équipes de réalité mixte qui assistent à des réunions préparées pour capturer rapidement des croquis qui seront ensuite étendus à des maquettes plus fidèles. Ces personnes travaillent en étroite collaboration avec des artistes techniques, contribuant ainsi à transmettre la direction artistique des ressources utilisées dans l’expérience finale.

Processus de conception

Notre processus d’aujourd’hui commence par le tableau blanc et les notes collantes et se développe dans le bodystorming physique et l’action. Nous traduisons ensuite cette pensée en storyboards et quelque chose que nous appelons un « concept à une ligne » (la phrase de haut niveau qui décrit ce que nous faisons) avant de passer au prototypage et à la création d’actifs. Notre travail de conception est souvent physique avant d’entrer dans la phase de développement.

Processus de conception globale

Le processus de conception est désordonné et chaque équipe est différente. Toutefois, des méthodes telles que le bodystorming, l’action et le storyboarding peuvent aider à atténuer les difficultés d’itération.

En réalité, ses phases itératives continues

Développer les compétences de votre équipe

La modification de votre processus pour mieux prendre en charge les expériences de réalité mixte dépend de la connexion plus étroite des rôles techniques et de conception. En collaboration avec des partenaires de Microsoft, nous avons vu plusieurs équipes réussir leur transition vers le développement 3D, et nous constatons que le plus grand avantage provient du fait que les membres de l’équipe sortent de leur zone de confort et développent des compétences qui leur donnent plus d’implication tout au long du processus de développement (et pas seulement de limiter leurs compétences à la conception ou au développement).

Les commentaires et les itérations sont essentiels à toute conception réussie, et avec les expériences de réalité mixte, ce type de commentaires est souvent biaisé vers des concepts plus techniques, en particulier compte tenu de la nascency relative de la technologie et des outils de réalité mixte. Le développement des compétences de votre équipe de conception dans des domaines techniques, notamment des compétences avec des outils comme Unity ou Unreal, aide ces personnes à mieux comprendre l’approche des développeurs et à fournir des commentaires plus efficaces lors du prototypage. De même, les développeurs qui comprennent les concepts d’expérience utilisateur fondamentaux des expériences de réalité mixte (et les pièges de conception potentiels) peuvent les aider à offrir des insights d’implémentation pendant les premières phases de la planification.

Nous recevons généralement des questions de partenaires travaillant dans la réalité mixte sur la meilleure façon de développer leur équipe et leurs ensembles de compétences avec des outils 3D. Il est difficile de répondre à cette question compte tenu de l’état de l’industrie, car les équipes sont confrontées à la construction des expériences de demain avec les outils d’hier. De nombreuses équipes rassemblent des personnes ayant des antécédents dans le jeu et le divertissement, où le développement 3D est un élément de base depuis des décennies. Teams encourage également leurs équipes existantes à choisir des outils tels que Unity et les logiciels de modélisation 3D. Bien qu’il s’agit de deux besoins essentiels pour répondre à la base des expériences de réalité mixte d’aujourd’hui, il y aura probablement un grand nombre d’outils et de compétences spécialisés pour aider à créer les applications révolutionnaires de demain.

Le domaine de la conception de réalité mixte est en constante évolution, avec plus d’accent sur les données et les services cloud dans les expériences holographiques. Cette nouvelle génération d’expériences tirera parti du traitement avancé du langage naturel et de la vision par ordinateur en temps réel, ainsi que de scénarios plus sociaux inhérents dans des expériences immersives. Par exemple, les expériences de réalité virtuelle permettent aux concepteurs de créer des environnements et des espaces imaginatifs, nécessitant un ensemble de compétences plus proche de l’architecture ou de la psychologie que de la conception d’interface traditionnelle. Vous pouvez également envisager des expériences dans le monde réel avec HoloLens, où les cas d’usage impliquent souvent des domaines hautement spécialisés tels que la médecine, l’ingénierie ou la fabrication, où des environnements spécifiques et des données en temps réel sont des éléments essentiels de l’expérience. Travailler sur plusieurs rôles, utiliser à la fois la conception et les connaissances spécialisées, et avoir la volonté d’apprendre de nouveaux outils sont des compétences inestimables pour les équipes travaillant dans la réalité mixte.

Aider votre équipe à explorer la réalité mixte rapidement et efficacement

Dans les premiers jours d’HoloLens, ces techniques sont venues par nécessité, car le matériel prototype de l’appareil s’est avéré être un format moins qu’idéal pour itérer rapidement à travers des idées de conception. Les méthodes d’interaction, y compris l’interface utilisateur fondamentale dans le système d’exploitation, ont été explorées avec bodystorming, tandis qu’agir a aidé notre équipe de facilité d’utilisation à comprendre les comportements fondamentaux des utilisateurs pour les scénarios sur l’espace de travail. En fin de compte, l’équipe a établi une base de référence solide pour l’expérience utilisateur principale HoloLens, communiquant des concepts entre les rôles d’équipe et permettant au développement du système d’exploitation de se déplacer rapidement en parallèle du développement matériel.

Qu’il s’agisse de bodystorming, d’agir, d’examiner avec des experts ou de storyboarding, ces techniques sont destinées à vous faire gagner du temps et des efforts. Bien que nous en sommes encore au début du développement d’HoloLens et de la réalité virtuelle, l’expansion de votre processus de conception pour la réalité mixte aidera votre équipe à dépenser son énergie à explorer de nouveaux problèmes de conception difficiles plutôt que de surmonter les difficultés de communication d’idées.

Exemple de liste de fournitures d’atelier

Les fournitures artistiques simples fournissent aux membres de l’équipe les outils nécessaires pour expliquer des idées sans aucune compétence artistique avancée. Voici un exemple de ce que notre équipe utilise couramment pendant le bodystorming :

• Disques en polystyrène
• Cubes de polystyrène
• Cônes de polystyrène
• Sphères de polystyrène
• Boîtes en carton
• Chevilles en bois
• Bâtons Lollipop
• Carton
• Gobelets en papier
• Bande de conduit
• Bande de masquage
• Ciseaux
• Trombones
• Pinces de classement
• Post-Its
• Ficelle
• Crayons
• Sharpies

Point de contrôle de découverte suivant

Félicitations, vous avez terminé le cœur du Mixed Reality voyage de découverte! Vous pouvez voir comment les partenaires de l’industrie utilisent Mixed Reality, explorer HoloLens ou commencer vos parcours de conception ou de développement :