Experiências compartilhadas em realidade misturada

Os hologramas não precisam permanecer privados para apenas um usuário. Os aplicativos holográficos podem compartilhar âncoras espaciais de um dispositivo HoloLens, iOS ou Android para outro, permitindo que os usuários renderizem um holograma no mesmo lugar no mundo real em vários dispositivos.

Seis perguntas para definir cenários compartilhados

Antes de começar a projetar experiências compartilhadas, é importante definir os cenários de destino. Esses cenários ajudam a esclarecer o que você está projetando e estabelecer um vocabulário comum para ajudar a comparar e contrastar os recursos necessários em sua experiência. Entender o problema principal e os diferentes caminhos para soluções é fundamental para descobrir oportunidades inerentes a esse novo meio.

Por meio de protótipos internos e explorações de nossas agências parceiras do HoloLens, criamos seis perguntas para ajudá-lo a definir cenários compartilhados. Essas perguntas formam uma estrutura, não destinada a ser exaustiva, para ajudar a destilar os atributos importantes de seus cenários.

1. Como eles estão compartilhando?

Uma apresentação pode ser conduzida por um único usuário virtual, enquanto vários usuários podem colaborar ou um professor pode fornecer diretrizes para alunos virtuais que trabalham com materiais virtuais— a complexidade das experiências aumenta com base no nível de agência que um usuário tem ou pode ter em um cenário.

Há muitas maneiras de compartilhar, mas descobrimos que a maioria delas se enquadra em três categorias:

• Apresentação: quando o mesmo conteúdo está sendo mostrado para vários usuários. Por exemplo: um professor está dando uma palestra para vários alunos usando o mesmo material holográfico que está sendo apresentado a todos. O professor, no entanto, poderia ter suas próprias dicas e notas que podem não ser visíveis para os outros.
• Colaboração: quando as pessoas estão trabalhando juntas para alcançar algumas metas comuns. Por exemplo: o professor deu um projeto para aprender a fazer uma cirurgia cardíaca. Os alunos se juntam e criam uma experiência de laboratório de habilidades compartilhadas, que permite que os alunos de medicina colaborem no modelo de coração e aprendam.
• Diretrizes: quando uma pessoa está ajudando alguém a resolver um problema em uma interação de estilo mais um-para-um. Por exemplo: o professor fornece orientação a um aluno quando está fazendo o laboratório de habilidades de cirurgia cardíaca na experiência compartilhada.

2. Qual é o tamanho do grupo?

Experiências de compartilhamento um para um podem fornecer uma linha de base forte e, idealmente, suas provas de conceito podem ser criadas nesse nível. Mas lembre-se de que o compartilhamento com grandes grupos (além de seis pessoas) pode levar a dificuldades técnicas (dados e redes) e sociais (o impacto de estar em uma sala com vários avatares). A complexidade aumenta exponencialmente à medida que você passa de grupos pequenos para grandes.

Descobrimos que as necessidades dos grupos podem se enquadrar em três categorias de tamanho:

• 1:1
• Pequeno < 7
• Grande >= 7

O tamanho do grupo faz uma pergunta importante porque influencia:

• Representações de pessoas no espaço holográfico
• Escala de objetos
• Escala do ambiente

3. Onde está todo mundo?

A força da realidade misturada entra em jogo quando uma experiência compartilhada pode ocorrer no mesmo local. Chamamos isso de colocalizado. Por outro lado, quando o grupo é distribuído e pelo menos um participante não está no mesmo espaço físico (como geralmente acontece com VR), chamamos isso de experiência remota. Geralmente, é o caso de seu grupo ter participantes colocalizados e remotos (por exemplo, dois grupos em salas de conferência).

As seguintes categorias ajudam a transmitir onde os usuários estão localizados:

• Colocated: todos os usuários estarão no mesmo espaço físico.
• Remoto: todos os usuários estarão em espaços físicos separados.
• Ambos: os usuários serão uma combinação de espaços colocalizados e remotos.

Essa pergunta é crucial porque influencia:

• Como as pessoas se comunicam?
  • Por exemplo: se eles devem ter avatares?
• Quais objetos eles vêem. Todos os objetos são compartilhados?
• Se precisamos nos adaptar ao ambiente deles?

4. Quando eles estão compartilhando?

Normalmente pensamos em experiências síncronas quando experiências compartilhadas vêm à mente: estamos todos fazendo isso juntos. Mas se incluirmos um único elemento virtual que foi adicionado por outra pessoa, teremos um cenário assíncrono . Imagine uma nota, ou memorando de voz, deixada em um ambiente virtual. Como você lida com 100 memorandos virtuais restantes em seu design? E se forem de dezenas de pessoas com diferentes níveis de privacidade?

Considere suas experiências como uma destas categorias de tempo:

• De forma síncrona: compartilhando a experiência holográfica ao mesmo tempo. Por exemplo: dois alunos fazendo o laboratório de habilidades ao mesmo tempo.
• De forma assíncrona: compartilhando a experiência holográfica em momentos diferentes. Por exemplo: dois alunos fazendo o laboratório de habilidades, mas trabalhando em seções separadas em momentos diferentes.
• Ambos: às vezes, os usuários compartilharão de forma síncrona, mas outras vezes de forma assíncrona. Por exemplo: um professor avaliando a tarefa feita pelos alunos posteriormente e deixando anotações para os alunos para o dia seguinte.

Essa pergunta é importante porque influencia:

• Persistência de objeto e ambiente. Por exemplo: Armazenando os estados para que eles possam ser recuperados.
• Perspectiva do usuário. Por exemplo: talvez lembrando o que o usuário estava olhando ao deixar anotações.

5. Quão semelhantes são seus ambientes físicos?

A probabilidade de dois ambientes idênticos da vida real, fora das experiências colocalizados, é pequena, a menos que esses ambientes tenham sido projetados para serem idênticos. É mais provável que você tenha ambientes semelhantes . Por exemplo, as salas de conferência são semelhantes— elas normalmente têm uma mesa localizada centralmente cercada por cadeiras. As salas de estar, por outro lado, são diferentes** e podem incluir qualquer número de peças de móveis em uma matriz infinita de layouts.

Considere suas experiências de compartilhamento se encaixando em uma destas duas categorias:

• Semelhante: ambientes que tendem a ter móveis semelhantes, luz ambiente e som, tamanho da sala física. Por exemplo: o professor está na sala de aula A e os alunos estão na sala de aula B. O salão de palestras A pode ter menos cadeiras do que B, mas ambos podem ter uma mesa física para colocar hologramas.
• Diferente: ambientes diferentes em ambientes de móveis, tamanhos de sala, luz e considerações sonoras. Por exemplo: um professor está em uma sala de foco, mas os alunos estão em uma grande sala de aula, repleta de alunos e professores.

É importante pensar no ambiente, pois ele influenciará:

• Como as pessoas experimentarão esses objetos. Por exemplo: se sua experiência funcionar melhor em uma tabela e o usuário não tiver nenhuma tabela? Ou em uma superfície plana do chão, mas o usuário tem um espaço desordenado.
• Escala dos objetos. Por exemplo: colocar um modelo humano de seis pés em uma mesa pode ser desafiador, mas um modelo cardíaco funcionaria muito bem.

6. Quais dispositivos eles estão usando?

Atualmente, é provável que você veja experiências compartilhadas entre dois dispositivos imersivos (esses dispositivos podem ser ligeiramente diferentes para botões e funcionalidade relativa, mas não muito) ou dois dispositivos holográficos , considerando as soluções que estão sendo direcionadas a esses dispositivos. Mas considere se os dispositivos 2D (um participante móvel/desktop ou observador) serão uma consideração necessária, especialmente em situações de dispositivos 2D e 3D mistos. Entender os tipos de dispositivos que seus participantes usarão é importante, não apenas porque eles vêm com diferentes restrições e oportunidades de dados e fidelidade, mas porque os usuários têm expectativas exclusivas para cada plataforma.

Explorando o potencial das experiências compartilhadas

As respostas às perguntas acima podem ser combinadas para entender melhor seu cenário compartilhado, cristalizando os desafios à medida que você expande a experiência. Para a equipe da Microsoft, isso ajudou a estabelecer um roteiro para melhorar as experiências que usamos hoje, entendendo a nuance desses problemas complexos e como aproveitar as experiências compartilhadas na realidade misturada.

Por exemplo, considere um dos cenários do Skype desde a inicialização do HoloLens: um usuário trabalhou em como corrigir um interruptor de luz quebrado com a ajuda de um especialista localizado remotamente.

Um especialista fornece orientação 1:1 de seu computador desktop 2D para um usuário de um dispositivo de realidade misturada 3D . As diretrizes são síncronas e os ambientes físicos são diferentes.

Uma experiência como essa é uma mudança de etapa da nossa experiência atual– aplicar o paradigma do vídeo e da voz a um novo meio. Mas, à medida que olhamos para o futuro, devemos definir melhor a oportunidade de nossos cenários e construir experiências que reflitam a força da realidade misturada.

Considere a ferramenta de colaboração OnSight, desenvolvida pelo Laboratório de Propulsão a Jato da NASA. Cientistas que trabalham em dados das missões rover de Marte podem colaborar com colegas em tempo real dentro dos dados da paisagem marciana.

Um cientista explora um ambiente usando um dispositivo de realidade misturada 3D com um pequeno grupo de colegas remotos usando dispositivos 3D e 2D . A colaboração é síncrona (mas pode ser revisitada de forma assíncrona) e os ambientes físicos são (virtualmente) semelhantes.

Experiências como o OnSight apresentam novas oportunidades para colaborar. Desde apontar fisicamente elementos no ambiente virtual até ficar ao lado de um colega e compartilhar sua perspectiva enquanto explicam suas descobertas. O OnSight usa a lente de imersão e presença para repensar o compartilhamento de experiências na realidade misturada.

A colaboração intuitiva é a base da conversa, trabalhar em conjunto e entender como podemos aplicar essa intuição à complexidade da realidade misturada é crucial. Se não só pudermos recriar experiências de compartilhamento na realidade misturada, mas sobrecarregá-las, será uma mudança de paradigma para o futuro do trabalho. Projetar para experiências compartilhadas na realidade misturada é um espaço novo e emocionante— e estamos apenas no início.

Introdução à criação de experiências compartilhadas

Dependendo do seu aplicativo e do cenário, haverá vários requisitos para alcançar sua experiência desejada. Entre eles estão:

• Match-making: capacidade de criar sessões, anunciar sessões, descobrir e convidar pessoas específicas, local e remotamente para ingressar em sua sessão.
• Compartilhamento de âncora: capacidade de alinhar coordenadas em vários dispositivos em um espaço local comum, para que os hologramas apareçam no mesmo lugar para todas as pessoas.
• Rede: capacidade de ter posições, interações e movimentos de pessoas e hologramas sincronizados em tempo real entre todos os participantes.
• Armazenamento de estado: capacidade de armazenar características e locais de holograma no espaço para junção no meio da sessão, recall em um momento posterior e robustez em relação a problemas de rede.

A chave para experiências compartilhadas é fazer com que vários usuários vejam os mesmos hologramas no mundo em seu próprio dispositivo, frequentemente feitos compartilhando âncoras para alinhar coordenadas entre dispositivos.

Para compartilhar âncoras, use as Âncoras Espaciais do Azure:

• Primeiro, o usuário coloca o holograma.
• O aplicativo cria uma âncora espacial para fixar esse holograma precisamente no mundo.
• As âncoras podem ser compartilhadas com dispositivos HoloLens, iOS e Android por meio de Âncoras Espaciais do Azure.

Com uma âncora espacial compartilhada, o aplicativo em cada dispositivo agora tem um sistema de coordenadas comum no qual pode colocar conteúdo. Agora, o aplicativo pode garantir a posição e orientação do holograma no mesmo local.

Em dispositivos HoloLens, você também pode compartilhar âncoras offline de um dispositivo para outro. Use os links abaixo para decidir o que é melhor para seu aplicativo.

Avaliando opções de tecnologia

Há várias opções de serviço e tecnologia disponíveis para ajudar a criar experiências de realidade misturada de vários usuários. Pode ser complicado escolher um caminho, portanto, seguindo uma perspectiva focada em cenários, algumas opções são detalhadas abaixo.

Hologramas estáticos compartilhados (sem interações)

Aproveite as Âncoras Espaciais do Azure em seu aplicativo. Habilitar e compartilhar âncoras espaciais entre dispositivos permite que você crie um aplicativo em que os usuários vejam hologramas no mesmo lugar ao mesmo tempo. A sincronização adicional entre dispositivos é necessária para permitir que os usuários interajam com hologramas e vejam movimentos ou atualizações de estado de hologramas.

Compartilhar perspectiva de primeira pessoa

Aproveite o suporte interno do Miracast para usuários locais quando você tiver um receptor Miracast com suporte, como um computador ou TV. Nenhum código de aplicativo adicional é necessário.

Experiência colaborativa de vários usuários

Comece com nosso tutorial de aprendizado de vários usuários, que aproveita as Âncoras Espaciais do Azure para usuários locais e o SDK do Photon para sincronizar o conteúdo/estado na cena. Crie aplicativos localmente colaborativos em que cada usuário tenha sua própria perspectiva sobre os hologramas na cena e possa interagir totalmente com os hologramas. Atualizações são fornecidos em todos os dispositivos e o gerenciamento de conflitos de interação é tratado pelo Photon.

Trabalho futuro

As funcionalidades e interfaces de componentes ajudarão a fornecer consistência comum e suporte robusto em vários cenários e tecnologias subjacentes. Até lá, escolha o melhor caminho que se alinha ao cenário que você está tentando alcançar em seu aplicativo.

Cenário ou desejo diferente de usar uma tecnologia/serviço diferente? Forneça comentários como problemas do GitHub no repositório correspondente, na parte inferior desta página, ou entre em contato com o HoloDevelopers slack.

Veja também

• Âncoras Espaciais do Azure
• Âncoras espaciais compartilhadas no DirectX
• Experiências compartilhadas no Unity