Entrada avançada do Emulador do HoloLens e do Simulador de Realidade Misturada

A maioria dos usuários do emulador só precisará usar os controles de entrada básicos para o Emulador do HoloLens ou o simulador de Windows Mixed Reality. Os detalhes abaixo são para usuários avançados que encontraram a necessidade de simular tipos mais complexos de entrada.

Conceitos

Para começar a controlar a entrada virtual para o Emulador do HoloLens e o simulador de Windows Mixed Reality, primeiro você deve entender alguns conceitos.

Movimento refere-se a controlar e alterar a posição e a orientação de algo na cena. Para um objeto controlável direcionado, o movimento é controlado com rotação e tradução (movimento) ao longo de três eixos.

• Yaw: vire para a esquerda ou para a direita.
• Pitch: ative ou desative.
• Roll: rolar lado a lado.
• X: mover para a esquerda ou para a direita.
• Y: Mover para cima ou para baixo.
• Z: mover para frente ou para trás.

A entrada do controlador de gestos e movimentos é mapeada de perto para dispositivos físicos:

• Ação: simula a ação de pressionar o dedo indicador no polegar ou puxar o botão de ação em um controlador. Por exemplo, a entrada Ação pode ser usada para simular o gesto de toque de ar, para rolar pelo conteúdo e para pressionar e segurar.
• Gesto bloom/system ou Home: o gesto de bloom/sistema do HoloLens ou o botão Página Inicial de um controlador é usado para retornar ao shell e disparar ações do sistema.

As mãos têm uma representação rica em HoloLens 2. Além de serem rastreadas/não rastreadas e utilizáveis para gestos de condução, as mãos agora têm um modelo de esqueleto articulado adequado a eles e expostos ao desenvolvedor. O modelo esqueleto tem 26 pontos rastreados em cada mão.

• Articulação: uma das 20 posições rastreadas para uma determinada mão rastreada com um ponto associado em espaço 3d.
• Pose: uma coleção completa de todas as Articulações em uma mão rastreada, 26 Articulações no total.

No momento, não expomos o controle direto de posições conjuntas individuais por meio do emulador, mas você pode defini-las por meio da API de simulação. Temos um conjunto de poses representativas úteis que o emulador permite alternar.

Você também pode controlar o estado da entrada simulada do sensor:

• Redefinir: retorna todos os sensores simulados para seus valores padrão. Começando com o emulador HoloLens 2, uma redefinição pode ter como escopo uma ou ambas as mãos. Envolva as mãos desejadas usando as teclas modificadoras ou os botões (Alt esquerdo e/ou direito, ou o para-choque esquerdo e/ou direito no gamepad).
• Acompanhamento: percorre os modos de acompanhamento posicional, incluindo:
  • Padrão: o sistema operacional escolhe o melhor modo de acompanhamento com base nas solicitações feitas do sistema.
  • Orientação: força o acompanhamento somente de orientação, independentemente das solicitações do sistema.
  • Posicional: força o acompanhamento posicional, independentemente das solicitações do sistema.

Tipos de entrada

A tabela a seguir mostra como cada tipo de entrada é mapeado para o teclado, mouse e controlador xbox. Cada tipo tem um mapeamento diferente dependendo do modo de controle de entrada. Você pode encontrar mais informações sobre os modos de controle de entrada mais adiante neste documento.

Observação: os botões do controlador podem ser direcionados para uma mão/controlador ou outra usando os modificadores de direcionamento de mão.

Configurando destinos

Alguns dos conceitos de entrada acima estão por conta própria. Action, Bloom/System, Reset e Tracking são conceitos completos, não precisam e não são afetados por modificadores adicionais para direcionamento. Os conceitos restantes podem ser aplicados a um dos vários destinos. Apresentamos maneiras de especificar a qual destino pretendido seu comando deve ser aplicado. Em todos os casos, é possível especificar por meio da interface do usuário ou por meio de pressionamentos de teclado, qual objeto deve ser direcionado. Em alguns casos, também é possível especificar diretamente com o controlador xbox.

A tabela a seguir descreve as opções de direcionamento e a maneira de ativar cada uma delas.

A tabela a seguir mostra como cada modificador de destino mapeia cada um dos principais conceitos de entrada de movimento

Controlando um aplicativo

O seguinte conjunto de controles é sugerido para uso diário:

Usando controladores de movimentos e o headset imersivo do Windows Mixed Reality com o Emulador do HoloLens 2

Ao usar um headset imersivo Windows Mixed Reality com o Emulador HoloLens 2, o movimento e a rotação são mapeados automaticamente para movimentação e rotação do headset. A posição e a orientação do controlador de movimento são mapeadas automaticamente para a posição e a orientação da mão no emulador. A tabela a seguir lista ações adicionais disponíveis ao usar um controlador de movimento.

Atalhos de teclado Painel de Controle de simulação de percepção

Você pode acessar o painel Controle de Simulação de Percepção e habilitar ou desabilitar dispositivos de entrada do computador com os seguintes atalhos de teclado.

Veja também

• Instalar as ferramentas
• Usando o emulador do HoloLens
• Como usar o simulador do Windows Mixed Reality