Che cos'è Realtà mista Toolkit 2?

Mixed Reality Toolkit


MRTK-Unity è un progetto gestito da Microsoft che fornisce un set di componenti e funzionalità che consentono di accelerare lo sviluppo di app di realtà mista multipiattaforma in Unity. Ecco alcune delle sue funzioni:

  • Fornisce il sistema di input multipiattaforma e i blocchi predefiniti per le interazioni spaziali e l'interfaccia utente.
  • Abilita la creazione rapida di prototipi tramite simulazione nell'editor che consente di visualizzare immediatamente le modifiche.
  • Opera come framework estendibile che offre agli sviluppatori la possibilità di scambiare componenti di base.
  • Supporta un'ampia gamma di dispositivi:
Plug-in XR SDK (provider di plug-in plug-in XR per Unity) Dispositivi supportati
Plug-in Unity OpenXR (Unity 2020 o 2021 LTS)
(Realtà mista plug-in OpenXR necessario per determinate funzionalità in determinati dispositivi)
Microsoft HoloLens 2
Visori VR windows Realtà mista
Meta Quest
Dispositivo in esecuzione su SteamVR tramite OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 o versione successiva LTS) Meta Quest (tramite pacchetto di integrazione Oculus)
ARCore XR Plug-in Android (tramite AR Foundation)
ARKit XR Plug-in iOS (tramite AR Foundation)
Plug-in XR SDK (provider di plug-in plug-in XR per Unity) Dispositivi supportati
Plug-in Unity OpenXR (anteprima in MRTK 2.6, Unity 2020 o 2021 LTS)
(Realtà mista plug-in OpenXR necessario per determinate funzionalità in determinati dispositivi)
Microsoft HoloLens 2
Visori VR windows Realtà mista
Meta Quest
Dispositivo in esecuzione su SteamVR tramite OpenXR
Plug-in Windows XR Microsoft HoloLens
Microsoft HoloLens 2
Visori VR di Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 o versione successiva LTS) Meta Quest (tramite pacchetto di integrazione Oculus)
ARCore XR Plug-in Android (tramite AR Foundation)
ARKit XR Plug-in iOS (tramite AR Foundation)

Dispositivi aggiuntivi supportati:

  • Controller Ultraleap Leap Motion per il tracciamento manuale

Nota

È stata introdotta l'anteprima pubblica di MRTK3, il capitolo successivo di MRTK. Per altre informazioni, vedere la documentazione di MRTK3.

Introduzione a MRTK

Se non si ha familiarità con lo sviluppo di MRTK o Realtà mista in Unity, è consigliabile installare ed esplorare l'applicazione di esempio dell'hub di esempi MRTK nel dispositivo o nell'emulatore.

Dopo aver ottenuto il blocco di ciò che Realtà mista e MRTK ha da offrire, installare gli strumenti necessari e seguire la serie di esercitazioni holoLens 2 di livello principiante.

Vuoi vedere cosa sta succedendo sotto le quinte?

Documentazione

Note sulla versione
Note sulla versione
Panoramica di MRTK
Panoramica di MRTK
Riferimento API
Riferimento API

Stato della compilazione

Ramo Stato CI Stato della documentazione
main Stato CI Stato della documentazione

Aree di funzionalità

Blocchi predefiniti dell'esperienza utente

PulsanteButton
Controllo pulsante che supporta vari metodi di input, tra cui la mano articolata di HoloLens 2

BoundsControlControllo Limiti
Interfaccia utente standard per la modifica di oggetti nello spazio 3D

Object ManipulatorManipolatore di oggetti
Script per la modifica di oggetti con una o due mani

SlateSlate
Piano di stile 2D che supporta lo scorrimento con input manuale articolato

Tastiera di sistemaTastiera di sistema
Script di esempio dell'uso della tastiera di sistema in Unity

InterazionebileInterazionebile
Uno script per rendere gli oggetti interagendo con gli stati di visualizzazione e il supporto del tema

RisolutoreRisolutore
Diversi comportamenti di posizionamento degli oggetti, ad esempio tag-lungo, blocco del corpo, dimensioni di visualizzazione costanti e magnetismo della superficie

Insieme ObjectInsieme Object
Script per la disposizione di una matrice di oggetti in una forma tridimensionale

Descrizione comandoTooltip
Interfaccia utente dell'annotazione con un sistema di ancoraggio/pivot flessibile, che può essere usato per l'etichettatura di controller di movimento e oggetti

Dispositivo di scorrimentoDispositivo di scorrimento
Interfaccia utente del dispositivo di scorrimento per regolare i valori che supportano l'interazione diretta con il tracciamento manuale

MRTK Standard ShaderMRTK Standard Shader
Lo shader Standard di MRTK supporta vari elementi di progettazione Fluent con prestazioni

Menu a manoMenu a mano
Interfaccia utente bloccata a mano per l'accesso rapido, usando il risolutore di vincoli a mano

Barra dell'appBarra dell'app
Interfaccia utente per l'attivazione manuale di Bounds Control

PuntatoriPuntatori
Informazioni sui vari tipi di puntatori

Visualizzazione punta del ditoVisualizzazione punta del dito
Invito visivo sul dito che migliora la fiducia per l'interazione diretta

Menu vicinoMenu vicino
Interfaccia utente del menu mobile per le interazioni vicino

Introduzione alla consapevolezza spazialeVista sensibilizzazione spaziale
Rendere gli oggetti olografici interagire con gli ambienti fisici

Comando vocaleComando vocale
Script ed esempi per l'integrazione dell'input vocale

Indicatore di statoIndicatore di stato
Indicatore visivo per la comunicazione del processo o dell'operazione dei dati

DialogFinestra di dialogo
Interfaccia utente per richiedere la conferma o l'acknowledgement dell'utente

Coach manoCoach mano
Componente che aiuta l'utente a guidare quando il movimento non è stato insegnato

Hand Physics ServiceHand Physics Service [Sperimentale]
Il servizio di fisica della mano consente eventi rigidi di collisione del corpo e interazioni con mani articolate

Raccolta di scorrimentoRaccolta di scorrimento
Insieme di oggetti che scorre in modo nativo gli oggetti 3D

AncoraDock [Sperimentale]
Il Dock consente di spostare gli oggetti all'interno e all'esterno di posizioni predeterminate

Tracciamento oculare: selezione destinazioneTracciamento oculare: selezione destinazione
Combinare gli occhi, la voce e l'input manuale per selezionare rapidamente e senza sforzo gli ologrammi nella scena

Tracciamento oculare: navigazioneTracciamento oculare: navigazione
Informazioni su come scorrere automaticamente il testo o ingrandire in modo fluente il contenuto incentrato in base a ciò che si sta guardando

Tracciamento oculare: mappa termicaTracciamento oculare: mappa termica
Esempi per la registrazione, il caricamento e la visualizzazione di ciò che gli utenti hanno esaminato nell'app

Strumenti

Finestra OttimizzaFinestra Ottimizza Finestra dipendenzeFinestra dipendenze Finestra di compilazioneFinestra di compilazione Registrazione dell'inputRegistrazione dell'input
Automatizzare la configurazione dei progetti Realtà mista per le ottimizzazioni delle prestazioni Analizzare le dipendenze tra asset e identificare gli asset inutilizzati Configurare ed eseguire un processo di compilazione end-to-end per le applicazioni Realtà mista Registrare e riprodurre i dati di rilevamento della testa e della mano nell'editor

Scene di esempio

MRTK fornisce scene di esempio che illustrano come usare le funzionalità di MRTK. È possibile trovare le scene di esempio nella cartella Assets/MRTK/Examples/Demos. Leggere la pagina Scene di esempio per informazioni su come acquisire ed eseguire scene di esempio. La scena Degli esempi di interazione manuale è un ottimo punto di partenza per iniziare a sperimentare i blocchi predefiniti di MRTK per le interazioni e l'interfaccia utente.

Scena di esempio 2

Hub di esempi di MRTK

Con l'hub di esempi MRTK, è possibile provare varie scene di esempio in MRTK senza compilare e distribuire ogni scena. È possibile scaricare pacchetti di app predefiniti per HoloLens(x86), HoloLens 2(ARM) e Windows Realtà mista visori VR immersive(x64) selezionando il pacchetto "Realtà mista Toolkit Examples" nello strumento funzionalità MR. Assicurarsi di usare Windows Device Portal per installare le app in HoloLens (prima generazione). In HoloLens 2 è possibile scaricare e installare l'hub degli esempi di MRTK tramite l'app Microsoft Store.

Per informazioni dettagliate sulla creazione di un hub multi-scena con il sistema di scena e il servizio di transizione della scena di MRTK, vedere la pagina Examples Hub README (Esempi di README hub).

Hub scena di esempio

App di esempio realizzate con MRTK

Tavola periodica degli elementi Galaxy Explorer App di esempio Surface
Tabella periodica degli elementi è un'app di esempio open source che illustra come usare il sistema di input e i blocchi predefiniti di MRTK per creare un'esperienza di app per HoloLens e visori VR immersive. Leggere la storia della conversione: Portare la tabella periodica dell'app Elements in HoloLens 2 con MRTK v2 Galaxy Explorer è un'app di esempio open source sviluppata originariamente nel marzo 2016 come parte della campagna HoloLens 'Condividi la tua idea'. Galaxy Explorer è stato aggiornato con nuove funzionalità per HoloLens 2, usando MRTK v2. Leggi la storia: The Making of Galaxy Explorer for HoloLens 2 Surface è un'app di esempio open source per HoloLens 2 che esplora come è possibile creare una sensazione tattile con il tracciamento manuale, audio e visivo. Per informazioni dettagliate sulla progettazione e lo sviluppo, vedere Le sessioni di Microsoft MR Dev Days Learnings dall'app Surface.

Video di sessione da Realtà mista Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Esercitazione su come creare una semplice app MRTK dall'inizio alla fine. Informazioni sui concetti di interazione e sulle funzionalità multipiattaforma di MRTK. Approfondimenti sui blocchi predefiniti dell'esperienza utente di MRTK che consentono di creare esperienze di realtà mista accattivanti. Introduzione agli strumenti per le prestazioni di MRTK e dei componenti esterni, e panoramica dello shader MRTK Standard.

Vedere Realtà mista Dev Days per esplorare altri video di sessione.

Interagire con la community

Questo progetto ha adottato il codice di comportamento open source Microsoft. Per altre informazioni, vedere Code of Conduct FAQ (Domande frequenti sul Codice di comportamento) oppure contattare opencode@microsoft.com per eventuali altre domande o commenti.

Risorse utili su Realtà mista Dev Center

RilevazioneScoprire ProgettazioneDisegno SviluppoSviluppare Distribuisci)Distribuire
Informazioni su come creare esperienze di realtà mista per HoloLens e visori VR immersive. Ottenere guide di progettazione. Creare l'interfaccia utente. Informazioni sulle interazioni e sull'input. Ottenere le guide di sviluppo. Impara la tecnologia. Comprendere la scienza. Preparare l'app per gli utenti e valutare la possibilità di creare un'utilità di avvio 3D.

Risorse utili in Azure

Ancoraggi nello spazio
Ancoraggi nello spazio
Servizi VoceServizi Voce Servizi Visione artificialeServizi visione artificiale
Ancoraggi nello spazio è un servizio multipiattaforma che consente di creare esperienze Realtà mista usando oggetti che mantengono la posizione nei dispositivi nel tempo. Individuare e integrare nell'applicazione le funzionalità vocali di Azure, come il riconoscimento vocale, il riconoscimento del parlante o la traduzione vocale. Identificare e analizzare il contenuto di immagini o video con i servizi di visione artificiale come il rilevamento dei volti, il riconoscimento delle emozioni o Video Indexer.

Come contribuire

Informazioni su come contribuire a MRTK in Contributi.

Visualizzazione delle informazioni della Guida

Se si verificano problemi causati da MRTK o in caso contrario si hanno domande su come eseguire un'operazione, sono disponibili alcune risorse che possono essere utili:

  • Per i report sui bug, segnalare un problema nel repository GitHub.
  • Per domande, contattare il canale StackOverflow o mixed-reality-toolkit su Slack. È possibile partecipare alla community di Slack tramite il mittente dell'invito automatico.