Was ist Mixed Reality Toolkit 2?
MRTK-Unity ist ein Von Microsoft gesteuertes Projekt, das eine Reihe von Komponenten und Features bereitstellt, die zur Beschleunigung der plattformübergreifenden MR-App-Entwicklung in Unity verwendet werden. Hier sind einige seiner Funktionen:
- Stellt das plattformübergreifende Eingabesystem und Bausteine für räumliche Interaktionen und Benutzeroberfläche bereit.
- Ermöglicht schnelles Prototyping über in-Editor-Simulationen, mit denen Sie Änderungen sofort sehen können.
- Funktioniert als erweiterbares Framework , das Entwicklern die Möglichkeit bietet, Kernkomponenten auszutauschen.
- Unterstützt eine Vielzahl von Geräten:
| XR SDK-Plug-In (Unity XR-Plug-In-Verwaltungs-Plug-In-Anbieter) | Unterstützte Geräte |
|---|---|
| Unity OpenXR-Plug-In (Unity 2020 oder 2021 LTS) (Mixed Reality OpenXR-Plug-In für bestimmte Features auf bestimmten Geräten erforderlich) |
Microsoft HoloLens 2 Windows Mixed Reality Headsets Meta Quest Gerät, das auf SteamVR über OpenXR ausgeführt wird |
| Windows XR-Plug-In | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality Headsets |
| Oculus XR-Plug-In (Unity 2019 oder höher LTS) | Meta Quest (über das Oculus-Integrationspaket) |
| ARCore XR-Plug-In | Android (über AR Foundation) |
| ARKit XR-Plug-In | iOS (über AR Foundation) |
| XR SDK-Plug-In (Unity XR-Plug-In-Verwaltungs-Plug-In-Anbieter) | Unterstützte Geräte |
|---|---|
| Unity OpenXR-Plug-In (Vorschau in MRTK 2.6, Unity 2020 oder 2021 LTS) (Mixed Reality OpenXR-Plug-In für bestimmte Features auf bestimmten Geräten erforderlich) |
Microsoft HoloLens 2 Windows Mixed Reality Headsets Meta Quest Gerät, das auf SteamVR über OpenXR ausgeführt wird |
| Windows XR-Plug-In | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality Headsets |
| Oculus XR-Plug-In (Unity 2019 oder höher LTS) | Meta Quest (über das Oculus-Integrationspaket) |
| ARCore XR-Plug-In | Android (über AR Foundation) |
| ARKit XR-Plug-In | iOS (über AR Foundation) |
Weitere unterstützte Geräte:
- Ultraleap Leap Motion Controller für Handtracking
Hinweis
Wir haben die öffentliche Vorschau von MRTK3 eingeführt, das nächste Kapitel von MRTK. Weitere Informationen finden Sie in der MRTK3-Dokumentation.
Erste Schritte mit MRTK
Wenn Sie noch nicht mit MRTK oder Mixed Reality Entwicklung in Unity beschäftigt sind, empfiehlt es sich, die Beispielanwendung MRTK-Beispielhub auf Ihrem Gerät oder Emulator zu installieren und zu erkunden.
Sobald Sie den Überblick darüber haben, was Mixed Reality und MRTK zu bieten hat, installieren Sie die erforderlichen Tools, und befolgen Sie unsere Lernprogrammreihe für Anfänger HoloLens 2.
Möchten Sie sehen, was unter der Haube passiert?
Dokumentation
Versionshinweise |
ÜBERSICHT ÜBER MRTK |
API-Referenz |
|---|
Build status
| Branch | CI-Status | Dokumentationsstatus |
|---|---|---|
main |
|
|
Featurebereiche
UX-Bausteine
Schaltfläche "Schaltfläche"
Ein Schaltflächensteuerelement, das verschiedene Eingabemethoden unterstützt, einschließlich HoloLens 2 artikulierter Hand
Objektmanipulator-Objektmanipulator
Skript zum Bearbeiten von Objekten mit einer oder zwei Händen
Slate
2D-Stilebene, die Bildlauf mit artikulierter Handeingabe unterstützt
Systemtastaturen
Beispielskript für die Verwendung der Systemtastaturen in Unity
Interaktion
Ein Skript zum Interagieren von Objekten mit visuellen Zuständen und Designunterstützung
Solver
Verschiedene Objektpositionierungsverhalten wie Tag-Along, Body-Lock, konstante Ansichtsgröße und Oberflächenmagnetismus
Objektauflistung
Skript zum Anordnen eines Arrays von Objekten in einer dreidimensionalen Form
Schieberegler
Schieberegler-Benutzeroberfläche zum Anpassen von Werten, die die Interaktion mit der direkten Handnachverfolgung unterstützen
MRTK Standard Shader
Der Standard-Shader von MRTK unterstützt verschiedene Fluent-Designelemente mit Leistung.
Handmenü Handmenü
Handbesperrte Benutzeroberfläche für den Schnellen Zugriff mit dem Hand Constraint Solver
der App-Leiste
Benutzeroberfläche für die manuelle Aktivierung von Bounds Control
Zeiger
Informationen zu verschiedenen Arten von Zeigern
der Fingerspitzenvisualisierung
Visuelles Angebot an der Fingerspitze, das das Vertrauen für die direkte Interaktion verbessert
Near Menu Near Menu
Unverankerte Menübenutzeroberfläche für die Nahinteraktionen
Räumliche Wahrnehmungsansicht
Ihre holografischen Objekte mit den physischen Umgebungen interagieren
Statusanzeige Fortschrittsanzeige
Visueller Indikator für die Kommunikation von Datenprozess oder -vorgang
Hand Coach
Komponente, die den Benutzer führt, wenn die Geste nicht gelehrt wurde
Handphysik Service [Experimentell]
Der Handphysik-Dienst ermöglicht starre Körperkollisionen und Interaktionen mit artikulierten Händen
Scrolling Collection
Eine Objektauflistung, die nativ 3D-Objekte scrollt
Dock [Experimentell]
Das Dock ermöglicht das Verschieben von Objekten in und aus vordefinierten Positionen.
Eye Tracking: Target Selection
Kombinieren Sie Augen-, Sprach- und Handeingaben, um schnell und mühelos Hologramme in Ihrer Szene auszuwählen.
Eye Tracking: Navigation
Erfahren Sie, wie Sie basierend auf dem, was Sie betrachten, automatisch in Text scrollen oder flüssig in fokussierte Inhalte zoomen.
Eye Tracking: Heat Map
Beispiele für die Protokollierung, das Laden und visualisieren, was Benutzer in Ihrer App betrachtet haben
Tools
Fenster optimieren |
|
Buildfenster |
Eingabeaufzeichnung |
|---|---|---|---|
| Automatisieren der Konfiguration von Mixed Reality Projekten für Leistungsoptimierungen | Analysieren von Abhängigkeiten zwischen Ressourcen und Identifizieren nicht verwendeter Ressourcen | Konfigurieren und Ausführen eines End-to-End-Buildprozesses für Mixed Reality Anwendungen | Aufzeichnen und Wiedergeben von Kopfbewegungs- und Handverfolgungsdaten im Editor |
Beispielszenen
MRTK enthält Beispielszenen, die die Verwendung der MRTK-Features veranschaulichen. Die Beispielszenen finden Sie im Ordner Assets/MRTK/Examples/Demos. Lesen Sie die Seite Beispielszenen , um zu erfahren, wie Sie Beispielszenen abrufen und ausführen. Die Handinteraktionsbeispiele-Szene ist ein guter Ort, um die MRTK-Bausteine für Interaktionen und Benutzeroberfläche zu erleben.
MRTK-Beispielhub
Mit dem MRTK-Beispielhub können Sie verschiedene Beispielszenen in MRTK ausprobieren, ohne jede Szene zu erstellen und bereitzustellen. Sie können vordefinierte App-Pakete für HoloLens(x86), HoloLens 2(ARM) und Windows Mixed Reality immersive Headsets (x64) herunterladen, indem Sie im MR-Featuretool das Paket "Mixed Reality Toolkitbeispiele" auswählen. Stellen Sie sicher, dass Sie das Windows-Geräteportal verwenden, um Apps auf HoloLens (1. Generation) zu installieren. Auf HoloLens 2 können Sie MRTK Examples Hub über die Microsoft Store-App herunterladen und installieren.
Weitere Informationen zum Erstellen eines Hubs mit mehreren Szenen mit dem Szenensystem- und Szenenübergangsdienst von MRTK finden Sie auf der Seite Infodatei für Den Beispielhub.
Beispiel-Apps, die mit MRTK erstellt wurden
|
|
|
|---|---|---|
| Periodensystem der Elemente ist eine Open-Source-Beispiel-App, die veranschaulicht, wie sie das Eingabesystem und die Bausteine von MRTK verwenden, um eine App-Erfahrung für HoloLens und immersive Headsets zu erstellen. Portierungsgeschichte lesen: Bringen des Periodensystems der Element-App in HoloLens 2 mit MRTK v2 | Galaxy Explorer ist eine Open-Source-Beispiel-App, die ursprünglich im März 2016 im Rahmen der HoloLens-Kampagne "Share Your Idea" entwickelt wurde. Galaxy Explorer wurde mit neuen Features für HoloLens 2 mit MRTK v2 aktualisiert. Lesen Sie die Geschichte: Die Making of Galaxy Explorer für HoloLens 2 | Surfaces ist eine Open-Source-Beispiel-App für HoloLens 2 die untersucht, wie wir mit visuellem, audio- und vollständig artikuliertem Handtracking ein taktiles Gefühl schaffen können. Ausführliche Informationen zum Entwurf und zur Entwicklung finden Sie in der Microsoft MR Dev Days-Sitzung Lernen aus der Surfaces-App . |
Sitzungsvideos von Mixed Reality Dev Days 2020
|
|
|
|---|---|---|
| Tutorial zum Erstellen einer einfachen MRTK-App von Anfang bis Ende. Erfahren Sie mehr über Interaktionskonzepte und die Multiplattformfunktionen von MRTK. | Ausführliche Informationen zu den UX-Bausteinen des MRTK, die Ihnen dabei helfen, schöne Mixed Reality-Umgebungen zu erstellen. | Eine Einführung in Leistungstools sowohl im MRTK als auch extern sowie eine Übersicht über den MRTK Standard Shader. |
Weitere Sitzungsvideos finden Sie unter Mixed Reality Dev Days.
Engage mit der Community
Nehmen Sie an der Unterhaltung rund um MRTK auf Slack teil. Sie können der Slack-Community über den automatischen Einladungssender beitreten.
Stellen Sie Fragen zur Verwendung von MRTK in Stack Overflow mithilfe des MRTK-Tags .
Suchen Sie nach bekannten Problemen , oder melden Sie ein neues Problem , wenn Sie einen Fehler im MRTK-Code finden.
Wenn Sie Fragen zur Mitwirkung am MRTK haben, besuchen Sie den Mixed Reality-Toolkit-Kanal auf Slack.
Dieses Projekt hat den Microsoft Open Source-Verhaltenskodex übernommen. Weitere Informationen finden Sie in den häufig gestellten Fragen zu Verhaltensregeln , oder wenden Sie sich an opencode@microsoft.com weitere Fragen oder Kommentare.
Nützliche Ressourcen in Mixed Reality Dev Center
Entdecken |
|
|
Verteilen |
|---|---|---|---|
| Erfahren Sie, wie Sie Mixed Reality-Umgebungen für HoloLens und immersive Headsets (VR) erstellen. | Erhalten Sie Entwurfshandbücher. Benutzeroberfläche erstellen. Lernen Sie Interaktionen und Eingaben kennen. | Rufen Sie Entwicklungsleitfäden ab. Lernen Sie die Technologie kennen. Verstehen sie die Wissenschaft. | Bereiten Sie Ihre App für andere Benutzer vor, und erwägen Sie die Erstellung eines 3D-Startprogramms. |
Nützliche Ressourcen in Azure
Speech Services Speech Services |
Vision Services |
|---|---|
| Entdecken und integrieren Sie Azure-gestützte Sprachfunktionen wie Sprache in Text, Sprechererkennung oder Sprachübersetzung in Ihre Anwendung. | Identifizieren und analysieren Sie Ihre Bild- oder Videoinhalte mithilfe von Vision Services wie maschinelles Sehen, Gesichtserkennung, Emotionserkennung oder Videoindexer. |
Möglichkeiten zur Mitwirkung
Erfahren Sie unter Beitragen, wie Sie zu MRTK beitragen können.
Zugriff auf die Hilfe
Wenn Sie auf Probleme stoßen, die durch MRTK verursacht werden oder auf andere Weise Fragen zur Vorgehensweise haben, gibt es einige Ressourcen, die ihnen helfen können:
- Wenn Sie Fehlerberichte erstellen möchten, melden Sie ein Problem im GitHub-Repository.
- Bei Fragen wenden Sie sich entweder über StackOverflow oder den Kanal des Mixed-Reality-Toolkits auf Slack. Sie können der Slack-Community über den automatischen Einladungssender beitreten.