Was ist das Mixed Reality-Toolkit 2?

Mixed Reality-Toolkit


MRTK-Unity ist ein von Microsoft vorangetriebenes Projekt, das einen Satz von Komponenten und Funktionen bereitstellt, die zum Beschleunigen der Entwicklung von plattformübergreifenden MR-Apps in Unity dienen. Dies sind einige der gebotenen Funktionen:

  • Stellt das plattformübergreifende Eingabesystem und Bausteine für räumliche Interaktionen und die Benutzeroberflächebereit.
  • Ermöglicht schnelle Prototyperstellung mithilfe von Simulationen im Editor, die Ihnen die Möglichkeit geben, Änderungen sofort zu sehen.
  • Fungiert als erweiterbares Framework, das Entwicklern die Möglichkeit zum Austausch von Kernkomponenten bietet.
  • Unterstützt eine breites Spektrum von Geräten:
XR SDK-Plug-In (Plug-In-Anbieter für die Unity-XR-Plug-In-Verwaltung) Unterstützte Geräte
Unity OpenXR-Plug-In (Unity 2020 oder 2021 LTS)
(Mixed Reality-OpenXR-Plug-In für bestimmte Features auf bestimmten Geräten erforderlich)
Microsoft HoloLens 2
Windows Mixed Reality-Headsets
Meta Quest
Unter SteamVR über OpenXR ausgeführtes Gerät
Windows XR-Plug-In Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality-Headsets
Oculus-XR-Plug-In (Unity 2019 oder höhere Version mit LTS) Meta Quest (über Oculus-Integrationspaket)
ARCore-XR-Plug-In Android (über AR Foundation)
ARKit-XR-Plug-In iOS (über AR Foundation)
XR SDK-Plug-In (Plug-In-Anbieter für die Unity-XR-Plug-In-Verwaltung) Unterstützte Geräte
Unity OpenXR-Plug-In (Vorschau in MRTK 2.6, Unity 2020 oder 2021 LTS)
(Mixed Reality-OpenXR-Plug-In für bestimmte Features auf bestimmten Geräten erforderlich)
Microsoft HoloLens 2
Windows Mixed Reality-Headsets
Meta Quest
Unter SteamVR über OpenXR ausgeführtes Gerät
Windows XR-Plug-In Microsoft HoloLens
Microsoft HoloLens 2
Windows Mixed Reality-Headsets
Oculus-XR-Plug-In (Unity 2019 oder höhere Version mit LTS) Meta Quest (über Oculus-Integrationspaket)
ARCore-XR-Plug-In Android (über AR Foundation)
ARKit-XR-Plug-In iOS (über AR Foundation)

Weitere unterstützte Geräte:

  • Leap Motion-Controller von Ultraleap für Hand-Tracking

Hinweis

Wir haben die öffentliche Vorschau von MRTK3, dem nächsten Kapitel von MRTK, vorgestellt. Weitere Informationen finden Sie in der MRTK3-Dokumentation.

Erste Schritte mit MRTK

Wenn Sie sich erst mit dem MRTK oder der Mixed Reality-Entwicklung in Unity vertraut machen, empfehlen wir Ihnen, die Beispielanwendung „MRTK-Beispiele-Hub“ auf Ihrem Gerät oder Emulator zu installieren und zu erkunden.

Sobald Sie sich ein Bild gemacht haben, was Mixed Reality und MRTK zu bieten haben, installieren Sie die erforderlichen Tools, und folgen Sie unserer Tutorialreihe zur HoloLens 2 für Einsteiger.

Möchten Sie wissen, wie es unter der Haube aussieht?

Dokumentation

Versionshinweise
Versionsanmerkungen
Übersicht über das MRTK
Übersicht über das MRTK
API-Referenz
API-Referenz

Buildstatus

Verzweigung CI-Status Docs-Status
main CI-Status Docs-Status

Featurebereiche

UX-Bausteine

TasteSchaltfläche
Ein Schaltflächen-Steuerelement, das verschiedene Eingabemethoden unterstützt, einschließlich der artikulierten Hand von HoloLens 2.

BegrenzungssteuerelementBegrenzungssteuerelement
Standard Benutzeroberfläche zum Bearbeiten von Objekten im 3D-Raum

Object ManipulatorObjektmanipulation
Skript zum Manipulieren von Objekten mit einer oder zwei Händen.

SlateFilmklappe
2D-artige Ebene, die Scrollen mit artikulierter Handeingabe unterstützt.

SystemtastaturSystemtastatur
Beispielskript für die Verwendung der Systemtastatur in Unity

InteraktionsfähigInteragierbar
Ein Skript, um Objekte interaktionsfähig zu machen, mit visuellen Zuständen und Designunterstützung.

SolverSolver
Verschiedene Objektpositionierungsverhalten wie tag-along, body-lock, konstante Ansichtsgröße und Oberflächenmagnetismus.

ObjektsammlungObject-Auflistung
Skript zum Anordnen eines Arrays von Objekten in einer dreidimensionalen Form.

QuickInfoTooltip
Anmerkungsbenutzeroberfläche mit einem flexiblen Anker-/Pivot-System, das zum Bezeichnen von Motion-Controllern und Objekten verwendet werden kann.

SchiebereglerSchieberegler
Schieberegler-Benutzeroberfläche zum Anpassen von Werten, die direkte Hand-Tracking-Interaktion unterstützen.

MRTK-Standard-ShaderMRTK Standard-Shader
Der Standard-Shader des MRTK unterstützt leistungsstark verschiedene Fluent Design-Elemente.

HandmenüHandmenü
Handgesperrte Benutzeroberfläche für Schnellzugriff unter Verwendung des Handeinschränkungs-Solvers.

App-LeisteApp-Leiste
Benutzeroberfläche für die manuelle Aktivierung von Begrenzungs-Steuerelementen.

ZeigerZeiger
Erfahren Sie mehr über verschiedene Typen von Zeigern.

FingerspitzenvisualisierungFingerspitzenvisualisierung
Visuelles Angebot an der Fingerspitze, das das Vertrauen in die direkte Interaktion verbessert.

NähemenüMenü "Nah"
Unverankerte Menübenutzeroberfläche für die Näheinteraktionen.

Räumliches Bewusstsein – Erste SchritteRäumliche Sensibilisierungsansicht
Machen Sie Ihre Holografieobjekte interaktionsfähig für die physischen Umgebungen.

SprachbefehlSprachbefehl
Skripts und Beispiele für die Integration von Spracheingaben.

StatusanzeigeStatusanzeige
Visueller Indikator zum Kommunizieren eines Datenprozesses oder -vorgangs.

DialogfeldDialogfeld
Benutzeroberfläche zum Anfordern der Bestätigung oder Anerkennung durch den Benutzer.

HandcoachHand Coach
Komponente, die hilft, den Benutzer anzuleiten, wenn die Geste noch nicht vermittelt wurde.

HandphysikdienstHandphysik service [Experimental]
Der Handphysikdienst ermöglicht Festkörperkollisionsereignisse und -interaktionen mit artikulierten Händen.

Scrolling-AuflistungScrolling-Auflistung
Eine Objektsammlung, die nativ 3D-Objekte scrollt.

AndockenDock [Experimental]
Das Dock ermöglicht das Verschieben von Objekten in und aus vordefinierten Positionen.

Eye Tracking: ZielauswahlEye Tracking: Zielauswahl
Kombinieren Sie Augen, Sprach- und Handeingaben, um schnell und einfach Hologramme in Ihrer Szene auszuwählen.

Eye Tracking: NavigationEye Tracking: Navigation
Erfahren Sie, wie Sie Text automatisch scrollen oder fließend in Inhalt im Vordergrund zoomen, basierend darauf, was Sie ansehen.

Eye Tracking: WärmekarteEye Tracking: Wärmekarte
Beispiele für das Protokollieren, Laden und Visualisieren dessen, was Benutzer in Ihrer App angesehen haben

Extras

OptimierungsfensterFenster optimieren AbhängigkeitsfensterAbhängigkeitsfenster Erstellen-FensterFenster erstellen EingabeaufzeichnungEingabeaufzeichnung
Automatisieren der Konfiguration von Mixed Reality-Projekten für Leistungsoptimierungen. Analysieren von Abhängigkeiten zwischen Ressourcen und Identifizieren nicht verwendeter Ressourcen. Konfigurieren und Ausführen eines End-to-End-Erstellungsprozesses für Mixed Reality-Anwendungen Aufzeichnen und Wiedergeben von Kopfbewegungs-und Hand-Tracking-Daten im Editor

Beispielszenen

MRTK enthält Beispielszenen, die die Verwendung der MRTK-Features veranschaulichen. Die Beispielszenen finden Sie im Ordner Assets/MRTK/Examples/Demos. Lesen Sie die Seite Beispielszenen, um zu erfahren, wie Sie Beispielszenen abrufen und ausführen. Die Szene mit Beispielen für die Handinteraktion ist ein idealer Ort, um die Bausteine des MRTK für Interaktionen und die Benutzeroberfläche zu erleben.

Beispielszene 2

MRTK-Beispiele-Hub

Mit dem MRTK-Beispiele-Hub können Sie verschiedene Beispielszenen im MRTK ausprobieren, ohne die einzelnen Szenen erstellen und bereitstellen zu müssen. Sie können vorgefertigte App-Pakete für HoloLens(x86), HoloLens 2(ARM) und immersive Windows Mixed Reality-Headsets(x64) herunterladen, indem Sie das Paket „Mixed Reality Toolkit-Beispiel“ im MR-Featuretool auswählen. Stellen Sie sicher, dass Sie das Windows-Geräteportal zum Installieren von Apps für HoloLens (1. Generation) verwenden. Auf HoloLens 2 können Sie den MRTK-Beispiele-Hub über die Microsoft Store-App herunterladen und installieren.

Weitere Informationen zu den Details der Erstellung eines Multiszenen-Hubs mit dem Szenensystem und dem Szenenübergangsdienst des MRTK finden Sie auf der INFO-Seite des Beispiele-Hubs.

Beispielszenen-Hub

Mit dem MRTK erstellte Beispiel-Apps.

Periodensystem der Elemente Galaxy Explorer Oberflächenbeispiel-App
Periodensystem der Elemente (Periodic Table of the Elements) ist eine Open-Source-Beispiel-App, die veranschaulicht, wie das Eingabesystem und die Bausteine des MRTK zum Erstellen einer App-Erfahrung für HoloLens und immersive Headsets verwendet werden. Lesen Sie die Portierungsgeschichte: Einbinden der „Periodic Table of the Elements“-App in HoloLens 2 mit dem MRTK v2 Galaxy Explorer ist eine Open-Source-Beispiel-App, die ursprünglich im März 2016 im Rahmen der Kampagne „Share Your Idea“ (Ideen teilen) von HoloLens entwickelt wurde. Galaxy Explorer wurde mit den neuen Features für HoloLens 2 mithilfe des MRTK v2 aktualisiert. Lesen Sie die Geschichte: Making of Galaxy Explorer für HoloLens 2 Oberflächen (Surfaces) ist eine Open-Source-Beispiel-App für HoloLens 2, die erkundet, wie wir mit visuellen Eindrücken, Audio und vollständig artikuliertem Hand-Tracking ein taktiles Gefühl schaffen können. Das detaillierte Design und die Entwicklungsgeschichte finden Sie in der Microsoft MR Dev Days-Sitzung Erfahrungen aus der Surfaces-App.

Sitzungsvideos von den Mixed Reality Dev Days 2020

MRDevDays 1 MRDevDays 3 MRDevDays 2
Tutorial zum Erstellen einer einfachen MRTK-APP von Anfang bis Ende. Erfahren Sie mehr über Interaktionskonzepte und die plattformübergreifenden Funktionen des MRTK. Tiefgehende Besprechung der UX-Bausteine des MRTK, die Sie beim Erstellen schöner Mixed Reality-Erfahrungen unterstützen. Eine Einführung in Leistungstools, sowohl die in MRTK enthaltenen als auch externe, sowie eine Übersicht zum MRTK-Standardshader.

Weitere Sitzungsvideos finden Sie unter Mixed Reality Dev Days.

Mit der Community in Kontakt treten

Für dieses Projekt gelten die Microsoft-Verhaltensregeln für Open Source (Microsoft Open Source Code of Conduct). Weitere Informationen finden Sie in den häufig gestellten Fragen zum Verhaltenskodex. Sie können sich auch an opencode@microsoft.com wenden, wenn Sie weitere Fragen oder Kommentare haben.

Hilfreiche Ressourcen in Mixed Reality Dev Center

DiscoverEntdecken DesignEntwurf EntwickelnEntwickeln Verteilen)Verteilen
Erfahren Sie, wie Sie Mixed Reality-Erfahrungen für HoloLens und immersive Headsets (VR) entwickeln. Erhalten Sie Entwurfshandbücher. Erstellen von Benutzeroberflächen. Erfahren Sie mehr über Interaktionen und Eingaben. Erhalten Sie Entwicklungshandbücher. Lernen Sie die Technologie kennen. Verstehen der wissenschaftlichen Aspekte. Bereiten Sie Ihre App für andere Benutzer vor, und erstellen Sie ggf. ein 3D-Startprogramm.

Nützliche Ressourcen in Azure

Spatial Anchors
Spatial Anchors
Speech-DiensteSprachdienste BildanalysediensteVision Services
Spatial Anchors ist ein plattformübergreifender Dienst, mit dem Sie Mixed Reality-Erlebnisse mit Objekten erstellen können, die ihre Positionen auf Geräten im Zeitverlauf beibehalten. Erforschen Sie Azure-basierte Sprachfunktionen wie Spracherkennung, Sprechererkennung und Sprachübersetzung, und integrieren Sie diese in Ihre Anwendung. Erkennen und analysieren Sie Ihre Bild- oder Videoinhalte mithilfe von Bildverarbeitungsdiensten wie maschinelles Sehen, Gesichtserkennung, Emotionserkennung oder Video-Indexer.

Beitragen

Erfahren Sie, wie Sie beim MRTK mitwirken können, unter Mitwirkung.

Hilfe

Wenn Probleme auftreten, die vom MRTK verursacht wurden, oder wenn Sie anderweitige Fragen zu Vorgehensweisen haben, gibt es einige Ressourcen, die Ihnen helfen können: