Szybki start: tworzenie aplikacji HoloLens za pomocą usługi Azure Object Anchors w a środowisku Unity przy użyciu zestawu narzędzi MRTK

W tym przewodniku Szybki start utworzysz aplikację aparatu Unity HoloLens korzystającą z usługi Azure Object Anchors. Azure Object Anchors to zarządzana usługa w chmurze, która konwertuje zasoby 3D na modele sztucznej inteligencji, które umożliwiają obsługę rzeczywistości mieszanej obsługującej obiekty dla urządzenia HoloLens. Po zakończeniu będziesz mieć aplikację HoloLens utworzoną za pomocą aparatu Unity, która może wykrywać obiekty w świecie fizycznym.

Dowiesz się, jak:

Wymagania wstępne

Aby ukończyć ten przewodnik Szybki start, upewnij się, że dysponujesz następującymi elementami:

• Obiekt fizyczny w środowisku i jego model 3D (CAD lub zeskanowany).
• Maszyna z systemem Windows z zainstalowanym następującymi instalacjami:
  • Git dla systemu Windows
  • Program Visual Studio 2019 z obciążeniem programowania platforma uniwersalna systemu Windows i zestawem Windows 10 SDK (10.0.18362.0 lub nowszym)
  • Unity 2019.4
• Urządzenie HoloLens 2, które jest aktualne i ma włączony tryb dewelopera.
  • Aby zaktualizować najnowszą wersję na urządzeniu HoloLens, otwórz aplikację Ustawienia , przejdź do pozycji Aktualizuj i zabezpieczenia, a następnie wybierz pozycję Sprawdź dostępność aktualizacji.

Tworzenie konta kotwic obiektów

Najpierw należy utworzyć konto za pomocą usługi Object Anchors.

1. Przejdź do witryny Azure Portal i wybierz pozycję Utwórz zasób.

   

2. Wyszukaj zasób Zakotwiczenia obiektów.

   Wyszukaj frazę "Object Anchors" (Kotwice obiektów).

   

   W zasobie Zakotwiczenia obiektów w wynikach wyszukiwania wybierz pozycję Utwórz —> Kotwice obiektów.

   

3. W oknie dialogowym Konto kotwic obiektów:

   • Wprowadź unikatową nazwę zasobu.
   • Wybierz subskrypcję, do której chcesz dołączyć zasób.
   • Utwórz istniejącą grupę zasobów lub użyj jej.
   • Wybierz region, w którym ma istnieć zasób.

   

   Wybierz pozycję Utwórz , aby rozpocząć tworzenie zasobu.

4. Po utworzeniu zasobu wybierz pozycję Przejdź do zasobu.

   

5. Na stronie przeglądu:

   Zanotuj domenę konta. Będziesz jej potrzebować później.

   

   Zanotuj identyfikator konta. Będziesz jej potrzebować później.

   

   Przejdź do strony Klucze dostępu i zanotuj klucz podstawowy. Będziesz jej potrzebować później.

   

Skonfiguruj urządzenie

Aby wdrożyć aplikacje na urządzeniu HoloLens, należy sparować urządzenie HoloLens z komputerem.

1. W urządzeniu HoloLens przejdź do pozycji Ustawienia —> Aktualizacja i zabezpieczenia —> dla deweloperów.
2. Kliknij pozycję Paruj i pozostaw ekran otwarty do momentu wprowadzenia numeru PIN do programu Visual Studio podczas pierwszego wdrożenia.

Przekazywanie modelu

Przed uruchomieniem aplikacji należy udostępnić modele aplikacji. Jeśli nie masz jeszcze modelu zakotwiczeń obiektów, postępuj zgodnie z instrukcjami w temacie Tworzenie modelu , aby go utworzyć. Następnie wróć tutaj.

Gdy urządzenie HoloLens jest włączone i połączone z urządzeniem deweloperskim (PC), wykonaj następujące kroki, aby przekazać model do folderu Obiekty 3D na urządzeniu HoloLens:

1. Zaznacz i skopiuj modele, z których chcesz pracować, naciskając Ctrl i C razem (Ctrl + C).

2. Naciśnij Logo systemu Windows i E razem (Win + E), aby uruchomić Eksplorator plików. Urządzenie HoloLens powinno zostać wyświetlone z innymi dyskami i folderami w okienku po lewej stronie.

   

3. Naciśnij link HoloLens, aby wyświetlić magazyn na urządzeniu HoloLens w okienku po prawej stronie.

   

4. W Eksplorator plików przejdź do pozycji Wewnętrzne obiekty 3D magazynu>. Teraz możesz wkleić modele w folderze Obiekty 3D, naciskając Ctrl i V razem (Ctrl + V).

   

Otwieranie przykładowego projektu

Sklonuj repozytorium przykładów, uruchamiając następujące polecenia:

git clone https://github.com/Azure/azure-object-anchors.git

cd ./azure-object-anchors

Następnym krokiem jest pobranie pakietu Azure Object Anchors dla aparatu Unity.

npm pack com.microsoft.azure.object-anchors.runtime@<version_number> --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/

npm view com.microsoft.azure.object-anchors.runtime --registry https://pkgs.dev.azure.com/aipmr/MixedReality-Unity-Packages/_packaging/Unity-packages/npm/registry/ versions

W środowisku quickstarts/apps/unity/mrtk Unity otwórz projekt.

Konfigurowanie informacji o koncie

Następnym krokiem jest skonfigurowanie aplikacji do korzystania z informacji o koncie. Zanotuj wartości Klucz konta, Identyfikator konta i Domena konta w sekcji "Tworzenie konta kotwic obiektów".

W okienku Projekt przejdź do strony Assets\AzureObjectAnchors.SDK\Resources.

Wybierz pozycję ObjectAnchorsConfig. W okienku Inspector (Inspektor) wprowadź wartość w polu Object Anchors Account Key (Klucz konta kotwicy obiektów), Account ID a jako wartość pola Object Anchors Account Domain Account Domain(Domena konta kotwic obiektów).Account Key

Skompiluj i uruchom aplikację

Tworzenie przykładowej sceny

W edytorze aparatu Unity przejdź do pozycji Assets/MixedReality.AzureObjectAnchors/Scenes i otwórz plik AOASampleSampleScene i dodaj go do listy kompilacji sceny.

Gdy w oknie dialogowym "Importer TMP" zostanie wyświetlony monit o zaimportowanie zasobów TextMesh Pro, wybierz pozycję "Importuj podstawowe elementy TMP", aby to zrobić.

Wybierz pozycję Plik —> ustawienia kompilowania. Wybierz pozycję platforma uniwersalna systemu Windows, a następnie wybierz pozycję Przełącz platformę. Jeśli edytor aparatu Unity mówi, że musisz najpierw pobrać niektóre składniki, pobierz je i zainstaluj. Postępuj zgodnie z poniższym zrzutem ekranu, aby skonfigurować ustawienia kompilacji. Upewnij się, że obok niego znajduje się tylko element AOASampleSampleScene : nie należy uwzględniać wszystkich innych scen.

Wybierz pozycję Kompiluj i wybierz folder wyjściowy. Teraz możesz wygenerować projekt programu VS w folderze wyjściowym.

Kompilowanie i wdrażanie aplikacji

.sln Otwórz plik wygenerowany przez aparat Unity. Zmień konfigurację kompilacji na następującą.

Następnie należy skonfigurować adres IP maszyny zdalnej w celu wdrożenia i debugowania aplikacji.

Kliknij prawym przyciskiem myszy projekt Aplikacji i wybierz polecenie Właściwości. Na stronie właściwości wybierz pozycję Właściwości konfiguracji —> Debugowanie. Zmień wartość Nazwa maszyny na adres IP urządzenia HoloLens, a następnie kliknij przycisk Zastosuj.

Zamknij stronę właściwości. Kliknij pozycję Maszyna zdalna. Aplikacja powinna zacząć kompilować i wdrażać na urządzeniu zdalnym. Upewnij się, że urządzenie jest aktywne.

Po ekranie powitalnym aparatu Unity powinno zostać wyświetlone białe pole ograniczenia. Możesz użyć ręki, aby przenieść, skalować lub obracać pole ograniczenia. Umieść pole, aby zakryć obiekt, który chcesz wykryć.

Otwórz menu ręki i wybierz pozycję Zablokuj obszar wyszukiwania, aby zapobiec dalszemu przemieszczaniu pola ograniczenia. Wybierz pozycję Rozpocznij wyszukiwanie , aby rozpocząć wykrywanie obiektów. Po wykryciu obiektu na obiekcie zostanie renderowana siatka. Szczegóły wykrytego wystąpienia zostaną wyświetlone na ekranie, takie jak zaktualizowany znacznik czasu i współczynnik pokrycia powierzchni. Wybierz pozycję Zatrzymaj wyszukiwanie , aby zatrzymać śledzenie i wszystkie wykryte wystąpienia zostaną usunięte.

Menu aplikacji

Możesz również wykonać inne akcje przy użyciu menu ręcznego.

Menu podstawowe

• Uruchom wyszukiwanie/zatrzymaj wyszukiwanie — uruchamia lub zatrzymuje proces wykrywania obiektów.

• Przełącz mapowanie przestrzenne — pokaż/ukryj renderowanie mapowania przestrzennego. Tej opcji można użyć do debugowania, jeśli skanowanie zostało ukończone lub nie.

• Ustawienia trackera — włącza aktywację menu ustawień trackera.

• Ustawienia obszaru wyszukiwania — przełącza aktywację menu ustawień obszaru wyszukiwania.

• Rozpocznij śledzenie — przechwyć dane diagnostyczne i zapisz je na urządzeniu. Zobacz więcej szczegółów w sekcji Problemy z wykrywaniem debugowania i Diagnostyka przechwytywania.

• Przekazywanie śledzenia — przekazywanie danych diagnostycznych do usługi Object Anchors.

  

Menu ustawień trackera

• Wysoka dokładność — funkcja eksperymentalna używana do uzyskania dokładniejszej pozycji. Włączenie tej opcji będzie wymagało większej ilości zasobów systemowych podczas wykrywania obiektów. Siatka obiektów będzie renderowana w kolorze różowym w tym trybie. Ponownie wybierz ten przycisk, aby powrócić do normalnego trybu śledzenia.

• Złagodzone wyrównanie w pionie — po włączeniu umożliwia wykrycie obiektu pod kątem niezwiązanym z pionem. Przydatne do wykrywania obiektów na rampach.

• Zezwalaj na zmianę skali — umożliwia monitorowi zmianę rozmiaru wykrytego obiektu na podstawie informacji środowiskowych.

• Suwak współczynnika pokrycia — dostosowuje proporcję punktów powierzchni, które muszą być zgodne z monitorem w celu wykrycia obiektu. Niższe wartości pozwalają monitorowi lepiej wykrywać obiekty, które są trudne dla czujników HoloLens do wykrywania, takich jak ciemne obiekty lub obiekty o wysokiej refleksji. Wyższe wartości zmniejszają częstotliwość wykrywania fałszywych wartości.

  

Menu ustawień obszaru wyszukiwania

• Zablokuj obszar wyszukiwania — zablokuj pole ograniczenia obszaru, aby zapobiec przypadkowemu ruchowi za pomocą rąk.

• Automatyczne dostosowywanie obszaru wyszukiwania — umożliwia zmianę położenia obszaru wyszukiwania podczas wykrywania obiektów.

• Siatka cykli — cykle przez wizualizowanie załadowanych siatk wewnątrz obszaru wyszukiwania. Ta opcja może pomóc użytkownikom wyrównywać pole wyszukiwania, aby trudno było wykryć obiekty.

  

Rozwiązywanie problemów

Wskazówki

Jeśli obiekt nie jest wykrywany, możesz spróbować wykonać następujące czynności:

1. Sprawdź dokładnie, czy używasz poprawnego modelu dla obiektu.
2. Wizualizuj obszar wyszukiwania i upewnij się, że obejmuje obiekt docelowy.
3. Spróbuj zmniejszyć liczbę .MinSurfaceCoverage
4. W portalu urządzeń z systemem Windows kliknij pozycję Widoki —> widoki 3D i sprawdź, czy skanowanie zostało ukończone.

Następne kroki