Acquisizione di realtà mista per sviluppatori (DirectX)

Prima di iniziare, è consigliabile esaminare l'articolo panoramica dell'acquisizione di realtà mista.

Rendering dalla fotocamera PV (consenso esplicito)

HoloLens 2 aggiunge la possibilità per un'app immersiva di eseguire il rendering dalla fotocamera PV mentre l'acquisizione di realtà mista è in esecuzione. Per garantire che l'app supporti correttamente il rendering aggiuntivo, l'app deve acconsentire esplicitamente a questa funzionalità.

Il rendering dalla fotocamera PV offre i miglioramenti seguenti rispetto all'esperienza MRC predefinita:

• L'allineamento dell'ologramma all'ambiente fisico e le mani per le interazioni vicine devono essere accurati a tutte le distanze. Evitare di avere un offset a distanze diverse dal punto di attivazione, come si potrebbe vedere nel mrc predefinito.
• L'occhio destro nel visore VR non verrà compromesso, perché non verrà usato per eseguire il rendering degli ologrammi per l'output MRC.

Esistono tre passaggi per abilitare il rendering dalla fotocamera PV:

1. Abilitare PhotoVideoCamera HolographicViewConfiguration
2. Gestire il rendering aggiuntivo di HolographicCamera
3. Verificare il rendering corretto degli shader e del codice da questa holographicCamera aggiuntiva

Abilitare PhotoVideoCamera HolographicViewConfiguration in DirectX

Per acconsentire esplicitamente al rendering dalla fotocamera PV, un'app abilita semplicemente HolographicViewConfiguration di PhotoVideoCamera:

var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault();
var view = display.TryGetViewConfiguration(Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera);
if (view != null)
{
    view.IsEnabled = true;
}

Gestire il rendering aggiuntivo di HolographicCamera in DirectX

Quando l'app dispone del consenso esplicito per il rendering dalla fotocamera PV e dall'acquisizione di realtà mista viene avviata:

1. Verrà generato l'evento CameraAdded di HolographicSpace. Questo evento può essere posticipato se l'app non è in grado di gestire la fotocamera in questo momento.
2. Una volta completato l'evento senza rinvii in sospeso, HolographicCamera verrà visualizzato nell'elenco AddedCameras di HolographicFrame successivo.

Quando l'acquisizione di realtà mista si arresta (o se l'app disabilita la configurazione della visualizzazione mentre è in esecuzione l'acquisizione di realtà mista): HolographicCamera verrà visualizzato nell'elenco RemovedCameras di HolographicFrame successivo e verrà generato l'evento CameraRemoved di HolographicSpace.

È stata aggiunta una proprietà ViewConfiguration a HolographicCamera per identificare la configurazione a cui appartiene una fotocamera.

Verificare gli shader e il codice supportano fotocamere aggiuntive

Eseguire un'acquisizione di realtà mista e verificare la presenza di un allineamento insolito, contenuto mancante o problemi di prestazioni. Aggiornare gli shader e il codice in base alle esigenze.

Se sono presenti alcune scene che non possono supportare il rendering in una fotocamera aggiuntiva, è possibile disabilitare HolographicViewConfiguration di PhotoVideoCamera.

Disabilitazione di MRC nell'app

App 2D

Le app 2D possono scegliere di nascondere il contenuto visivo quando l'acquisizione di realtà mista è in esecuzione:

• Presente con il flag DXGI_PRESENT_RESTRICT_TO_OUTPUT
• Creare la catena di scambio dell'app con il flag DXGI_SWAP_CHAIN_FLAG_HW_PROTECTED
• Con il Aggiornamento di Windows 10 (maggio 2019), impostando IsScreenCaptureEnabled di ApplicationView

App immersiva

Le app immersive possono scegliere di escludere il contenuto visivo dall'acquisizione di realtà mista tramite:

• Impostazione di IsContentProtectionEnabled di HolographicCameraRenderingParameter per disabilitare l'acquisizione di realtà mista per il frame associato
• Impostazione di IsHardwareContentProtectionEnabled di HolographicCamera per disabilitare l'acquisizione di realtà mista per la fotocamera olografica associata

Tastiera password

Con il Aggiornamento di Windows 10 (maggio 2019), il contenuto visivo viene automaticamente escluso dall'acquisizione di realtà mista quando è visibile una password o una tastiera pin.

Sapere quando MRC è attivo

La classe AppCapture può essere usata da un'app per sapere quando l'acquisizione di realtà mista di sistema è in esecuzione (per audio o video).

Integrazione della funzionalità MRC dall'interno dell'app

L'app di realtà mista può avviare l'acquisizione di foto o video MRC dall'interno dell'app e il contenuto acquisito viene reso disponibile per l'app senza essere archiviato nel "Roll della fotocamera" del dispositivo. È possibile creare un registratore MRC personalizzato o sfruttare l'interfaccia utente di acquisizione della fotocamera incorporata.

MRC con interfaccia utente predefinita della fotocamera

Gli sviluppatori possono usare l'API dell'interfaccia utente acquisizione fotocamera per ottenere una foto o un video di realtà mista acquisita dall'utente con poche righe di codice.

Questa API avvia l'interfaccia utente predefinita della fotocamera MRC in cui gli utenti possono scattare una foto o un video e restituisce l'acquisizione risultante all'app. È possibile creare un registratore di acquisizione di Realtà mista personalizzato se è necessario aggiungere l'interfaccia utente della fotocamera o l'accesso di livello inferiore ai flussi di acquisizione.

MRC con acquisizione dello schermo

Con l'aggiornamento di HoloLens 2 maggio 2021 (Windows Holographic, versione 21H1 build 20346.1002), gli sviluppatori possono usare l'API di acquisizione dello schermo per richiedere un flusso di fotogrammi video di realtà mista.

Creazione di un registratore MRC personalizzato

Anche se l'utente può sempre attivare una foto o un video usando il servizio di acquisizione MRC di sistema, un'applicazione può voler creare un'app fotocamera personalizzata che includa ologrammi nel flusso della fotocamera proprio come MRC. In questo modo l'applicazione può avviare le acquisizioni dall'input dell'utente, compilare l'interfaccia utente di registrazione personalizzata o personalizzare le impostazioni MRC per denominare alcuni esempi.

HoloStudio aggiunge una fotocamera MRC personalizzata usando effetti MRC

Altre applicazioni possono eseguire questa operazione usando le API windows Media Capture per controllare la fotocamera e aggiungere un effetto video e audio MRC per includere gli ologrammi virtuali e l'audio dell'applicazione in still e video.

Le applicazioni hanno due opzioni per aggiungere l'effetto:

• API precedente: Windows.Media.Capture.MediaCapture.AddEffectAsync()
• La nuova API consigliata da Microsoft (restituisce un oggetto, rendendo possibile la modifica delle proprietà dinamiche): Windows.Media.Capture.MediaCapture.AddVideoEffectAsync() / Windows.Media.Capture.MediaCapture.AddAudioEffectAsync() che richiedono che l'app crei la propria implementazione di IVideoEffectDefinition e IAudioEffectDefinition. Per esempi, vedere l'app di esempio MRC.

Effetto video MRC (Windows.Media.MixedRealityCapture.MixedRealityCaptureVideoEffect)

Effetto audio MRC (Windows.Media.MixedRealityCapture.MixedRealityCaptureAudioEffect)

Limitazioni simultanee di MRC

È necessario tenere presente alcune limitazioni quando più app accedono contemporaneamente a MRC.

Accesso alla fotocamera/videocamera

In HoloLens 1, MRC non riuscirà a acquisire una foto o acquisire video mentre un processo sta registrando video o scattando una foto. Anche il contrario è vero: se MRC è in esecuzione, l'applicazione non riuscirà ad accedere alla fotocamera.

Con HoloLens 2, è possibile condividere l'accesso alla fotocamera. Se non è necessario il controllo diretto della risoluzione o della frequenza dei fotogrammi, è possibile inizializzare MediaCapture usando la proprietà SharedMode con SharedReadOnly.

Accesso predefinito a foto e videocamera MRC

Funzionalità MRC integrate in Windows 10 (tramite Cortana, Menu Start, collegamenti hardware, Miracast, Windows Device Portal):

• Verrà eseguito con ExclusiveControl per impostazione predefinita

Tuttavia, il supporto è stato aggiunto al sottosistema MRC per operare in modalità condivisa:

• Se un'app richiede l'accesso ExclusiveControl alla fotocamera/videocamera, MRC predefinito smetterà automaticamente di usare la fotocamera/videocamera, in modo che la richiesta dell'app abbia esito positivo
• Se viene avviato MRC incorporato mentre un'app dispone di ExclusiveControl, l'mrc predefinito verrà eseguito in modalità SharedReadOnly

Questa funzionalità in modalità condivisa presenta alcune restrizioni:

• Foto tramite Cortana, tasti di scelta rapida hardware o Menu Start: richiede l'aggiornamento di Windows 10 aprile 2018 (o versione successiva)
• Video tramite Cortana, collegamenti hardware o menu Start: richiede l'aggiornamento di Windows 10 aprile 2018 (o versione successiva)
• Streaming MRC su Miracast: richiede l'Aggiornamento di Windows 10 (ottobre 2018) (o versione successiva)
• Streaming MRC su Windows Device Portal o tramite l'app complementare HoloLens: richiede HoloLens 2

Accesso MRC per sviluppatori

Ti consigliamo di richiedere sempre il controllo esclusivo per la fotocamera quando usi MRC. Ciò garantisce che l'applicazione abbia il controllo completo delle impostazioni per la fotocamera, purché tu sia consapevole delle limitazioni elencate in precedenza.

• Creare un oggetto acquisizione multimediale usando le impostazioni di inizializzazione
• Impostare la proprietà SharingMode su esclusiva

• Configurare la fotocamera nel modo desiderato
• Avviare l'app, acquisire fotogrammi video con l'API iniziale, quindi abilitare MRC

È possibile trovare un esempio completo del processo precedente nell'esempio di rilevamento del viso olografico.

Vedi anche

• Panoramica dell'acquisizione di realtà mista
• Acquisizione di realtà mista per gli utenti di HoloLens