Case study: Progettazione del suono spaziale per HoloTour
Video panoramici e paesaggi olografici fanno parte solo della formula per un tour immersivo Microsoft HoloLens. Questo articolo descrive come è stato usato il suono per farti sentire come sei effettivamente in ogni posizione holoTour.
La tecnologia
Le belle immagini e le scene olografiche che vedete in HoloTour sono solo una parte di un'esperienza di realtà mista credibile. Mentre gli ologrammi vengono visualizzati solo davanti a un utente, HoloLens può offrire un suono spaziale da tutte le direzioni, che offre un'esperienza sensoriale più completa.
Il suono spaziale fornisce segnali per indicare una direzione che l'utente deve girare o per informare l'utente che ci sono più ologrammi da visualizzare all'interno dello spazio. È anche possibile collegare un suono direttamente a un ologramma e aggiornare continuamente la direzione e la distanza che l'ologramma proviene dall'utente. Questa tecnica lo fa sembrare come se il suono provenisse direttamente da quell'oggetto.
Per HoloTour, volevamo sfruttare le funzionalità audio spaziali di HoloLens, quindi abbiamo creato un ambiente ambientale a 360 gradi sincronizzato con il video per rivelare le caratteristiche sonore di posizioni specifiche.
Dietro le quinte
Abbiamo creato esperienze HoloTour di due diverse località: Roma e HoloTour. Per far sentire questi tour autentici e accattivanti, volevamo catturare audio dalle posizioni in cui abbiamo girato invece di usare suoni generici.
Acquisizione dell'audio
Nel nostro case study sull'acquisizione del contenuto visivo per HoloTour, parliamo della progettazione del nostro impianto di fotocamera. È costituito da 14 fotocamere GoPro in un alloggio stampato 3D progettato per adattarsi al triplo. Per acquisire l'audio, abbiamo aggiunto una matrice di microfoni quad sotto le fotocamere. Il suono si inserisce in un'unità di registrazione a quattro canali compatta alla base del tripod. Abbiamo scelto microfoni che hanno fatto bene, ma erano abbastanza piccoli per evitare di interferire con le telecamere.
Telecamera personalizzata e rig del microfono
Questa configurazione acquisisce il suono in quattro direzioni. Abbiamo registrato informazioni sufficienti per ricreare un panorama 3D aurale di suono spaziale, che in seguito potremmo sincronizzare con il video a 360 gradi.
Una sfida dell'audio dell'array di telecamere è che sei alla mercé di suoni fuori fotocamera, come le sirene, gli aerei o i venti alti. Per assicurarsi di avere tutti gli elementi audio necessari, abbiamo usato registratori stereo e mono per catturare il suono asincrono e ambientale in punti di interesse specifici in ogni posizione. Queste registrazioni offrono al progettista audio contenuti puliti per aggiungere interesse e migliorare la direzionalità nella post-produzione.
Ogni giorno di acquisizione genera molti file. Quindi è stato importante sviluppare un sistema per tenere traccia dei file che corrispondono a una determinata posizione o inquadratura della fotocamera. L'unità di registrazione è stata configurata per denominare automaticamente i file in base alla data e al numero "take". È stato eseguito il backup dei file in unità esterne alla fine di ogni giorno. Abbiamo anche trovato importante slate verbalmente l'inizio delle registrazioni audio. Questa precauzione consente una facile identificazione contestuale del contenuto nel caso in cui si verifichino problemi di nome file. È stato anche importante ardersi visivamente l'acquisizione del rig della fotocamera, perché il video e l'audio sono stati registrati come supporti separati e devono essere sincronizzati durante la post-produzione.
Modifica dell'audio
Torna in studio dopo il viaggio di acquisizione, il primo passaggio nell'assemblare un'esperienza direzionale e immersiva aurale consiste nel rivedere tutto l'audio acquisito per una posizione. Durante l'integrazione vengono scelti i risultati migliori e vengono identificati i punti di evidenziazione che possono essere applicati. L'audio viene quindi modificato e pulito. Ad esempio, un'esplosione del corno di auto che dura un secondo o così via e ripete alcune volte potrebbe essere sostituita con audio ambientale più silenzioso dalla stessa sessione di acquisizione.
Dopo aver impostato la modifica del video per una posizione, la finestra di progettazione audio può sincronizzare l'audio corrispondente. A questo punto, valutiamo sia l'apparecchio fotografico che l'audio mobile acquisiscono per decidere quali elementi creerebbero la scena audio immersiva migliore. Abbiamo trovato utile inserire tutti gli elementi audio in un editor audio e creare modelli lineari rapidi per sperimentare idee di mix diverse. Questo passaggio ci ha dato idee più formate per quando è arrivato il momento di costruire le scene effettive di HoloTour.
Assemblaggio della scena
Il primo passaggio per creare una scena ambientale 3D consiste nel creare un letto di suoni di looping ambientale di sfondo generale che supporteranno altre caratteristiche e elementi audio interattivi in una scena. Prendiamo un approccio olistico all'implementazione come determinato dai criteri di progettazione per qualsiasi scena specifica. Alcune scene potrebbero indicizzare l'uso dell'acquisizione della fotocamera sincronizzata. Più momenti "cinematografici" potrebbero richiedere un approccio curato che si basa su suoni, elementi interattivi e musica posizionati discretamente.
Quando abbiamo indicizzato l'audio di acquisizione della fotocamera, abbiamo inserito gli emettitori audio ambientale abilitati per il suono spaziali corrispondenti all'orientamento direzionale delle fotocamere. La visualizzazione della fotocamera nord riproduce l'audio dal microfono nord e allo stesso modo per le altre direzioni cardinali. Questi emettitori sono bloccati al mondo, il che significa che il suono cambia quando gli utenti girano la testa. Questa tecnica modella efficacemente il suono di stare in quella posizione. Ascoltare Piazza Attestazione o Il Pantheon per esempi di scene che utilizzano un buon mix di audio acquisito dalla fotocamera.
In un approccio diverso, a volte giochiamo l'atmosfera stereo looping con emettitori audio spaziali posizionati intorno alla scena. Questi emettitori giocano suoni uno-off di volume casuale, pitch e frequenza di trigger. Questa tecnica crea un ambiente che ha un senso di direzionalità migliorato. Ad esempio, in Comporta alienates si può sentire come ogni quadrante del panorama abbia emettitori specifici che evidenziano aree specifiche della geografia, ma interagiscono per creare un ambiente immersivo complessivo.
Suggerimenti
Esistono altri modi per evidenziare la direzionalità e migliorare l'immersione per sfruttare appieno le funzionalità audio spaziali di HoloLens. Abbiamo fornito un elenco qui. Ascolta questi effetti la prossima volta che provi HoloTour.
- Cerca destinazioni: Questi suoni vengono attivati quando si esamina un oggetto o un'area specifica della cornice olografica. Ad esempio, guardare verso il caffè di strada a Roma piazza Esegue per attivare in modo subtly i suoni trafficati-ristorante.
- Visione locale: Il viaggio, anche se HoloTour contiene alcuni "beat" in cui la guida del tour, aiutata dagli ologrammi, esplora un argomento approfondito. Ad esempio, quando la facciata del Pantheon si dissolve per rivelare l'oculo, riverberando l'audio che è stato posizionato come emettitore 3D dall'interno del Pantheon incoraggia l'utente a esplorare l'interno.
- Maggiore direzionalità: All'interno di molte scene, abbiamo inserito suoni in vari modi per aggiungere alla direzionalità. Nella scena Pantheon, ad esempio, il suono della fontana è stato posizionato come un emettitore separato abbastanza vicino all'utente che potevano avere un senso di "parallasse sonora" mentre camminano intorno allo spazio di riproduzione. Nella scena di Salinas de Maras del Perù, i suoni dei singoli piccoli flussi sono stati posizionati come emettitori separati per costruire un ambiente ambientale più coinvolgente, che circonda l'utente con i suoni autentici di quella posizione.
- Emettitore spline: Questi emettitori si spostano nello spazio 3D in base alla posizione visiva dell'oggetto a cui sono collegati. Un esempio è il treno a Sense Sense, dove abbiamo usato un emettitore spline per dare un senso distinto di direzionalità e movimento.
- Musica e SFX: Alcuni aspetti di HoloTour che rappresentano un approccio più stilizzato o cinematografico usano la musica e gli effetti sonori per aumentare l'impatto emotivo. Ad esempio, la battaglia del gladiatore alla fine del tour di Roma utilizza effetti speciali come chiosche e stinger per rafforzare l'effetto delle etichette che appaiono nelle scene.