Panoramica del suono spaziale
Nella vita reale, il suono spaziale è vitale. Quando qualcuno chiama il tuo nome, sai in che modo guardare. Se si rilascia una moneta sul marciapiede, si può dire in che modo ha rotolato. Perché? Poiché è possibile sentire "spazialimente", in altre parole, è possibile indicare dove si sta verificando il suono nell'ambiente.
In un'app di realtà mista, potrebbe essere necessario cercare, in basso, da un lato all'altro o dietro di te per trovare qualcosa che sta accadendo. A volte, può essere poco chiaro dove dovresti guardare. Il suono spaziale connette gli ologrammi più profondamente al mondo della realtà mista e fornisce informazioni sull'ambiente e sullo stato dell'oggetto. È possibile fornire segnali dalla direzione a cui si vuole attirare l'attenzione; ciò consente agli utenti di mantenere la consapevolezza dell'ambiente reale e di guidarli ai passaggi successivi. Ciò aumenta la fiducia dell'utente nelle interazioni di movimento e voce.
L'uso dei suoni nella realtà mista richiede un approccio diverso rispetto alle applicazioni con tocco e tastiera e mouse. Le decisioni chiave per la progettazione del suono includono quali suoni spazializzare e quali interazioni per sonificare. Per indicazioni dettagliate, vedere l'articolo Procedure consigliate per il suono spaziale .
Spazializzazione
La spazializzazione è il componente direzionale del suono spaziale. Per una configurazione 7.1 del teatro domestico, la spazializzazione è semplice come la panoramica tra altoparlanti. Tuttavia, per le cuffie in realtà mista, è essenziale usare una tecnologia basata su HRTF per l'accuratezza e il comfort. Windows offre la spazializzazione basata su HRTF e questo supporto è accelerato dall'hardware in HoloLens 2.
Per suggerimenti sull'uso efficace della spazializzazione nell'applicazione, vedere Procedure consigliate per il suono spaziale.
Supporto di dispositivi
| Funzionalità | HoloLens (prima generazione) | HoloLens 2 | Visori VR immersive |
| Spazializzazione | ✔️ | ✔ | ✔ |
| Accelerazione hardware di spazializzazione | ❌ | ✔️ | ❌ |
Case study
HoloTour porta praticamente gli utenti a siti turistici e storici in tutto il mondo. Vedi il case study Relativo al suono per HoloTour . Sono stati usati un microfono speciale e una configurazione per il rendering per acquisire gli spazi oggetto.
RoboRaid è uno sparatutto ad alta energia per HoloLens. Il case study Sound design per RoboRaid descrive le scelte di progettazione effettuate per garantire che il suono spaziale sia stato usato per l'effetto più drammatico.
Personalizzazione dello spazializzatore
Il tracciamento head a bassa latenza dei visori VR di realtà mista, incluso HoloLens, supporta la spazializzazione basata su HRTF di alta qualità.
Le funzioni hrtfs modificano le differenze di livello e fase tra le orecchie nello spettro della frequenza. Si basano su modelli fisici e misurazioni di testa umana, torso e forme dell'orecchio (pinnae). I nostri cervelli rispondono a queste differenze per fornire la direzione percepita nel suono.
Ogni individuo ha una forma di orecchio univoca, dimensioni della testa e posizione dell'orecchio. Quindi le migliori HRTFs sono conformi all'utente. Per aumentare l'accuratezza della spazializzazione, HoloLens usa la distanza inter-pupillare (IPD) dal visore VR per regolare i file HRTFs per le dimensioni della testa.
Supporto della piattaforma spatializer
Windows offre la spazializzazione, incluse le funzioni HRTF, tramite l'API ISpatialAudioClient. Questa API espone l'accelerazione hardware HRTF HoloLens 2 alle applicazioni.
Supporto del middleware dello spazializzatore
Il supporto per le funzioni HRTFs di Windows è disponibile per i motori audio di terze parti seguenti.
Acustica
Il suono spaziale è di più della direzione. Altre dimensioni includono occlusione, ostruzione, riverbero, portale e modellazione di origine. Collettivamente queste dimensioni sono dette acustica. Senza acustica, i suoni spazializzati non hanno distanza percepita.
I trattamenti acustici variano da semplice a complesso. Puoi usare un riverbero supportato da qualsiasi motore audio per eseguire il push di suoni spazializzati nell'ambiente del listener. I sistemi acustici come Project Acoustics offrono un trattamento acustico più ricco e accattivante. Project Acoustics può modellare l'effetto di pareti, porte e altre geometrie della scena su un suono. È un'opzione efficace per i casi in cui la geometria della scena pertinente è nota in fase di sviluppo.