Procedure consigliate per il suono spaziale
Se non si ha familiarità con l'uso del suono spaziale, vedere la panoramica del suono spaziale.
È possibile usare il suono per informare e rafforzare il modello mentale dell'utente dello stato dell'applicazione. Usare la spazializzazione, quando appropriato, per inserire suoni nel mondo della realtà mista. Quando si connettono l'udito e l'oggetto visivo in questo modo, si approfondisce la natura intuitiva delle interazioni e si aumenta la fiducia degli utenti.
Quando aggiungere suoni
Le applicazioni di realtà mista spesso hanno una maggiore necessità di suoni rispetto alle app 2D a causa della mancanza di un'interfaccia tattile. Aggiungere suoni quando informano l'utente o rafforzano le interazioni.
Informare e rafforzare
- Per gli eventi non avviati dall'utente, ad esempio le notifiche, usare il suono per informare l'utente che si è verificata una modifica.
- Le interazioni possono avere diverse fasi. Usare il suono per rafforzare le transizioni di scena.
Vedere gli esempi seguenti di interazioni, eventi e caratteristiche sonore suggerite.
Esercizio di moderazione
Gli utenti non hanno una capacità illimitata per le informazioni audio.
- Ogni suono deve comunicare informazioni specifiche e preziose.
- Quando l'app riproduce un suono per informare l'utente, ridurre temporaneamente il volume di altri suoni.
- Per i suoni al passaggio del mouse del pulsante (vedere le informazioni seguenti), aggiungere un ritardo di tempo per evitare l'attivazione eccessiva del suono.
Non affidarsi esclusivamente ai suoni
I suoni usati bene sono utili per gli utenti. Assicurarsi tuttavia che l'applicazione sia utilizzabile anche con il suono disattivato.
- Gli utenti possono essere difficili da sentire.
- L'applicazione può essere usata in un ambiente ad alta voce.
- Gli utenti potrebbero avere problemi di privacy o altri motivi per disabilitare l'audio del dispositivo.
Come sonificare le interazioni
I tipi di interazione nella realtà mista includono movimenti, manipolazione diretta e voce. Usare le caratteristiche suggerite seguenti per selezionare o progettare suoni per queste interazioni.
Interazioni con i movimenti
In realtà mista, gli utenti possono interagire con i pulsanti usando un mouse. Le azioni del pulsante si verificano in genere quando l'utente rilascia anziché preme il pulsante per consentire all'utente di annullare l'interazione. Usa suoni per rafforzare queste fasi. Per aiutare gli utenti a indirizzare i pulsanti distanti, prendere in considerazione anche l'uso di un suono puntatore al passaggio del mouse.
- I suoni di pressione del pulsante devono essere brevi e tattili "click".
Esempio: MRTK_ButtonPress.wav - I suoni button-"unpress" dovrebbero avere un aspetto tattile simile. Un passo più alto rispetto al suono della pressione rafforza il senso di completamento.
Esempio: MRTK_ButtonUnpress.wav - Per i suoni al passaggio del mouse, prendere in considerazione l'uso di un suono sottile e non minaccioso, ad esempio un tono a bassa frequenza o un urto.
Manipolazione diretta
In HoloLens 2, il tracciamento manuale articolato supporta la manipolazione diretta degli elementi dell'interfaccia utente. I suoni sono importanti quando non ci sono altri feedback fisici.
Un suono di pressione del pulsante è importante perché l'utente non riceve altre indicazioni quando raggiunge la parte inferiore del tratto del tasto. Gli indicatori sonori del viaggio chiave possono essere piccoli, sottili e occlusi. Come per le interazioni con i movimenti, le pressioni dei pulsanti dovrebbero ottenere un suono breve e tattile come un clic. Unpresses dovrebbe avere un suono click simile, ma con inclinazione alzata.
- Esempio: MRTK_ButtonPress.wav
- Esempio: MRTK_ButtonUnpress.wav
È difficile confermare visivamente un'azione di cattura o rilascio. La mano dell'utente spesso sarà nel modo di qualsiasi effetto visivo, e gli oggetti hard-bodied non dispongono di un analogico visivo reale di "afferramento". I suoni possono comunicare in modo efficace interazioni di cattura e rilascio riuscite.
- Le azioni di cattura dovrebbero avere un suono tattile breve, un po 'muffled che richiede l'idea di dita chiudendo intorno a un oggetto. A volte c'è anche un suono "chiosh" che porta al suono afferrante per comunicare il movimento della mano.
Esempio: MRTK_Move_Start.wav - Le azioni di rilascio dovrebbero ottenere un suono simile breve e tattile. Di solito è più basso del suono di afferramento e in ordine inverso, con un impatto e poi un "whoosh" per comunicare che l'oggetto si sta stabilendo in posizione.
Esempio: MRTK_Move_End.wav
Un'interazione di disegno deve ottenere un suono persistente e a ciclo continuo con volume determinato dal movimento della mano dell'utente. Dovrebbe essere silenzioso quando la mano dell'utente è ancora e più forte quando la mano si muove rapidamente.
Interazioni vocali
Le interazioni vocali spesso hanno elementi visivi sottili. Usare i suoni per rafforzare le fasi di interazione. È possibile usare suoni più tonali per distinguerli dai movimenti e dai suoni di manipolazione diretta.
- Usare un tono audio positivo per le conferme dei comandi vocali. I toni crescenti e i principali intervalli musicali sono efficaci.
- Usare un tono più breve e meno positivo per gli errori dei comandi vocali. Evitare suoni negativi. Usare invece un suono più percussivo e neutro per comunicare che l'applicazione sta passando dall'interazione.
- Se l'applicazione ha una parola di riattivazione, usare un tono breve e delicato all'avvio dell'ascolto del dispositivo. Usare un suono a ciclo sottile mentre l'applicazione è in ascolto.
Notifiche
Le notifiche segnalano modifiche dello stato dell'applicazione e altri eventi che l'utente non ha avviato. Le modifiche dello stato possono includere completamenti dei processi, messaggi e telefonate.
Nella realtà mista, gli oggetti a volte si spostano fuori dal campo di visualizzazione dell'utente. Associa oggetti animati in movimento con un suono spazializzato che dipende dal tipo di oggetto e dalla velocità del movimento.
- Consente di riprodurre un suono spazializzato alla fine di un'animazione per informare l'utente della nuova posizione dell'oggetto.
- Per i movimenti graduali, un suono "whoosh" durante il movimento aiuta l'utente a tenere traccia dell'oggetto.
I suoni di notifica dei messaggi possono essere uditi ripetutamente, a volte in rapida successione. È importante non distinguersi o sembrare duro. I suoni tonali positivi a medio intervallo sono efficaci.
- I suoni di chiamata in arrivo devono avere qualità simili a una suoneria del telefono cellulare. Questi suoni sono frasi musicali che suonano a ciclo finché l'utente non risponde alla chiamata.
- La connessione alla comunicazione vocale e la disconnessione devono avere un suono breve e tonale. Il suono di connessione deve essere un tono positivo per indicare una connessione riuscita. Il suono di disconnessione deve essere un suono neutro per indicare il completamento della chiamata.
Gestire la spazializzazione
La spazializzazione usa cuffie stereo o altoparlanti per inserire suoni nel mondo della realtà mista.
Quali suoni spazializzare
Un suono deve essere spazializzato quando è associato a un evento con una posizione spaziale. Sono inclusi l'interfaccia utente, le voci di intelligenza artificiale incorporate e gli indicatori visivi.
Spazializza gli elementi dell'interfaccia utente per includare lo "spazio" dell'utente limitando il numero di suoni stereo ascoltati. Le interazioni di manipolazione, ad esempio tocco, afferramento e rilascio, si sentono più naturali quando il feedback audio viene spazializzato. Si considerino le informazioni seguenti sull'attenuazione della distanza per questi elementi.
Spazializza gli indicatori visivi e le voci di intelligenza artificiale incorporate per informare gli utenti in modo intuitivo quando questi elementi non rientrano nel campo della visualizzazione.
Al contrario, evitare la spazializzazione per le voci di intelligenza artificiale senza viso e altri elementi che non dispongono di una posizione spaziale ben definita. La spazializzazione senza un elemento visivo correlato può distrarre gli utenti a pensare che non sia possibile trovare un elemento visivo.
La spazializzazione è dotata di un costo della CPU. Molte applicazioni hanno al massimo due suoni riprodotti contemporaneamente. Il costo della spazializzazione in questo caso è probabilmente trascurabile. È possibile usare il monitoraggio della frequenza dei fotogrammi MRTK per valutare l'impatto dell'aggiunta della spazializzazione.
Quando e come applicare l'attenuazione basata sulla distanza
Nel mondo fisico, i suoni più lontani sono più silenziosi. Il motore audio può modellare questa attenuazione in base alla distanza di origine. Usare l'attenuazione basata sulla distanza quando comunica informazioni pertinenti.
Le distanze da indicatori visivi, ologrammi animati e altri suoni informativi sono rilevanti per l'utente. Usare l'attenuazione basata sulla distanza per fornire in modo intuitivo segnali.
Regolare la curva di attenuazione per ogni fonte in modo da adattare le dimensioni degli spazi del mondo della realtà mista. La curva predefinita del motore audio è spesso destinata a spazi di grandi dimensioni (fino a mezzo chilometro).
Suoni che rafforzano le fasi progressive delle azioni dei pulsanti e altre interazioni non devono essere applicate. Gli effetti di rinforzo di questi suoni sono più importanti della comunicazione della distanza con il pulsante. Le variazioni possono distrarre, soprattutto con le tastiere, quando molti clic sui pulsanti possono essere ascoltati in successione.
Tecnologia di spazializzazione da usare
Con le cuffie o gli altoparlanti HoloLens, usare le tecnologie di spazializzazione basate sulla funzione di trasferimento (HRTF) correlate alla testa. Queste tecnologie modellano la propagazione del suono intorno alla testa nel mondo fisico. Anche quando una sorgente audio si trova all'estremità della testa, il suono si propaga all'orecchio distante con qualche attenuazione e ritardo. La panoramica dell'altoparlante si basa solo sull'attenuazione e applica l'attenuazione totale nell'orecchio sinistro quando i suoni si trovano sul lato destro e viceversa. Questa tecnica può essere scomoda per i listener "normali dell'udito" e inaccessibile per gli ascoltatori che sono difficili da sentire in un orecchio.