Panoramica di Windows Studio Effects (anteprima)

Windows Studio Effects usa l'intelligenza artificiale in dispositivi Windows selezionati con unità di elaborazione neurali compatibili per applicare effetti speciali alla fotocamera del dispositivo (attualmente supporta la fotocamera anteriore) o il microfono predefinito. Gli effetti di intelligenza artificiale supportati dalla NPU includono:

• Sfocatura sfondo
• Contatto oculare
• Inquadratura automatica
• Messa a fuoco vocale
• Luce verticale
• Filtri creativi
• Teleprompter contatto oculare

Elenco di Windows Studio Effectsdei miglioramenti dell'intelligenza artificiale.

Prerequisiti

• Windows 11 versione 22H2 o successiva (Build 22623.885+).
• Il dispositivo deve avere una NPU supportata e il produttore dell'hardware deve aver accodato il consenso esplicito installando il driver Windows Studio Effect nel sistema.

Come funziona Windows Studio Effects con l'hardware del dispositivo?

Windows Studio Effects sfrutta i modelli di intelligenza artificiale creati da Microsoft e compilati/ottimizzati per i dispositivi con un'unità di elaborazione neurale (NPU) per offrire effetti di intelligenza artificiale ad alta fedeltà e a batteria che riducono il carico sulla CPU e sulla GPU del dispositivo e offrono un'esperienza di intelligenza artificiale Microsoft attendibile che si adatta all'intero ecosistema Windows per tutti i dispositivi compatibili.

Windows Studio Effects standardizza le interfacce di controllo per la fotocamera e il microfono del dispositivo (api e proprietà del kernel streaming). Usando questa interfaccia di controllo, qualsiasi applicazione può:

• Individuare se gli effetti sono supportati
• Attivare o disattivare gli effetti in base alle esigenze
• Accedere ai metadati disponibili

Gli effetti vengono applicati a livello di hardware per la fotocamera (o il microfono), quindi una volta attivato un effetto in Windows Studio Effects, è attivato per impostazione predefinita per qualsiasi app che usa la fotocamera, anche se l'app non conosce l'effetto.

Altre informazioni sul funzionamento di questa funzionalità sono disponibili in Architettura di WindowsStudio Effects.

Come controllare Windows Studio Effects in Impostazioni

Windows Studio Effects può essere aperto dalla barra delle applicazioni (come visualizzato nell'immagine precedente), ma può anche essere controllato dal menu Impostazioni.

• Aprire Impostazioni>Bluetooth e dispositivi>Fotocamere, quindi selezionare dall'elenco Fotocamere connesse e aprire le impostazioni per la fotocamera.
• Vedrai un'anteprima del display della fotocamera anteriore e gli effetti della fotocamera elencati sotto di esso.

L'app Impostazioni fotocamera è una nuova funzionalità di Windows 11 che consente ai clienti di visualizzare tutte le fotocamere nel sistema, selezionando i valori "predefiniti" preferiti da un set di controlli per ogni fotocamera, per utente, per computer.

L'app Impostazioni fotocamera può regolare i controlli di base, ad esempio luminosità e contrasto, ma anche effetti di Windows Studio come sfocatura dello sfondo e contatto oculare.

L'app Impostazioni fotocamera supporta anche l'estendibilità tramite le app complementari fornite dai produttori di fotocamere. Queste app complementari consentono ai produttori di dispositivi di offrire la propria interfaccia utente personalizzata per regolare le impostazioni della fotocamera e/o per fornire controlli per ulteriori effetti personalizzati della fotocamera (ad esempio, un interruttore attivato/disattivato per un effetto "Funny Hat" fornito dal produttore della fotocamera).

Studio Effects Windows supportato per la fotocamera anteriore integrata, tra cui:

• Effetti di sfondo: due modelli supportati...
  • Sfocatura standard: un semplice effetto sfocatura gaussiano.
  • Sfocatura verticale : effetto sfocatura in stile bokeh. A seconda della funzionalità del dispositivo, può essere sottile o una sfocatura basata sulla profondità.
• Contatto oculare: due modelli supportati...
  • Standard : correzione sottile per un utente del dispositivo che guarda verso il basso dalla fotocamera allo schermo. *Non regola il movimento sinistro o destro degli occhi.
  • Teleprompter : correzione più aggressiva per un cliente che analizza gli occhi intorno allo schermo mentre legge il contenuto del teleprompter.
• Frame automatico: rileva una persona nel campo della fotocamera di visualizzazione e ritagli/zoom per mantenerli incorniciati.
• Luce verticale: migliorare la qualità dell'illuminazione sulla persona nel video in un ambiente scarsamente illuminato, rimuovere forte riflesso della luce dello schermo.
• Filtri creativi: filtri video per aggiungere un po' di divertimento e flare.

Studio Effects Windows supportato per il microfono integrato, tra cui:

• Messa a fuoco vocale: un effetto microfono progettato per filtrare il rumore di fondo, assicurandosi che la voce provenga chiaramente durante le videochiamate.

Architettura di Windows Studio Effects

Quando una fotocamera è consenso esplicito all'uso di Windows Studio Effects, il pacchetto di Windows Studio Effects viene concatenato alla fine della fotocamera. Ciò avviene in modo trasparente in modo che la fotocamera "reale" venga sostituita con una fotocamera "composita" costituita dalle funzionalità della fotocamera e dagli effetti di Intelligenza artificiale di Windows Studio. Il cliente finale vede ancora solo la fotocamera "reale", ma Windows Studio Effects è ora disponibile per conto di tale fotocamera.

La fotocamera "Reale" include proprietà Kernal Streaming (KS), ad esempio Luminosità, Contrasto e altre proprietà implementate da Microsoft, nonché qualsiasi proprietà del cliente implementata dal driver OEM (Device Manufacturer).

Poiché Windows Studio Effects è sempre l'ultimo elemento della catena, le applicazioni possono essere assicurate che se Windows Studio Effects è abilitato per una fotocamera, che le proprietà Blur background, Eye Contact e Automatic Frame KS implementate dalla fotocamera vengono fornite da Windows Studio Effects.

Quando la fotocamera non è consenso esplicito per l'uso di Windows Studio Effects, tutte le app che accedono alla fotocamera vedono solo le proprietà KS della fotocamera "Reale" (Luminosità, Contrasto e così via).

Quando la fotocamera è consenso esplicito per l'uso di Windows Studio Effects, tutte le app che accedono alla fotocamera possono visualizzare le proprietà KS della fotocamera "Reale", oltre alle proprietà KS di Windows Studio Effects che rappresentano effetti di intelligenza artificiale, ad esempio sfocatura dello sfondo, contatto oculare e così via.

Nel caso di una seconda implementazione della stessa proprietà KS inferiore nella catena (ad esempio, un DMFT dell'OEM implementa anche l'effetto sfocatura dello sfondo), tale implementazione rimarrà DISATTIVATa perché il valore predefinito per la proprietà Blur KS è OFF. Quando blur è attivato per la fotocamera, Windows Studio gestisce la richiesta internamente e non lo inoltra ad altri componenti (DMFT, driver AVStream e così via).

Questo approccio consente ai produttori di dispositivi (OEM, ad esempio Dell o Lenovo, e IHV, ad esempio Intel, AMD o NVIDIA) di implementare le proprie funzionalità di elaborazione della fotocamera all'interno dei DMFT o direttamente nella fotocamera prima che Windows Studio aggiunga le esperienze di intelligenza artificiale Windows standard.

Integrazione delle app con Windows Studio Effects

Ogni volta che un'applicazione usa LE API Windows per avviare il flusso della fotocamera, Windows imposta il valore corrente della proprietà Kernel Streaming (KS) in modo che corrisponda al valore predefinito specificato nelle impostazioni della fotocamera di Windows Studio Effects prima di passare il controllo all'applicazione. Se corrisponde al valore predefinito specificato in Impostazioni fotocamera, la fotocamera verrà sempre avviata in uno stato noto.

Quando si esegue l'integrazione con Windows Studio Effects, un'applicazione può:

• Accetta sempre il valore predefinito del sistema: l'utente determina le impostazioni di base (ad esempio. Luminosità) in Impostazioni fotocamera, applicando questo valore senza controlli in-app.
• Avvia all'impostazione predefinita del sistema, ma l'utente si adatta in tempo reale: l'utente può regolare le impostazioni della fotocamera durante l'uso dell'app (ad esempio un dispositivo di scorrimento Luminosità all'interno dell'app) senza modificare il valore predefinito del sistema. L'utente può scegliere di salvare l'impostazione della fotocamera in-app per stabilire una nuova impostazione predefinita.

Se l'applicazione ha già scritto un valore in una proprietà KS con un valore predefinito impostato anche dalla pagina Impostazioni prima di avviare il flusso, Windows ignora l'applicazione del valore predefinito dell'utente all'avvio del flusso. Ad esempio, se la luminosità predefinita dell'utente è impostata su 60, ma l'app imposta il valore corrente di luminosità su 65 prima di avviare il flusso, la fotocamera inizierà con luminosità a 65 anziché a 60.

Indipendentemente dall'esperienza offerta dall'app, è sempre consigliabile fornire un pulsante o un collegamento ipertestuale in-app per avviare l'app Impostazioni fotocamera. È possibile accedere alle impostazioni della fotocamera con questo collegamento: ms-settings

Le impostazioni della fotocamera per una fotocamera specifica possono essere avviate con questo formato di collegamento: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Vedi il repository github di Windows-Camera per un esempio di codice completo di un'app che interagisce con Windows Studio Effects tramite le API della fotocamera.

Frammento di codice di esempio per richiamare le impostazioni della fotocamera per una fotocamera specifica

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Questa opzione è disponibile in Windows 11 versione 22H2 e successive. Nelle versioni precedenti di Windows 11, richiamare questo ms-settings collegamento consentirà all'utente di accedere alla pagina delle impostazioni della fotocamera radice.

Applicare impostazioni aggiuntive della fotocamera

Dopo che il flusso della fotocamera è impostato su uno stato noto, un'applicazione è lieta di eseguire una query e applicare ulteriori configurazioni, scrivendo nuovi valori della proprietà KS nella fotocamera in base alle esigenze. Se un cliente usa un'app che non riconosce controlli fotocamera specifici (ad esempio, Luminosità o Sfocatura sfondo), le impostazioni per i controlli specificati dall'utente nelle impostazioni della fotocamera verranno comunque applicate all'app. Tuttavia, se un cliente usa un'app che riconosce tali controlli, l'app è in grado di modificare il valore corrente di tali controlli durante l'uso della fotocamera.

Le applicazioni non possono modificare il valore predefinito dei controlli. Questa precauzione garantisce che un'app non modifichi il comportamento di altre app che usano la fotocamera. Le impostazioni predefinite possono essere modificate solo dall'app Impostazioni fotocamera.

In Windows 11, versione 22H2, i clienti che hanno un dispositivo che supporta Windows Studio Effects possono attivare/disattivare gli effetti direttamente dalla pagina Impostazioni fotocamera, insieme ad altre impostazioni comuni per l'hardware della fotocamera.

Linee guida per il produttore dell'hardware Windows

I produttori di apparecchiature originali (OEM) che progettano hardware con le funzionalità più recenti di Windows 11 possono acconsentire esplicitamente all'uso di Windows Studio Effects.

Risoluzione dei problemi

L'app di Windows potrebbe avere funzionalità in-app esistenti che si sovrappongono agli effetti di intelligenza artificiale applicati alla fotocamera da Windows Studio Effects (ad esempio, sfocatura dello sfondo). Se l'app Impostazioni fotocamera non gestisce lo stato degli effetti forniti dalla fotocamera, la funzionalità in-app può non essere sincronizzata, causando problemi di esperienza utente.

Come evitare effetti sovrapposti

Si consideri un'app che offre una funzionalità sfocatura dello sfondo, in esecuzione in un sistema in cui la fotocamera supporta anche la proprietà KS blur di sfondo applicata da Windows Studio Effects e dall'app Impostazioni fotocamera.

Se il cliente ha attivato la sfocatura dello sfondo in Fotocamera Windows'app Impostazioni, l'effetto fornito dalla fotocamera verrà applicato all'avvio della fotocamera. Quindi, il controllo sfocatura in-app verrebbe visualizzato come OFF nonostante un effetto sfocatura chiaramente attivo o come ATTIVATO con una doppia sfocatura (sfocatura della fotocamera più l'effetto sfocatura dell'app), sprecare risorse.

Quando si esegue su un dispositivo supportato, è consigliabile sfruttare direttamente Windows Studio Effects per offrire effetti ad alta fedeltà con risorse di sistema inferiori e impatto sulla durata della batteria. In questo modo, quando un cliente interagisce con i controlli in-app, sincronizza direttamente le funzionalità di Windows Studio Effects della fotocamera stessa. Per informazioni su come configurare questa sincronizzazione ed evitare questo problema di sovrapposizione, vedere la sezione Integrazione delle app con Windows Studio Effects precedente.

Se l'app è in esecuzione in un dispositivo che supporta Windows Studio Effects, ma preferisci che gli effetti vengano applicati da un altro servizio di terze parti (o non applicato affatto), devi disattivare il conflitto di Windows Studio Effects.

Per disattivare Windows Studio Effects:

1. Verificare la presenza di proprietà KS sovrapposte.
2. Se sono presenti proprietà sovrapposte, impostarle su OFF all'avvio della fotocamera.

Ad esempio, se vuoi assicurarti che la funzionalità di sfocatura a livello di fotocamera sia disattivata, verifica se la fotocamera offre KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONe, in tal caso, assicurati che sia impostata su KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Impegno di Microsoft per l'IA responsabile

Per garantire che Windows Studio Effects sia affidabile, sicuro e creato in modo responsabile, usa modelli ampiamente valutati, guidati e sottoposti a training da test di equità durante lo sviluppo.

Inoltre, il set di dati utilizzato dai filtri Creativi include 3.000 ritratti disegnati a mano di utenti di varie età, sesso e razze, ognuno di essi disegnato per aderire a una guida di stile creata in base a uno studio delle preferenze utente. Per i filtri Teleprompter e Creative, è stata messa in considerazione la funzionalità del prodotto per le persone con caratteristiche visive uniche.

Risorse aggiuntive

• Gestire le fotocamere con le impostazioni della fotocamera in Windows 11: Supporto windows Studio Effects
• Vantaggi dei dispositivi con esperienze di intelligenza artificiale