Windows Studio Effects の概要 (プレビュー)

  • [アーティクル]

Windows Studio Effects では、互換性のあるニューラル処理ユニット (NPU) を備えた一部の Windows デバイスで AI を利用して、デバイス カメラ (現在は前面カメラをサポート) または内蔵マイクに特殊効果を適用することができます。 NPU でサポートされる AI 効果は次のとおりです。

  • 背景ぼかし
  • アイ コンタクト
  • 自動フレーミング
  • 音声フォーカス
  • ポートレート ライト
  • クリエイティブ フィルター
  • アイ コンタクト テレプロンプター

WINDOWS Studio Effects の AI 拡張機能の一覧。

Windows11 タスク バーから開いた Windows Studio Effects スタジオ エフェクトを示すアニメーション

前提条件

  • Windows 11、バージョン 22H2 以降 (ビルド 22623.885 以降)。
  • デバイスにはサポートされている NPU が必要であり、ハードウェアの製造元がシステムに Windows スタジオ エフェクトのドライバーをインストールしてオプトインしている必要があります。

Windows Studio Effects はデバイス ハードウェアでどのように動作しますか？

Windows Studio Effects では、マイクロソフトによって構築され、ニューラル処理ユニット (NPU) を備えたデバイス用にコンパイル/最適化された AI モデルを活用して、忠実度が高く電池の消費が抑えられた AI 効果が提供されます。これにより、デバイスの CPU と GPU の負担が軽減され、互換性のあるデバイスの Windows エコシステム全体にわたる信頼できる Microsoft AI エクスペリエンスが提供されます。

Windows Studio Effects では、デバイス カメラとマイクのコントロール インターフェイス (カーネル ストリーミング プロパティと API) が標準化されています。 このコントロール インターフェイスを使用すると、任意のアプリケーションで次のことができます。

  • 効果がサポートされているかどうかを検出する
  • 必要に応じて効果をオンまたはオフにする
  • 使用可能なメタデータにアクセスする

効果はカメラ (またはマイク) のハードウェア レベルで適用されるため、Windows Studio Effects で効果をオンにすると、その効果がアプリで認識されていなくても、カメラを使用するアプリではその効果が既定でオンになります。

動作方法の詳細については、「Windows Studio Effects アーキテクチャ」をご覧ください。

[設定] で Windows Studio Effects を制御する方法

Windows Studio Effects は (上の画像に示されているように) タスク バーから開くことができますが、[設定] メニューから制御することもできます。

  • [設定]>[Bluetooth とデバイス]>[カメラ] を開き、[接続されたカメラ] のリストから選択して、そのカメラの設定を開きます。
  • 前面カメラ ディスプレイのプレビューが表示され、その下に [Camera Effects] (カメラ効果) が一覧表示されます。

Windows Studio Effects のカメラ設定のスクリーンショット

カメラ設定アプリは、Windows 11 の新機能です。これにより、顧客はカメラごと、ユーザーごと、マシンごとに、一連のコントロールから優先する "既定" 値を選択して、システム上のすべてのカメラを表示することができます。

カメラ設定アプリでは、明るさやコントラストなどの基本コントロールを調整できますが、背景のぼかしやアイ コンタクトなどの Windows スタジオ エフェクトも調整できます。

カメラ設定アプリでは、カメラの製造元が提供するコンパニオン アプリを使用した拡張性もサポートされています。 デバイスの製造元は、このようなコンパニオン アプリを使用して、カメラの設定を調整したり、追加のカスタム カメラ効果用のコントロール (カメラの製造元によって提供される "Funny Hat" 効果のオン/オフ トグルなど) を提供したりするための、独自のカスタム ユーザー インターフェイスを提供することができます。

内蔵前面カメラでサポートされている Windows Studio Effects には、次のものが含まれます。

  • 背景効果: ふたつのモデルがサポートされています。
    • 標準ブラー - 単純なガウスぼかし効果です。
    • ポートレート ブラー - 微妙なボケ スタイルのブラー効果です。 デバイス機能によっては、微妙なブラーまたは深度ベースのブラーである可能性があります。
  • アイ コンタクト: ふたつのモデルがサポートされています。
    • 標準 - カメラから下のスクリーンを見ているデバイス ユーザーに対する、微妙な修正です。 *目の左右の動きは調整されません。
    • テレプロンプター - テレプロンプター コンテンツを読み取る際に、スクリーン全体に目を動かして読む顧客に対する、より積極的な修正です。
  • 自動フレーミング: カメラの視野内の人物を検出し、クロップ/ズームして人物をフレーム内に維持します。
  • ポートレート ライト: 照明の弱い環境でビデオ内の人物の照明の品質を向上させて、強いスクリーンの光の反射を除去します。
  • クリエイティブ フィルター: 面白い要素やフレアを追加するビデオ フィルターです。

Note

容量の小さい NPU では、"標準ブラー" はサポートされるものの、コンピューティングの制限により "ポートレート ブラー" はサポートされない場合があります。 デバイスで標準ブラーとポートレート ブラーの両方がサポートされている場合は、[背景効果] のオン/オフ トグルと、[標準ブラー] か [ポートレート ブラー] かを選択できるラジオ ボタンが UI に表示されます。 システムで標準ブラーのみがサポートされている場合は、[背景のぼかし] のオン/オフ トグルが UI に表示されます。 さらに、容量の小さい NPU では、"標準" はサポートされるものの、"テレプロンプター" のアイ コンタクト効果はサポートされない場合があります。オン/オフ トグルと、サポートされている場合は [テレプロンプター] 効果を選択できるラジオ ボタンが UI で提供されます。

内蔵マイクでサポートされている Windows Studio Effects には、次のものが含まれます。

  • 音声フォーカス: バックグラウンド ノイズを除外するように設計されたマイク効果で、ビデオ通話中に音声が明瞭に伝わるようにします。

Windows Studio Effects アーキテクチャ

カメラで Windows スタジオ エフェクトの使用がオプトインされると、Windows Studio Effects の Studio Effects パッケージがカメラのチェーンの末尾に追加されます。 これは透過的に行われるため、"実際の" カメラは、カメラの機能と Windows スタジオの AI 効果で構成される、"複合" カメラに置き換えられます。 エンド カスタマーには引き続き "実際の" カメラのみが表示されますが、そのカメラの代わりに Windows Studio Effects を使用できるようになります。

"実際の" カメラには、カーネル ストリーミング (KS) プロパティ (明るさ、コントラスト、その他のマイクロソフトが実装したプロパティなど) と、デバイス製造元 (OEM) ドライバーによって実装された顧客プロパティが含まれます。

Windows Studio Effects は常にチェーンの最後の項目になるため、アプリケーションで Windows Studio Effects がカメラに対して有効になっている場合、カメラによって実装される背景のぼかし、アイ コンタクト、自動フレーミングの KS プロパティが、Windows Studio Effects によって確実に提供されます。

カメラで Windows Studio Effects の使用がオプトインされていない場合は、カメラにアクセスするすべてのアプリで、"実際の" カメラの KS プロパティ (明るさ、コントラストなど) のみが表示されます。

カメラで Windows Studio Effects の使用がオプトインされている場合は、カメラにアクセスするすべてのアプリで、AI 効果 (背景のぼかし、アイ コンタクトなど) を表す Windows Studio Effects の KS プロパティに加えて、"実際の" カメラの KS プロパティも表示することができます。

チェーンの下位に同じ KS プロパティのふたつ目の実装が行われた場合 (OEM の DMFT でも背景のぼかし効果が実装されるなど)、ブラー KS プロパティの既定値はオフであるため、その実装はオフのままになります。 カメラのブラーがオンになっている場合は、Windows スタジオによりその要求が内部的に処理され、チェーンの他のコンポーネント (DMFT、AVStream ドライバーなど) には転送されません。

このアプローチでは、デバイスの製造元 (Dell、Lenovo などの OEM や、Intel、AMD、NVIDIA などの IHV) は、Windows スタジオにより標準の Windows AI エクスペリエンスが追加される前に、独自のカメラ処理機能を DMFT 内に実装するか、カメラに直接実装することができます。

Windows Studio Effects との統合

アプリケーションで Windows API を使用してカメラ ストリームが開始されるたびに、Windows では、アプリケーションに制御を渡す前に、Windows Studio Effects のカメラ設定で指定された既定値と一致するように、カーネル ストリーミング (KS) プロパティの現在の値が設定されます。 カメラ設定で指定された既定値と一致させることで、カメラは常に既知の状態で起動します。

Windows Studio Effects と統合すると、アプリケーションでは次のことができます。

  • 常にシステムの既定値を受け入れる - ユーザーがカメラ設定で基本設定 (明るさなど) を決定すると、アプリ内での制御を必要とせずにこの値が適用されます。
  • システムの既定値から開始し、ユーザーがリアルタイムで調整する - ユーザーは、システムの既定値を変更せずに、アプリの使用中にカメラ設定 (つまり、アプリ内の明るさスライダー) を調整できます。 ユーザーは、アプリ内のカメラ設定を保存して、新しい既定の設定を確立することもできます。

[設定] ページからも既定値が設定されている KS プロパティに対して、ストリームが開始される前にアプリケーションにより値が既に書き込まれている場合は、ストリームの開始時に Windows でユーザーの既定値の適用がスキップされます。 たとえば、ユーザーの既定の明るさが 60 に設定されていて、ストリームが開始される前にアプリで現在の明るさの値が 65 に設定された場合、カメラは 60 ではなく 65 の明るさで起動されます。

Note

一部のコントロールがアプリ エクスペリエンスに不可欠な部分であり、アプリで常にシステムの既定値をオーバーライドする必要がある場合があります。 たとえば、Microsoft Teams では、背景効果でこの動作が適用されます。 ユーザーがカメラ設定ページでグローバルにブラーを有効または無効にしたかどうかにかかわらず、Teams で通話に参加すると背景効果コントロールが表示され、そのアプリ UI で選択した値が適用されます。 内部的には、Windows スタジオの NPU で高速化された背景セグメント化が Teams によりインテリジェントに活用されて、背景のぼかし/置換効果が適用されます。

アプリで提供されるエクスペリエンスに関係なく、カメラ設定アプリを起動するためのアプリ内のボタン/ハイパーリンクを常に提供することをお勧めします。 カメラ設定には、次のリンクを使用してアクセスできます: ms-settings

特定のカメラのカメラ設定は、次のリンク形式を使用して起動できます: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

カメラ API を介して Windows Studio Effects と対話するアプリの完全なコード サンプルについては、Windows カメラ github リポジトリを参照してください

特定のカメラのカメラ設定を起動するサンプル コード スニペット

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Windows 11 バージョン 22H2 以降で利用できます。 これより前のバージョンの Windows 11 では、この ms-settings リンクを呼び出すと、ユーザーはルートのカメラ設定ページに移動します。

追加のカメラ設定の適用

カメラ ストリームが既知の状態に設定された後は、アプリケーションで自由にクエリを実行して追加の構成を適用し、必要に応じて新しい KS プロパティ値をカメラに書き込むことができます。 特定のカメラ コントロール (明るさや背景のぼかしなど) が認識されないアプリを顧客が使用している場合は、カメラ設定でユーザーが指定したそれらのコントロールの設定が引き続きアプリに適用されます。 ただし、これらのコントロールが認識されるアプリを顧客が使用している場合は、アプリでカメラの使用中にそれらのコントロールの現在の値を変更できます。

アプリケーションでは、コントロールの既定値を変更することはできません。 この予防措置により、ひとつのアプリによってカメラを使用する他のアプリの動作が変更されないようになっています。 既定値は、カメラ設定アプリからのみ変更できます。

Windows 11 バージョン 22H2 では、Windows Studio Effects がサポートされているデバイスを持っている顧客は、カメラ ハードウェアの他の一般的な設定と共に、カメラ設定ページから直接効果のオン/オフを切り替えることができます。

Windows ハードウェアの製造元のガイダンス

最新の Windows 11 機能を備えたハードウェアを設計している相手先ブランド供給 (OEM) で、Windows Studio Effects の使用をオプトインできます。

トラブルシューティング

Windows アプリに、Windows Studio Effects (背景のぼかしなど) によってカメラに適用される AI 効果と重複する既存のアプリ内機能がある場合があります。 カメラで提供される効果の状態をカメラ設定アプリで管理していない場合は、アプリ内機能が同期されず、ユーザー エクスペリエンスの問題が発生する可能性があります。

効果の重複を回避する方法

Windows Studio Effects とカメラ設定アプリによって適用される背景のぼかしの KS プロパティもカメラでサポートされているシステムで実行される、背景のぼかし機能を提供するアプリについて考えてみましょう。

顧客が Windows カメラ設定アプリで背景のぼかしをオンにすると、カメラの起動時にカメラで提供される効果が適用されます。 その後、アプリ内のブラー コントロールでは、ブラー効果が明確にオンになっているにもかかわらずオフと表示されるか、重複したブラー (カメラのブラーとアプリのブラー効果) を使用してオンと表示され、リソースが無駄になります。

サポートされているデバイスで実行する場合は、Windows Studio Effectsを直接活用して、システム リソースとバッテリー残量への影響が小さく、忠実度の高い効果を提供することをお勧めします。 これにより、顧客がアプリ内コントロールを操作すると、カメラ自体の Windows Studio Effects 機能に直接同期されます。 この同期を設定して、この重複の問題を回避するための手順については、上記の「Windowsとのアプリの統合 Studio Effects」セクションをご覧ください。

Windows Studio Effects がサポートされているデバイスでアプリが実行されていて、別のサード パーティのサービスによる効果を適用する (または、効果をまったく適用しない) 場合は、競合する Windows Studio Effects をオフにする必要があります。

Windows Studio Effects をオフにするには:

  1. 重複する KS プロパティがあることを確認します。
  2. 重複するプロパティがある場合は、カメラの起動時にオフに設定します。

たとえば、カメラ レベルのブラー機能がオフになっていることを確認する場合は、カメラで KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION が提供されているかどうかをチェックし、提供されている場合は KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF に設定されていることを確認します。

責任ある AI に対する Microsoft のコミットメント

Windows Studio Effects が信頼性、安全性、責任を持って構築されていることを保証するために、開発全体を通じて公平性テストによって広範に評価、指導、トレーニングされたモデルが使用されています。

さらに、クリエイティブ フィルターで使用されるデータ セットには、さまざまな年齢、性別、人種のユーザーの 3,000 枚の手描きのポートレートが含まれており、それぞれがユーザー設定の調査に基づいて作成されたスタイル ガイドに従って描画されます。 テレプロンプターとクリエイティブフィルター には、視覚障がい者や弱視の方を含め、全ての人が快適に利用できるよう、様々な機能が搭載されています。

その他のリソース