Windows Copilot Runtime の概要
Windows 上の Microsoft Copilot スタックは、画期的な AI 環境を使用してユーザーをテスト、ビルド、リーチする機能を民主化し、開発者を制御します。 Windows のコパイロット は、Windows デスクトップにドッキングされたサイド バーとして表示され、ユーザーがオペレーティング システムで作業を行うのに役立ちます (Windows の設定の変更など)。 商用環境用に Windows でコパイロットを構成する方法の詳細については、「Windows でのコパイロットの管理」を参照してください。
Windows Copilot Runtime は、Phi Silica など、AI を利用するオペレーティング システム、大規模言語モデル (LLM) で見つかったものと同じ機能の多くを提供できる Microsoft Research によって作成された小規模言語モデル (SLM) の操作の新しい方法を導入していますが、よりコンパクトで効率的なため、Windows でローカルに実行できます。
開発者は、アプリを Recall や Studio Effects, などの AI を利用した Windows エクスペリエンスと統合したり、Windows Copilot Library discoverを介してオンデバイス モデルを利用する新しい API を活用したり、機械学習 (ML) モデルを検出したりして、Visual Studio Code のAI Toolkitを使用して独自のカスタマイズされたデータを微調整したり、ONNX Runtime、PyTorch、WebNN などのフレームワークを使用して独自の ML モデルを統合したり、DirectML を介してパフォーマンスとスケールを向上させるためにハードウェア アクセラレータにアクセスします。
Windows Copilot Runtime および Windows Copilot Library
AI を使用して Windows エクスペリエンスを改善および再定義する新しいイノベーションがあります。一部の AI イノベーションには Windows の使用に組み込まれており、アプリ開発者は自分のアプリ機能に統合することができます。 Windows アプリに AI を統合するこれらの新しい方法によって、次のような、すぐに使用できる AI に基づく機能と API の一覧である Windows Copilot Library が形成されます:
- Studio Effects: スタジオ効果: デバイス NPU 上で実行される AI 搭載の背景効果、アイ コンタクト補正、自動フレーミング、音声フォーカス、ぼかし、照明、およびクリエイティブ フィルターを使用して、Windows デバイスのカメラとオーディオ機能を強化し、高速なパフォーマンス速度を維持します。
- Recall: Windows デバイス上の過去のアクティビティを検索可能にして、中断した場所、アプリの使用、ドキュメントの編集、メールへの返信をしたかどうかを確認できます。
- Phi Silica: Windows アプリ SDK を使用して、アプリを自然言語処理タスク (チャット、数値演算、コード、推論) 用にデバイス上の Phi モデルに接続できるようにします。
- Text Recognition: 光学式文字認識 (OCR) を使用すると、画像やドキュメントからテキストを抽出できます。 PDF、書面、クラスルームのホワイト ボードの画像を編集可能なデジタル テキストに変換するなどのタスクを想定します。
- ライブ キャプション翻訳: 聴覚障碍のあるユーザーを含め、Windows のすべてのユーザーが、音声コンテンツがシステムの優先する言語とは異なる言語である場合でも、音声コンテンツのキャプションを表示することで、オーディオをより深く理解するのに役立ちます。
開発者は、Windows アプリ SDK の一部としてこれらの API にアクセスできます。
Windows Copilot Library のすぐに使用できる AI を活用した API に加えて、機械学習 (ML) モデルを使用してアプリを強化する方法に関するガイダンスがあります。 ここでは、次のようなトピックについて説明します。
- Windows アプリケーションで ML モデルを活用する方法
- Web 上のオープン ソース ML モデルがある場所
- Windows アプリで使用する ML モデルを最適化する方法
- 独自の顧客データを使用して ML モデルを微調整する方法
- AI 機能を使用してパフォーマンスを向上させるためにハードウェア アクセラレータを利用する方法
責任を持ち、サンプルを使用して主導する
サンプル ギャラリー、責任ある AI の使用ガイド、用語と概念の一部を展開するのに役立つ高度な FAQ を提供することで、Windows アプリケーションに AI を統合しようとする開発者をサポートするリソースも作成しました。
Windows 上の AI サンプル ギャラリー: Windows アプリに AI を統合する方法を示すサンプル。
Windows 上での責任ある生成 AI アプリケーションと機能の開発: Windows 上で AI を操作し、AI の責任を Windows アプリに組み込むのに役立つリソースとガイダンス。
Windows での AI の使用に関する FAQ: Windows コンテキストでの AI の使用に関連する用語と概念に関してよく寄せられる質問。"DirectML とは"、"ONNX とは"、"ORT とは"、"NPU とは"、"SLM とは"、"推論とは"、"微調整とは" など。