GPT-4 Turbo with Vision を使用した画像付きの Azure OpenAI エンタープライズチャット

[アーティクル]
09/03/2024

重要

この記事で説明する機能の一部は、プレビューでのみ使用できる場合があります。このプレビューはサービスレベルアグリーメントなしで提供されており、運用環境ではお勧めしません。特定の機能はサポート対象ではなく、機能が制限されることがあります。詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

この記事では、Azure OpenAI のビジョンモデルである GPT-4 Turbo with Vision に独自の画像データを提供する方法について説明します。 GPT-4 Turbo with Vision エンタープライズチャットを使用すると、モデルは独自の画像と画像メタデータに基づく取得拡張生成を使用して、よりカスタマイズされ、対象をさらに絞った回答を生成できます。

ヒント

この記事は、GPT-4 Turbo with Vision での独自の画像データの使用について取り上げます。テキストデータを使用してチャット Web アプリをデプロイする方法のチュートリアルについては、「エンタープライズチャット Web アプリをデプロイする」を参照してください。

前提条件

Azure サブスクリプション。無料で作成できます。
GPT-4 Turbo with Vision モデルがデプロイされた Azure OpenAI リソース。モデルデプロイの詳細については、リソースデプロイガイドを参照してください。
少なくとも Azure OpenAI リソースに対する Cognitive Services 共同作成者ロールが割り当てられていることを確認してください。
Azure AI Search リソース。「ポータルで Azure AI Search サービスを作成する」を参照してください。 Azure AI 検索リソースがない場合、このガイドで後ほどデータソースを追加するときに、リソースを作成するように求められます。
Azure OpenAI リソースと Azure AI Search リソースが接続として追加された AI Studio ハブ。

GPT-4 Turbo with Vision モデルをデプロイする

Azure AI Studio にサインインし、作業するハブを選択します。
左側のナビゲーションメニューで [AI サービス] を選択します。 [GPT-4 Turbo を試す] パネルを選択します。
gpt-4 ページで [展開] を選択します。表示されたウィンドウで、Azure OpenAI リソースを選択します。モデルバージョンとして vision-preview を選択します。
展開を選択します。
次に、新しいモデルのページに移動し、[プレイグラウンドで開く] を選択します。チャットプレイグラウンドに、[展開] ドロップダウンで作成した GPT-4 の展開が選択されます。

画像データソースを選択する

左側のウィンドウで、[データの追加] タブを選択し、[データソースの追加] を選択します。
表示されるウィンドウで、データソースオプションを選択します。各オプションは、画像でトレーニングされた Azure AI Search インデックスを使用し、チャットプレイグラウンドで取得拡張生成に使用できます。
- Azure AI 検索: 既存の Azure AI 検索インデックスがある場合、それをデータソースとして使用できます。
- Azure Blob Storage: [Azure Blob Storage] オプションは、大量の画像ファイルがあり、それらを 1 つずつ手動でアップロードしたくない場合に特に便利です。 Azure AI Studio で画像検索インデックスが生成されます。
- 画像ファイルとメタデータのアップロード: プレイグラウンドを使用して画像ファイルとメタデータをアップロードできます。このオプションは、画像ファイルの数が少ない場合に役立ちます。 Azure AI Studio で画像検索インデックスが生成されます。

画像データを追加する

既存の Azure AI 検索インデックスがある場合、それをデータソースとして使用できます。検索インデックスはまだないが、自分自身で作成する場合、GitHub の AI Search ベクトル検索リポジトリを利用して作成できます。このリポジトリからは、自分の画像ファイルでインデックスを作成するためのスクリプトが提供されます。

プレイグラウンドの [データソースの選択または追加] ウィンドウで、[Azure AI Search] を選択し、インデックスの詳細を入力します。デプロイと接続によってアカウントで使用量が発生することに同意するボックスをオンにします。
オプションで、[カスタムフィールドマッピングの使用] オプションを有効にします。これにより、検索インデックスのカスタムフィールドと、Azure OpenAI チャットモデルで取得拡張生成時に使用される標準フィールドの間のマッピングを制御できます。
[次へ] を選択し、次のページで設定を確認します。次に、保存して終了 を選択します。
チャットプレイグラウンドで、データが追加されたことを確認できます。

画像を含む既存の Azure Blob Storage コンテナーがある場合、それを使用して画像検索インデックスを作成できます。新しい Blob Storage アカウントを作成する場合は、Azure Blob Storage のクイックスタートドキュメントを参照してください。

Azure Blob Storage アカウントに、画像ファイルと、画像ファイルのパスとメタデータを含む JSON ファイルが含まれている必要があります。

メタデータ JSON ファイルには、次の制限があります。

ファイル名は、単語 metadata で始まります (すべて小文字で、スペースを含めることはできません)。
画像ファイル数は 10,000 ファイル以下にしてください。コンテナーに格納するファイルの方が多い場合、複数の JSON ファイルを作成し、それぞれに、この最大数までのファイルを格納できます。

JSON メタデータファイルは次のような形式にする必要があります。

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

画像ファイルと少なくとも 1 つのメタデータ JSON ファイルを Blob Storage コンテナーに入力したら、データソースとして Blob Storage を追加する用意が整います。

プレイグラウンドの [データソースの選択または追加] ウィンドウで、[Azure Blob Storage] を選択し、データソースの詳細を入力します。また、作成される Azure AI Search インデックスの名前も選択します。

Note

Azure OpenAI では、データにアクセスしてインデックスを付けるために、ストレージアカウントリソースと検索リソースの両方が必要です。データは、Azure サブスクリプションに安全に保存されます。

Azure AI Studio で、選択したストレージアカウントにデータを初めて追加する場合、クロスオリジンリソース共有 (CORS) を有効にするように求められることがあります。 Azure AI Studio と Azure OpenAI は、Azure Blob Storage アカウントにアクセスする必要があります。
デプロイと接続によってアカウントで使用量が発生することに同意するボックスをオンにします。 [次へ] を選択します。
入力した詳細を確認し、[保存して閉じる] を選択します。
これで、チャットプレイグラウンドでデータインジェストが進行中であることを確認できます。先に進む前に、状態の代わりにデータソースとインデックス名が表示されるまで待機します。