クイックスタート: AI チャットで画像を使用する

このチャット セッションでは、入力した画像を解釈できるようにアシスタントに指示します。

1. まず、GPT-4 Turbo with Vision デプロイをドロップダウンから選択します。

2. [アシスタントのセットアップ] ペインで、アシスタントをガイドするシステム メッセージを入力します。 既定のシステム メッセージは、"あなたは、情報の検索を支援する AI アシスタントです" です。アップロードする画像またはシナリオに合わせてシステム メッセージを調整できます。

   Note

   モデルから役に立たない応答が返されないように、タスクに特化したシステム メッセージに更新することをお勧めします。

3. 変更を保存し、システム メッセージの更新を確定するか問われたら、[続行] を選択します。

4. [チャット セッション] ウィンドウで、"この画像を説明して" などのテキスト プロンプトを入力し、添付ボタンで画像をアップロードします。 ユース ケースには別のテキスト プロンプトを使用できます。 次に、[送信] を選択します。

5. 出力を確認します。 理解を深めるため、画像の分析に関連するフォローアップの質問をすることを検討してください。

GPT-4 Turbo with Vision では、Azure AI サービスのカスタマイズされた拡張機能への排他的アクセスを提供します。 Azure AI Vision と組み合わせると、画像内の表示可能なテキストとオブジェクトの場所に関するより詳細な情報がチャット モデルに提供され、チャットのエクスペリエンスが向上します。

光学式文字認識 (OCR) 統合により、モデルでは、高密度のテキスト、変換された画像、大量の財務ドキュメントに対して、より高品質の応答を生成できます。 また、より広い範囲の言語もカバーされます。

オブジェクト グラウンディング統合により、データ分析とユーザー操作に新しいレイヤーが追加されます。この機能では、処理する画像内の重要な要素を視覚的に区別して強調表示できるためです。

このチャット セッションでは、強化された Vision モデルの機能を試します。

1. まず、GPT-4 Turbo with Vision デプロイをドロップダウンから選択します。

2. チャット エクスペリエンスの右側にある [構成] タブで、[拡張機能] セクションの下にある [Vision] オプションをオンにします。

3. 強化された Vision API を試すには、Computer Vision リソースを選択する必要があります。 リソースを選択し、[保存] を選択します。

4. [アシスタントのセットアップ] ペインで、アシスタントをガイドするシステム メッセージを入力します。 既定のシステム メッセージは、"あなたは、情報の検索を支援する AI アシスタントです" です。アップロードする画像またはシナリオに合わせてシステム メッセージを調整できます。

   Note

   モデルから役に立たない応答が返されないように、タスクに特化したシステム メッセージに更新することをお勧めします。

5. 変更を保存し、システム メッセージの更新を確定するか問われたら、[続行] を選択します。

6. [チャット セッション] ウィンドウで、"この画像を説明して" などのテキスト プロンプトを入力し、添付ボタンで画像をアップロードします。 ユース ケースには別のテキスト プロンプトを使用できます。 次に、[送信] を選択します。

7. 画像の中で確認できるテキストとオブジェクトの場所に関する詳細な情報を含む応答が届くはずです。 理解を深めるため、画像の分析に関連するフォローアップの質問をすることを検討してください。

GPT-4 Turbo with Vision では、Azure AI サービスのカスタマイズされた拡張機能への排他的アクセスを提供します。 ビデオ プロンプト統合では、Azure AI Vision ビデオ検索を使用して、ビデオから一連のフレームをサンプリングし、ビデオで音声のトランスクリプトを作成します。 これで、AI モデルによってビデオ コンテンツに関する概要と回答を提供できます。

1. まず、GPT-4 Turbo with Vision デプロイをドロップダウンから選択します。

2. チャット エクスペリエンスの右側にある [構成] タブで、[拡張機能] セクションの下にある [Vision] オプションをオンにします。

3. 強化された Vision API を試すには、Computer Vision リソースを選択する必要があります。 リソースを選択し、[保存] を選択します。

4. [アシスタントのセットアップ] ペインで、アシスタントをガイドするシステム メッセージを入力します。 既定のシステム メッセージは、"あなたは、情報の検索を支援する AI アシスタントです" です。アップロードする動画またはシナリオに合わせてシステム メッセージを調整できます。

   Note

   モデルから役に立たない応答が返されないように、タスクに特化したシステム メッセージに更新することをお勧めします。

5. 変更を保存し、システム メッセージの更新を確定するか問われたら、[続行] を選択します。

6. チャット セッション ウィンドウに、"ブランド、テクノロジ、人に注意し、このビデオを詳しく説明してください" など、 このビデオに関する質問を入力します。ユース ケースには別のテキスト プロンプトを使用できます。 添付ボタンを使用してビデオをアップロードし、[送信] を選択します。

   Note

   チャット プレイグラウンドでは現在のところ、3 分未満のビデオのみサポートされています。

7. ビデオを説明する応答が届くはずです。 理解を深めるため、ビデオの分析に関連するフォローアップの質問をすることを検討してください。

1. quickstart.py の内容を次のコードで置き換えます。

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. 次の変更を行います。

   1. エンドポイント URL とキーを適切なフィールドに入力します。
   2. 適切なフィールドに GPT-4 Turbo with Vision デプロイ名を入力します。
   3. "image" フィールドの値を画像の URL に変更します。

      ヒント

      URL ではなく、Base 64 でエンコードされた画像データを使うこともできます。 詳細については、GPT-4 Turbo with Vision の攻略ガイドに関するページを参照してください。

3. python コマンドを使用してアプリケーションを実行します。

   python quickstart.py
   

GPT-4 Turbo with Vision では、Azure AI サービスのカスタマイズされた拡張機能への排他的アクセスを提供します。 Azure AI Vision と組み合わせると、画像内の表示可能なテキストとオブジェクトの場所に関するより詳細な情報がチャット モデルに提供され、チャットのエクスペリエンスが向上します。

光学式文字認識 (OCR) 統合により、モデルでは、高密度のテキスト、変換された画像、大量の財務ドキュメントに対して、より高品質の応答を生成できます。 また、より広い範囲の言語もカバーされます。

オブジェクト グラウンディング統合により、データ分析とユーザー操作に新しいレイヤーが追加されます。この機能では、処理する画像内の重要な要素を視覚的に区別して強調表示できるためです。

1. quickstart.py の内容を次のコードで置き換えます。

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
   data = {
       "model": "gpt-4-vision-preview",
       "enhancements": {
           "ocr": {
             "enabled": True
           },
           "grounding": {
             "enabled": True
           }
       },
       "dataSources": [
       {
           "type": "AzureComputerVision",
           "parameters": {
               "endpoint": "<your_computer_vision_endpoint>",
               "key": "<your_computer_vision_key>"
           }
       }],
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", 
           "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url", 
                   "image_url": {
                       "url" : "<image URL>"
                   }
               }
           ]} 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. 次の変更を行います。

   1. 適切なフィールドに GPT-4 Turbo with Vision デプロイ名を入力します。
   2. Computer Vision のエンドポイント URL とキーを適切なフィールドに入力します。
   3. "image" フィールドの値を画像の URL に変更します。

      ヒント

      URL ではなく、Base 64 でエンコードされた画像データを使うこともできます。 詳細については、GPT-4 Turbo with Vision の攻略ガイドに関するページを参照してください。

3. python コマンドを使用してアプリケーションを実行します。

   python quickstart.py
   

ビデオ プロンプトの統合は、このクイックスタートの範囲外です。 チャット入力候補のビデオ プロンプトをプログラミングで設定する詳しく方法については、「GPT-4 Turbo with Vision 攻略ガイド」を参照してください。

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

1. quickstart.py の内容を次のコードで置き換えます。

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. 次の変更を行います。

   1. 適切なフィールドに GPT-4 Turbo with Vision デプロイの名前を入力します。
   2. "url" フィールドの値を画像の URL に変更します。

      ヒント

      URL ではなく、Base 64 でエンコードされた画像データを使うこともできます。 詳細については、GPT-4 Turbo with Vision の攻略ガイドに関するページを参照してください。

3. python コマンドを使用してアプリケーションを実行します。

   python quickstart.py
   

GPT-4 Turbo with Vision では、Azure AI サービスのカスタマイズされた拡張機能への排他的アクセスを提供します。 Azure AI Vision と組み合わせると、画像内の表示可能なテキストとオブジェクトの場所に関するより詳細な情報がチャット モデルに提供され、チャットのエクスペリエンスが向上します。

光学式文字認識 (OCR) 統合により、モデルでは、高密度のテキスト、変換された画像、大量の財務ドキュメントに対して、より高品質の応答を生成できます。 また、より広い範囲の言語もカバーされます。

オブジェクト グラウンディング統合により、データ分析とユーザー操作に新しいレイヤーが追加されます。この機能では、処理する画像内の重要な要素を視覚的に区別して強調表示できるためです。

1. quickstart.py の内容を次のコードで置き換えます。

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       extra_body={
           "dataSources": [
               {
                   "type": "AzureComputerVision",
                   "parameters": {
                       "endpoint": "<your_computer_vision_endpoint>",
                       "key": "<your_computer_vision_key>"
                   }
               }],
           "enhancements": {
               "ocr": {
                   "enabled": True
               },
               "grounding": {
                   "enabled": True
               }
           }
       },
       max_tokens=2000
   )
   
   print(response)
   

2. 次の変更を行います。

   1. 適切なフィールドに GPT-4 Turbo with Vision デプロイ名を入力します。
   2. Computer Vision のエンドポイント URL とキーを適切なフィールドに入力します。
   3. "url" フィールドの値を画像の URL に変更します。

      ヒント

      URL ではなく、Base 64 でエンコードされた画像データを使うこともできます。 詳細については、GPT-4 Turbo with Vision の攻略ガイドに関するページを参照してください。

3. python コマンドを使用してアプリケーションを実行します。

   python quickstart.py
   

ビデオ プロンプトの統合は、このクイックスタートの範囲外です。 チャット入力候補のビデオ プロンプトをプログラミングで設定する詳しく方法については、「GPT-4 Turbo with Vision 攻略ガイド」を参照してください。