Краткое руководство. Использование GPT-4 Turbo с распознаванием изображений и видео с помощью Службы Azure OpenAI - Azure OpenAI

Начните изучать GPT-4 Turbo с возможностями визуального зрения с использованием подхода без кода с помощью Azure OpenAI Studio.

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

Примечание.

В настоящее время не поддерживается отключение фильтрации содержимого для модели GPT-4 Turbo с моделью визуального зрения.

Перейдите в Azure OpenAI Studio

Перейдите в Azure OpenAI Studio и войдите с учетными данными, связанными с ресурсом Azure OpenAI. Во время или после рабочего процесса входа выберите соответствующий каталог, подписку Azure и ресурс Azure OpenAI.

В разделе "Управление" выберите "Развертывания" и создайте GPT-4 Turbo с развертыванием визуального зрения, выбрав имя модели " gpt-4" и версию модели "vision-preview". Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.

В разделе "Детская площадка" выберите "Чат".

Тестовая площадка

На этой странице можно быстро итерировать и экспериментировать с возможностями модели.

Общие сведения о настройке помощника, сеансах чата, параметрах и панелях см. в кратком руководстве по чату.

Запуск сеанса чата для анализа изображений или видео

Запросы на изображение

В этом сеансе чата вы указываете помощнику помочь в понимании входных изображений.

Чтобы начать, выберите GPT-4 Turbo с развертыванием визуального зрения в раскрывающемся списке.
В области настройки помощника предоставьте системное сообщение для руководства помощника. Системное сообщение по умолчанию: "Вы являетесь помощником по искусственному интеллекту, который помогает людям находить информацию". Вы можете адаптировать системное сообщение к изображению или сценарию, который вы отправляете.

Примечание.

Рекомендуется обновить системное сообщение для конкретной задачи, чтобы избежать ненужных ответов от модели.
Сохраните изменения и при появлении запроса на подтверждение обновления системного сообщения нажмите кнопку "Продолжить".
В области сеансов чата введите текстовый запрос, например "Описание этого изображения", и отправьте изображение с помощью кнопки вложения. Вы можете использовать другой текстовый запрос для вашего варианта использования. Затем нажмите кнопку "Отправить".
Просмотрите предоставленные выходные данные. Рассмотрите возможность задавать дополнительные вопросы, связанные с анализом изображения, чтобы узнать больше.

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию REST API Azure OpenAI для развертывания и использования GPT-4 Turbo с моделью визуального распознавания.

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Python 3.8 или более поздней версии.
Следующие библиотеки Python: requests, json.
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

Примечание.

В настоящее время не поддерживается отключение фильтрации содержимого для модели GPT-4 Turbo с моделью визуального зрения.

Получение ключа и конечной точки

Чтобы успешно вызвать API Azure OpenAI, вам потребуется следующая информация о ресурсе Azure OpenAI:

«Переменная»	Имя.	Значение
Конечная точка	`api_base`	Значение конечной точки находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Вы также можете найти конечную точку на странице "Развертывания" в Azure AI Studio. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
Ключ	`api_key`	Значение ключа также находится в разделе "Ключи" и "Конечная точка" для ресурса в портал Azure. Azure создает два ключа для ресурса. Можно использовать любое значение.

Перейдите к своему ресурсу на портале Azure. На панели навигации выберите "Ключи" и "Конечная точка " в разделе "Управление ресурсами". Скопируйте значение конечной точки и значение ключа доступа. Можно использовать значение KEY 1 или KEY 2 . Наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

Замените содержимое quickstart.py следующим кодом.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Внесите следующие изменения:
1. Введите URL-адрес конечной точки и ключ в соответствующих полях.
2. Введите имя развертывания GPT-4 Turbo в соответствующем поле.
3. Измените значение "image" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к развертыванию и использованию GPT-4 Turbo с моделью Визуального распознавания с помощью пакета SDK Для Python Для Azure OpenAI.

Исходный код библиотеки | Пакет (PyPi) |

Необходимые компоненты

Подписка Azure. Создайте ее бесплатно.
Python 3.8 или более поздней версии.
Следующие библиотеки Python: os
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

Настройка

Установите клиентную библиотеку OpenAI Python с помощью следующих компонентов:

pip install openai

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение

ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: https://docs-test-001.openai.azure.com/.

API-KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Имя переменной	Значение
`ENDPOINT`	Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать `KEY1` или `KEY2`.

Перейдите к своему ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

Внимание

Если вы используете ключ API, сохраните его в другом месте, например в Azure Key Vault. Не включайте ключ API непосредственно в код и никогда не публикуйте его.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

Замените содержимое quickstart.py следующим кодом.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив команду python:
```
python quickstart.py
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию пакета SDK Для JavaScript OpenAI для развертывания и использования GPT-4 Turbo с моделью Визуального распознавания.

Этот пакет SDK предоставляется OpenAI с определенными типами Azure, предоставляемыми Azure.

Справочная документация | Исходный код библиотеки | Пакет (npm) | Примеры

Необходимые компоненты

подписка Azure — создайте бесплатную учетную запись.
LTS версии Node.js
Azure CLI , используемый для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
Ресурс Azure OpenAI, созданный в поддерживаемом регионе (см. раздел "Доступность региона"). Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение

ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: https://docs-test-001.openai.azure.com/.

API-KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Имя переменной	Значение
`ENDPOINT`	Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать `KEY1` или `KEY2`.

Перейдите к своему ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

Внимание

Если вы используете ключ API, сохраните его в другом месте, например в Azure Key Vault. Не включайте ключ API непосредственно в код и никогда не публикуйте его.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание приложения Node

В окне консоли (например, cmd, PowerShell или Bash) создайте новый каталог для приложения и перейдите в него. Затем выполните npm init команду, чтобы создать приложение узла с package.json файлом.

npm init

Установка клиентской библиотеки

Установите клиентские библиотеки с помощью следующих компонентов:

npm install openai @azure/identity

Файл package.json приложения будет обновлен с помощью зависимостей.

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files и задайте URL-адрес изображения в переменных среды.

Microsoft Entra ID
Ключ API

Замените содержимое quickstart.js следующим кодом.

const AzureOpenAI = require('openai').AzureOpenAI;
const { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} = require('@azure/identity');

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages() {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion) {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив следующую команду:
```
node quickstart.js
```

Замените содержимое quickstart.js следующим кодом.

const { AzureOpenAI } = require("openai");

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

function getClient() {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages() {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion) {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Запустите приложение, выполнив следующую команду:
```
node quickstart.js
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к использованию пакета SDK Для JavaScript OpenAI для развертывания и использования GPT-4 Turbo с моделью Визуального распознавания.

Этот пакет SDK предоставляется OpenAI с определенными типами Azure, предоставляемыми Azure.

Справочная документация | Исходный код библиотеки | Пакет (npm) | Примеры

Необходимые компоненты

подписка Azure — создайте бесплатную учетную запись.
LTS версии Node.js
TypeScript
Azure CLI , используемый для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
Ресурс Azure OpenAI, созданный в поддерживаемом регионе (см. раздел "Доступность региона"). Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.

Примечание.

Эта библиотека поддерживается OpenAI. Ознакомьтесь с журналом выпуска, чтобы отслеживать последние обновления библиотеки.

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение

ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: https://docs-test-001.openai.azure.com/.

API-KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Имя переменной	Значение
`ENDPOINT`	Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать `KEY1` или `KEY2`.

Перейдите к своему ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

Внимание

Если вы используете ключ API, сохраните его в другом месте, например в Azure Key Vault. Не включайте ключ API непосредственно в код и никогда не публикуйте его.

Дополнительные сведения о безопасности служб ИИ см. в статье "Проверка подлинности запросов к службам ИИ Azure".

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание приложения Node

В окне консоли (например, cmd, PowerShell или Bash) создайте новый каталог для приложения и перейдите в него. Затем выполните npm init команду, чтобы создать приложение узла с package.json файлом.

npm init

Установка клиентской библиотеки

Установите клиентские библиотеки с помощью следующих компонентов:

npm install openai @azure/identity

Файл package.json приложения будет обновлен с помощью зависимостей.

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files и задайте URL-адрес изображения в переменных среды.

Microsoft Entra ID
Ключ API

Создайте quickstart.ts и вставьте следующий код.

import { AzureOpenAI } from "openai";
import { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} from "@azure/identity";
import type {
  ChatCompletion,
  ChatCompletionCreateParamsNonStreaming,
} from "openai/resources/index";

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages(): ChatCompletionCreateParamsNonStreaming {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion: ChatCompletion): Promise<void> {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Создайте приложение с помощью следующей команды:
```
tsc
```
Запустите приложение, выполнив следующую команду:
```
node quickstart.js
```

Создайте quickstart.ts и вставьте следующий код.

import { AzureOpenAI } from "openai";
import type {
  ChatCompletion,
  ChatCompletionCreateParamsNonStreaming,
} from "openai/resources/index";

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages(): ChatCompletionCreateParamsNonStreaming {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion: ChatCompletion): Promise<void> {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Внесите следующие изменения:
1. Введите имя GPT-4 Turbo с развертыванием Визуального зрения в соответствующем поле.
2. Измените значение "url" поля на URL-адрес изображения.
  
  Совет
  
  Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по GPT-4 Turbo с руководством по визуальному представлению.
Создайте приложение с помощью следующей команды:
```
tsc
```
Запустите приложение, выполнив следующую команду:
```
node quickstart.js
```

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Используйте эту статью, чтобы приступить к работе с пакетом SDK для Azure OpenAI .NET для развертывания и использования GPT-4 Turbo с моделью визуального распознавания.

Необходимые компоненты

Подписка Azure. Вы можете создать бесплатную учетную запись.
Пакет SDK для .NET 8.0
Ресурс службы Azure OpenAI с GPT-4 Turbo с развернутой моделью визуального распознавания. Доступность модели GPT-4 и GPT-4 Turbo Preview для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

Настройка

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Имя переменной Значение

AZURE_OPENAI_ENDPOINT Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: https://docs-test-001.openai.azure.com/.

AZURE_OPENAI_API_KEY Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать KEY1 или KEY2.

Имя переменной	Значение
`AZURE_OPENAI_ENDPOINT`	Конечная точка службы можно найти в разделе "Ключи" и "Конечная точка" при изучении ресурса из портал Azure. Кроме того, можно найти конечную точку на странице "Развертывания " в Azure AI Studio. Пример конечной точки: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Это значение можно найти в разделе Ключи и конечная точка при просмотре ресурса на портале Azure. Вы можете использовать `KEY1` или `KEY2`.

Перейдите к своему ресурсу на портале Azure. Конечную точку и ключи можно найти в разделе Управление ресурсами. Скопируйте конечную точку и ключ доступа, так как требуется для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Создание приложения .NET

Создайте приложение .NET с помощью dotnet new команды:
```
dotnet new console -n OpenAISpeech
```
Перейдите в каталог нового приложения:
```
cd OpenAISpeech
```

Установка клиентской библиотеки

Установите клиентская Azure.OpenAI библиотека:

dotnet add package Azure.AI.OpenAI

Обновление кода приложения

Замените содержимое program.cs следующим кодом и обновите значения заполнителей собственными.

using Azure;
using Azure.AI.OpenAI;
using Azure.Identity;
using OpenAI.Chat; // Required for Passwordless auth

var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT");
var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY");
// var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
var deploymentName = "gpt-4"; // Default name, update with your own if needed

var openAIClient = new AzureOpenAIClient(endpoint, credentials);
var chatClient = openAIClient.GetChatClient(deploymentName);

var imageUri = "YOUR_IMAGE_URL";

List<ChatMessage> messages = [
    new UserChatMessage(
        ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"),
        ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png"))
];

ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages);

Console.WriteLine($"[ASSISTANT]:");
Console.WriteLine($"{chatCompletion.Content[0].Text}");

Внимание

Для рабочей среды хранение и доступ к учетным данным с помощью безопасного метода, например Azure Key Vault. Дополнительные сведения о безопасности учетных данных см. в разделе "Безопасность служб искусственного интеллекта Azure".

Запустите приложение с помощью dotnet run команды или кнопки запуска в верхней части Visual Studio:
```
dotnet run
```

Приложение создает звуковой файл в расположении, указанном для переменной speechFilePath . Воспроизводите файл на устройстве, чтобы услышать созданный звук.

Очистка ресурсов

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы.

Поделиться через

Краткое руководство. Использование изображений в чатах ИИ

Необходимые компоненты

Перейдите в Azure OpenAI Studio

Тестовая площадка

Запуск сеанса чата для анализа изображений или видео

Очистка ресурсов

Необходимые компоненты

Получение ключа и конечной точки

Создание приложения Python

Очистка ресурсов

Необходимые компоненты

Настройка

Получение ключа и конечной точки

Переменные среды

Создание приложения Python

Очистка ресурсов

Необходимые компоненты

Получение ключа и конечной точки

Переменные среды

Создание приложения Node

Установка клиентской библиотеки

Создание нового приложения JavaScript для запросов изображений

Очистка ресурсов

Необходимые компоненты

Получение ключа и конечной точки

Переменные среды

Создание приложения Node

Установка клиентской библиотеки

Создание нового приложения JavaScript для запросов изображений

Очистка ресурсов

Необходимые компоненты

Настройка

Получение ключа и конечной точки

Создание приложения .NET

Установка клиентской библиотеки

Рекомендуется использовать проверку подлинности без пароля

Обновление кода приложения

Очистка ресурсов

Следующие шаги

Обратная связь

Дополнительные ресурсы