Práce s modely Azure OpenAI

Článek
09/29/2024

Služba Azure OpenAI Service využívá různorodou sadu modelů s různými možnostmi a cenovými body. Dostupnost modelu se liší podle oblasti.

Seznam modelů, které jsou k dispozici pro odvozování i vyladění, můžete získat pomocí rozhraní API pro seznam modelů.

Aktualizace modelu

Azure OpenAI teď podporuje automatické aktualizace pro výběr nasazení modelu. V modelech, kde je dostupná podpora automatických aktualizací, je rozevírací seznam verze modelu viditelný v nástroji Azure OpenAI Studio v části Nasazení a úpravy:

Další informace o verzích modelů Azure OpenAI a jejich fungování najdete v článku o verzích modelů Azure OpenAI.

Automatická aktualizace na výchozí

Když nastavíte nasazení na automatické aktualizace na výchozí, nasazení modelu se automaticky aktualizuje během dvou týdnů od změny ve výchozí verzi. U verze Preview se aktualizuje automaticky, když je nová verze Preview dostupná od dvou týdnů od vydání nové verze Preview.

Pokud jste stále ve fázích prvotního testování pro odvozovací modely, doporučujeme nasadit modely s automatickou aktualizací do výchozího nastavení, kdykoli je k dispozici.

Konkrétní verze modelu

S tím, jak se vaše použití Azure OpenAI vyvíjí, a začnete sestavovat a integrovat s aplikacemi, které můžete chtít ručně řídit aktualizace modelu. Před upgradem můžete nejprve otestovat a ověřit, že chování aplikace je konzistentní pro váš případ použití.

Když pro nasazení vyberete konkrétní verzi modelu, zůstane tato verze vybraná, dokud se nerozhodnete provést ruční aktualizaci, nebo jakmile dosáhnete data vyřazení modelu z provozu. Po dosažení data vyřazení se model automaticky upgraduje na výchozí verzi v době vyřazení.

Zobrazení dat vyřazení

U aktuálně nasazených modelů v Azure OpenAI Studiu vyberte Nasazení:

Konfigurace upgradu nasazení modelu

Můžete zkontrolovat, jaké možnosti upgradu modelu jsou nastavené pro dříve nasazené modely v nástroji Azure OpenAI Studio. > Ve sloupci Název nasazení vyberte jeden z názvů nasazení, které jsou zvýrazněné modře.

Výběrem názvu nasazení se otevře vlastnosti pro nasazení modelu. Možnosti upgradu, které jsou pro vaše nasazení nastavené, můžete zobrazit v části Zásady aktualizace verzí:

K odpovídající vlastnosti je také možné přistupovat přes REST, Azure PowerShell a Azure CLI.

Možnost	Čtení	Aktualizace
REST	Ano. Pokud `versionUpgradeOption` se nevrátí, znamená to, že se jedná o `null`	Ano
Azure PowerShell	Ano.`VersionUpgradeOption` lze zkontrolovat `$null`	Ano
Azure CLI	Ano. `null` Zobrazí se, pokud `versionUpgradeOption` není nastavená.	Ne. V současné době není možné aktualizovat možnost upgradu verze.

Existují tři různé možnosti upgradu nasazení modelu:

Název	Popis
`OnceNewDefaultVersionAvailable`	Jakmile je nová verze označená jako výchozí, nasazení modelu se automaticky upgraduje na výchozí verzi do dvou týdnů od provedení této změny označení.
`OnceCurrentVersionExpired`	Po dosažení data vyřazení modelu se nasazení modelu automaticky upgraduje na aktuální výchozí verzi.
`NoAutoUpgrade`	Nasazení modelu se nikdy automaticky neupgraduje. Jakmile se dosáhne data vyřazení, nasazení modelu přestane fungovat. Je potřeba aktualizovat kód odkazující na toto nasazení tak, aby odkazoval na neprozkoušané nasazení modelu.

Poznámka:

null je ekvivalent OnceCurrentVersionExpired. Pokud ve vlastnostech modelu, který podporuje upgrady modelů, není k dispozici možnost zásady aktualizace verze, znamená to, že hodnota je aktuálně null. Jakmile tuto hodnotu explicitně upravíte, vlastnost se zobrazí na stránce vlastností studia a také prostřednictvím rozhraní REST API.

Projděte si úvodní příručku k Azure PowerShellu pro místní instalaci Azure PowerShellu nebo můžete použít Azure Cloud Shell.

Následující postup ukazuje kontrolu VersionUpgradeOption vlastnosti možnosti a jeho aktualizace:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Dotazování aktuálního nastavení nasazení modelu, včetně konfigurace upgradu nasazení pro daný prostředek.Deployments List Pokud je hodnota null, nezobrazí se versionUpgradeOption vlastnost.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments?api-version=2023-05-01

Parametry cesty

Parametr	Typ	Povinné?	Popis
`acountname`	string	Požaduje se	Název prostředku Azure OpenAI
`resourceGroupName`	řetězec	Požaduje se	Název přidružené skupiny prostředků pro toto nasazení modelu.
`subscriptionId`	řetězec	Požaduje se	ID předplatného přidruženého předplatného.
`api-version`	řetězec	Požaduje se	Verze rozhraní API, která se má použít pro tuto operaci. To má formát RRRR-MM-DD.

Podporované verze

2023-05-01Swagger spec

Příklad odpovědi

{
  "value": [
    {
      "id": "/subscriptions/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeeb/resourceGroups/az-test-openai/providers/Microsoft.CognitiveServices/accounts/aztestopenai001/deployments/gpt-35-turbo",
      "type": "Microsoft.CognitiveServices/accounts/deployments",
      "name": "gpt-35-turbo",
      "sku": {
        "name": "Standard",
        "capacity": 80
      },
      "properties": {
        "model": {
          "format": "OpenAI",
          "name": "gpt-35-turbo",
          "version": "0301"
        },
        "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        "capabilities": {
          "completion": "true",
          "chatCompletion": "true"
        },
        "raiPolicyName": "Microsoft.Default",
        "provisioningState": "Succeeded",
        "rateLimits": [
          {
            "key": "request",
            "renewalPeriod": 10,
            "count": 80
          },
          {
            "key": "token",
            "renewalPeriod": 60,
            "count": 80000
          }
        ]
      },
      "systemData": {
        "createdBy": "docs@contoso.com",
        "createdByType": "User",
        "createdAt": "2023-07-31T16:45:32.622404Z",
        "lastModifiedBy": "docs@contoso.com",
        "lastModifiedByType": "User",
        "lastModifiedAt": "2023-10-31T13:59:34.4978286Z"
      },
      "etag": "\"aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee\""
    }
  ]
}

Potom můžete použít nastavení z tohoto seznamu a vytvořit volání rozhraní REST API aktualizačního modelu, jak je popsáno níže, pokud chcete upravit konfiguraci upgradu nasazení.

Aktualizace a nasazení modelů prostřednictvím rozhraní API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Parametry cesty

Parametr	Typ	Povinné?	Popis
`acountname`	string	Požaduje se	Název prostředku Azure OpenAI
`deploymentName`	řetězec	Požaduje se	Název nasazení, který jste zvolili při nasazení existujícího modelu nebo názvu, který má mít nové nasazení modelu.
`resourceGroupName`	řetězec	Požaduje se	Název přidružené skupiny prostředků pro toto nasazení modelu.
`subscriptionId`	řetězec	Požaduje se	ID předplatného přidruženého předplatného.
`api-version`	řetězec	Požaduje se	Verze rozhraní API, která se má použít pro tuto operaci. To má formát RRRR-MM-DD.

Podporované verze

2023-05-01Swagger spec

Text požadavku

Jedná se pouze o podmnožinu dostupných parametrů textu požadavku. Úplný seznam parametrů najdete v referenční dokumentaci k rozhraní REST API.

Parametr	Typ	Popis
versionUpgradeOption	String	Možnosti upgradu verze modelu nasazení: `OnceNewDefaultVersionAvailable` `OnceCurrentVersionExpired` `NoAutoUpgrade`
capacity	integer	Představuje velikost kvóty , kterou k tomuto nasazení přiřazujete. Hodnota 1 se rovná 1 000 tokenů za minutu (TPM)

Příklad požadavku

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Poznámka:

Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Potom spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API.

Příklad odpovědi

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Sdílet prostřednictvím

Práce s modely Azure OpenAI

Aktualizace modelu

Automatická aktualizace na výchozí

Konkrétní verze modelu

Zobrazení dat vyřazení

Konfigurace upgradu nasazení modelu

Příklady

Příklad odpovědi

Aktualizace a nasazení modelů prostřednictvím rozhraní API

Příklad požadavku

Příklad odpovědi

Další kroky

Váš názor

Další materiály