Arbeta med Azure OpenAI-modeller

Azure OpenAI Service drivs av flera olika modeller med olika funktioner och priser. Modelltillgängligheten varierar beroende på region.

Du kan hämta en lista över modeller som är tillgängliga för både slutsatsdragning och finjustering av din Azure OpenAI-resurs med hjälp av API:et för modelllista.

Modelluppdateringar

Azure OpenAI har nu stöd för automatiska uppdateringar för utvalda modelldistributioner. På modeller där stöd för automatisk uppdatering är tillgängligt visas listrutan modellversion i Azure AI Foundry-portalen under Distributioner och Redigera:

Du kan lära dig mer om Azure OpenAI-modellversioner och hur de fungerar i artikeln Azure OpenAI-modellversioner .

Automatisk uppdatering till standard

När du ställer in distributionen på Automatisk uppdatering till standard uppdateras modelldistributionen automatiskt inom två veckor efter en ändring i standardversionen. För en förhandsversion uppdateras den automatiskt när en ny förhandsversion är tillgänglig från och med två veckor efter att den nya förhandsversionen har släppts.

Om du fortfarande är i de tidiga testfaserna för slutsatsdragningsmodeller rekommenderar vi att du distribuerar modeller med automatisk uppdatering till standarduppsättning när den är tillgänglig.

Specifik modellversion

När din användning av Azure OpenAI utvecklas och du börjar skapa och integrera med program kanske du vill styra modelluppdateringar manuellt. Du kan först testa och verifiera att programmets beteende är konsekvent för ditt användningsfall innan du uppgraderar.

När du väljer en specifik modellversion för en distribution förblir den här versionen markerad tills du antingen väljer att uppdatera dig själv manuellt eller när du når tillbakadragningsdatumet för modellen. När indragningsdatumet har nåtts uppgraderas modellen automatiskt till standardversionen vid tidpunkten för tillbakadragningen.

Visa datum för pensionering

För för närvarande distribuerade modeller väljer du Distributioner i Azure AI Foundry-portalen:

Uppgraderingskonfiguration för modelldistribution

Du kan kontrollera vilka modelluppgraderingsalternativ som har angetts för tidigare distribuerade modeller i Azure AI Foundry-portalen. Välj Distributioner Under kolumnen distributionsnamn> väljer du ett av distributionsnamnen som är markerade i blått.

Om du väljer ett distributionsnamn öppnas egenskaperna för modelldistributionen. Du kan visa vilka uppgraderingsalternativ som har angetts för distributionen under Princip för versionsuppdatering:

Motsvarande egenskap kan också nås via REST, Azure PowerShell och Azure CLI.

Det finns tre olika uppgraderingsalternativ för modelldistribution:

Exempel

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments?api-version=2023-05-01

{
  "value": [
    {
      "id": "/subscriptions/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeeb/resourceGroups/az-test-openai/providers/Microsoft.CognitiveServices/accounts/aztestopenai001/deployments/gpt-35-turbo",
      "type": "Microsoft.CognitiveServices/accounts/deployments",
      "name": "gpt-35-turbo",
      "sku": {
        "name": "Standard",
        "capacity": 80
      },
      "properties": {
        "model": {
          "format": "OpenAI",
          "name": "gpt-35-turbo",
          "version": "0301"
        },
        "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        "capabilities": {
          "completion": "true",
          "chatCompletion": "true"
        },
        "raiPolicyName": "Microsoft.Default",
        "provisioningState": "Succeeded",
        "rateLimits": [
          {
            "key": "request",
            "renewalPeriod": 10,
            "count": 80
          },
          {
            "key": "token",
            "renewalPeriod": 60,
            "count": 80000
          }
        ]
      },
      "systemData": {
        "createdBy": "docs@contoso.com",
        "createdByType": "User",
        "createdAt": "2023-07-31T16:45:32.622404Z",
        "lastModifiedBy": "docs@contoso.com",
        "lastModifiedByType": "User",
        "lastModifiedAt": "2023-10-31T13:59:34.4978286Z"
      },
      "etag": "\"aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee\""
    }
  ]
}

Uppdatera och distribuera modeller via API:et

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Sökvägsparametrar

Versioner som stöds

• 2023-05-01 Swagger-specifikation

Begärandetext

Det här är bara en delmängd av de tillgängliga parametrarna för begärandetexten. En fullständig lista över parametrarna finns i REST API-referensdokumentationen.

Exempelbegäranden

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Exempelsvar

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Hantera modeller för etablerade distributionstyper

Etablerade distributioner stöder distinkta modellhanteringsmetoder. Metoder för hantering av etablerade distributionsmodeller är avsedda att ge dig störst kontroll över när och hur du migrerar mellan modellversioner och modellfamiljer. För närvarande finns det två metoder för att hantera modeller för etablerade distributioner: (1) migreringar på plats och (2) migreringar med flera distributioner.

Förutsättningar

• Kontrollera att målmodellversionen eller modellfamiljen stöds för din befintliga distributionstyp. Migreringar kan bara ske mellan etablerade distributioner av samma distributionstyp. Mer information om distributionstyper finns i dokumentationen för distributionstypen.
• Verifiera kapacitetstillgängligheten för målmodellversionen eller modellfamiljen innan du försöker migrera. Mer information om hur du fastställer kapacitetstillgänglighet finns i dokumentationen om kapacitetstransparens.
• För migreringar med flera distributioner kontrollerar du att du har tillräcklig kvot för att stödja flera distributioner samtidigt. Mer information om hur du verifierar kvoten för varje etablerad distributionstyp finns i dokumentationen om den etablerade kvoten.

Migreringar på plats för etablerade distributioner

Med migreringar på plats kan du behålla samma etablerade distributionsnamn och storlek när du ändrar modellversionen eller modellfamiljen som tilldelats distributionen. Med migreringar på plats tar Azure OpenAI Service hand om migrering av befintlig trafik mellan modellversioner eller modellfamiljer under hela migreringen under ett 20–30-minutersfönster. Under hela migreringsfönstret visar din etablerade distribution ett "uppdatera" etablerat tillstånd. Du kan fortsätta att använda din etablerade distribution som vanligt. När migreringen på plats är klar uppdateras det etablerade tillståndet till "lyckades", vilket indikerar att all trafik har migrerats över till målmodellversionen eller modellfamiljen.

Migrering på plats: uppdatering av modellversion

Migreringar på plats som är avsedda att uppdatera en befintlig etablerad distribution till en ny modellversion inom samma modellfamilj stöds via Azure AI Foundry, REST API och Azure CLI. Om du vill utföra en migrering på plats för en modellversionsuppdatering i Azure AI Foundry väljer du Distributioner under kolumnen distributionsnamn> och väljer distributionsnamnet för den etablerade distribution som du vill migrera.

Om du väljer ett distributionsnamn öppnas egenskaperna för modelldistributionen. I den här vyn väljer du redigeringsknappen, som visar dialogrutan Uppdatera distribution. Välj listrutan modellversion för att ange en ny modellversion för den etablerade distributionen. Som nämnts ändras etableringstillståndet till "uppdatering" under migreringen och återgår till "lyckades" när migreringen är klar.

Migrering på plats: modellfamiljeändring

Migrering på plats som är målet för uppdatering av en befintlig etablerad distribution till en ny modellfamilj stöds via REST API och Azure CLI. Om du vill utföra en migrering på plats för en modellfamiljeändring använder du exempelbegäran nedan som en guide. I begäran måste du uppdatera modellnamnet och modellversionen för den målmodell som du migrerar till.

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'

Exempelsvar

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-4o-ptu-deployment",
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 100
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-4o-mini",
      "version": "2024-07-18"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "currentCapacity": 100
    "capabilities": {
      "area": "EUR",
      "chatCompletion": "true"
      "jsonObjectResponse": "true",
      "maxContextToken": "128000",
      "maxOutputToken": "16834",
      "assistants": "true"
    },
    "provisioningState": "Updating",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 300
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2025-01-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2025-01-29T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Migreringar med flera distributioner för etablerade distributioner

Med migreringar med flera distributioner kan du ha större kontroll över modellmigreringsprocessen. Med migreringar med flera distributioner kan du bestämma hur snabbt du vill migrera din befintliga trafik till målmodellversionen eller modellfamiljen för en ny etablerad distribution. Processen för att migrera till en ny modellversion eller modellfamilj med hjälp av migreringsmetoden för flera distributioner är följande:

• Skapa en ny etablerad distribution. För den här nya distributionen kan du välja att behålla samma etablerade distributionstyp som din befintliga distribution eller välja en ny distributionstyp om du vill.
• Överföra trafik från den befintliga etablerade distributionen till den nyligen skapade etablerade distributionen med målmodellversionen eller modellfamiljen tills all trafik avlastas från den ursprungliga distributionen.
• När trafiken har migrerats till den nya distributionen kontrollerar du att det inte finns några slutsatsdragningsbegäranden som bearbetas i den tidigare etablerade distributionen genom att se till att måttet Azure OpenAI-begäranden inte visar några API-anrop som görs inom 5–10 minuter från den slutsatsdragningstrafik som migreras över till den nya distributionen. Mer information om det här måttet finns i övervaka Azure OpenAI-dokumentationen.
• När du har bekräftat att inga slutsatsdragningsanrop har gjorts tar du bort den ursprungliga etablerade distributionen.

Nästa steg

• Läs mer om regional tillgänglighet för Azure OpenAI-modell
• Läs mer om Azure OpenAI