Arbeta med Azure OpenAI-modeller

Azure OpenAI Service drivs av flera olika modeller med olika funktioner och priser. Modelltillgängligheten varierar beroende på region.

Du kan hämta en lista över modeller som är tillgängliga för både slutsatsdragning och finjustering av din Azure OpenAI-resurs med hjälp av API:et för modelllista.

Modelluppdateringar

Azure OpenAI har nu stöd för automatiska uppdateringar för utvalda modelldistributioner. På modeller där stöd för automatisk uppdatering är tillgängligt visas listrutan modellversion i Azure AI Foundry-portalen under Distributioner och Redigera:

Skärmbild av användargränssnittet för distributionsmodellen i Azure AI Foundry-portalen.

Du kan lära dig mer om Azure OpenAI-modellversioner och hur de fungerar i artikeln Azure OpenAI-modellversioner .

Kommentar

Automatiska modelluppdateringar stöds endast för standarddistributionstyper. Mer information om hur du hanterar modelluppdateringar och migreringar för etablerade distributionstyper finns i avsnittet om att hantera modeller för etablerade distributionstyper

Automatisk uppdatering till standard

När du ställer in distributionen på Automatisk uppdatering till standard uppdateras modelldistributionen automatiskt inom två veckor efter en ändring i standardversionen. För en förhandsversion uppdateras den automatiskt när en ny förhandsversion är tillgänglig från och med två veckor efter att den nya förhandsversionen har släppts.

Om du fortfarande är i de tidiga testfaserna för slutsatsdragningsmodeller rekommenderar vi att du distribuerar modeller med automatisk uppdatering till standarduppsättning när den är tillgänglig.

Specifik modellversion

När din användning av Azure OpenAI utvecklas och du börjar skapa och integrera med program kanske du vill styra modelluppdateringar manuellt. Du kan först testa och verifiera att programmets beteende är konsekvent för ditt användningsfall innan du uppgraderar.

När du väljer en specifik modellversion för en distribution förblir den här versionen markerad tills du antingen väljer att uppdatera dig själv manuellt eller när du når tillbakadragningsdatumet för modellen. När indragningsdatumet har nåtts uppgraderas modellen automatiskt till standardversionen vid tidpunkten för tillbakadragningen.

Visa datum för pensionering

För för närvarande distribuerade modeller väljer du Distributioner i Azure AI Foundry-portalen:

Skärmbild av distributionsgränssnittet för Azure AI Foundry-portalen.

Uppgraderingskonfiguration för modelldistribution

Du kan kontrollera vilka modelluppgraderingsalternativ som har angetts för tidigare distribuerade modeller i Azure AI Foundry-portalen. Välj Distributioner Under kolumnen distributionsnamn> väljer du ett av distributionsnamnen som är markerade i blått.

Om du väljer ett distributionsnamn öppnas egenskaperna för modelldistributionen. Du kan visa vilka uppgraderingsalternativ som har angetts för distributionen under Princip för versionsuppdatering:

Skärmbild av egenskapsgränssnittet för modelldistributioner.

Motsvarande egenskap kan också nås via REST, Azure PowerShell och Azure CLI.

Alternativ Läs Uppdatering
REST Ja. Om versionUpgradeOption inte returneras betyder det att det är null Ja
Azure PowerShell Ja. VersionUpgradeOption kan sökas efter $null Ja
Azure CLI Ja. Den visar null om versionUpgradeOption den inte har angetts. Nej. Det går för närvarande inte att uppdatera alternativet för versionsuppgradering.

Det finns tre olika uppgraderingsalternativ för modelldistribution:

Name beskrivning
OnceNewDefaultVersionAvailable När en ny version har angetts som standard uppgraderas modelldistributionen automatiskt till standardversionen inom två veckor efter att den beteckningsändringen har gjorts.
OnceCurrentVersionExpired När indragningsdatumet har nåtts uppgraderas modelldistributionen automatiskt till den aktuella standardversionen.
NoAutoUpgrade Modelldistributionen uppgraderas aldrig automatiskt. När tillbakadragningsdatumet har nåtts slutar modelldistributionen att fungera. Du måste uppdatera koden som refererar till distributionen så att den pekar på en icke-förbrukad modelldistribution.

Kommentar

null motsvarar OnceCurrentVersionExpired. Om alternativet Versionsuppdateringsprincip inte finns i egenskaperna för en modell som stöder modelluppgraderingar anger detta att värdet för närvarande nullär . När du uttryckligen ändrar det här värdet visas egenskapen på sidan för studioegenskaper samt via REST-API:et.

Exempel

Läs kom igång-guiden för Azure PowerShell för att installera Azure PowerShell lokalt eller så kan du använda Azure Cloud Shell.

Stegen nedan visar hur du kontrollerar alternativegenskapen VersionUpgradeOption och uppdaterar den:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}
// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Uppdatera och distribuera modeller via API:et

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Sökvägsparametrar

Parameter Type Obligatorisk? beskrivning
acountname sträng Obligatoriskt Namnet på din Azure OpenAI-resurs.
deploymentName sträng Obligatoriskt Det distributionsnamn som du valde när du distribuerade en befintlig modell eller det namn som du vill att en ny modelldistribution ska ha.
resourceGroupName sträng Obligatoriskt Namnet på den associerade resursgruppen för den här modelldistributionen.
subscriptionId sträng Obligatoriskt Prenumerations-ID för den associerade prenumerationen.
api-version sträng Obligatoriskt Den API-version som ska användas för den här åtgärden. Formatet är ÅÅÅÅ-MM-DD.

Versioner som stöds

Begärandetext

Det här är bara en delmängd av de tillgängliga parametrarna för begärandetexten. En fullständig lista över parametrarna finns i REST API-referensdokumentationen.

Parameter Typ Beskrivning
versionUpgradeOption String Uppgraderingsalternativ för distributionsmodellversion:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
capacity integer Detta representerar den mängd kvot som du tilldelar den här distributionen. Ett värde på 1 är lika med 1 000 token per minut (TPM)

Exempelbegäranden

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Kommentar

Det finns flera sätt att generera en auktoriseringstoken. Den enklaste metoden för inledande testning är att starta Cloud Shell från Azure Portal. Kör sedan az account get-access-token. Du kan använda den här token som din tillfälliga auktoriseringstoken för API-testning.

Exempelsvar

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Hantera modeller för etablerade distributionstyper

Etablerade distributioner stöder distinkta modellhanteringsmetoder. Metoder för hantering av etablerade distributionsmodeller är avsedda att ge dig störst kontroll över när och hur du migrerar mellan modellversioner och modellfamiljer. För närvarande finns det två metoder för att hantera modeller för etablerade distributioner: (1) migreringar på plats och (2) migreringar med flera distributioner.

Förutsättningar

  • Kontrollera att målmodellversionen eller modellfamiljen stöds för din befintliga distributionstyp. Migreringar kan bara ske mellan etablerade distributioner av samma distributionstyp. Mer information om distributionstyper finns i dokumentationen för distributionstypen.
  • Verifiera kapacitetstillgängligheten för målmodellversionen eller modellfamiljen innan du försöker migrera. Mer information om hur du fastställer kapacitetstillgänglighet finns i dokumentationen om kapacitetstransparens.
  • För migreringar med flera distributioner kontrollerar du att du har tillräcklig kvot för att stödja flera distributioner samtidigt. Mer information om hur du verifierar kvoten för varje etablerad distributionstyp finns i dokumentationen om den etablerade kvoten.

Migreringar på plats för etablerade distributioner

Med migreringar på plats kan du behålla samma etablerade distributionsnamn och storlek när du ändrar modellversionen eller modellfamiljen som tilldelats distributionen. Med migreringar på plats tar Azure OpenAI Service hand om migrering av befintlig trafik mellan modellversioner eller modellfamiljer under hela migreringen under ett 20–30-minutersfönster. Under hela migreringsfönstret visar din etablerade distribution ett "uppdatera" etablerat tillstånd. Du kan fortsätta att använda din etablerade distribution som vanligt. När migreringen på plats är klar uppdateras det etablerade tillståndet till "lyckades", vilket indikerar att all trafik har migrerats över till målmodellversionen eller modellfamiljen.

Migrering på plats: uppdatering av modellversion

Migreringar på plats som är avsedda att uppdatera en befintlig etablerad distribution till en ny modellversion inom samma modellfamilj stöds via Azure AI Foundry, REST API och Azure CLI. Om du vill utföra en migrering på plats för en modellversionsuppdatering i Azure AI Foundry väljer du Distributioner under kolumnen distributionsnamn> och väljer distributionsnamnet för den etablerade distribution som du vill migrera.

Om du väljer ett distributionsnamn öppnas egenskaperna för modelldistributionen. I den här vyn väljer du redigeringsknappen, som visar dialogrutan Uppdatera distribution. Välj listrutan modellversion för att ange en ny modellversion för den etablerade distributionen. Som nämnts ändras etableringstillståndet till "uppdatering" under migreringen och återgår till "lyckades" när migreringen är klar.

Skärmbild av dialogrutan för uppdateringsdistribution med fältväljaren för modellversion öppen för att visa tillgängliga alternativ för modellversioner.

Migrering på plats: modellfamiljeändring

Migrering på plats som är målet för uppdatering av en befintlig etablerad distribution till en ny modellfamilj stöds via REST API och Azure CLI. Om du vill utföra en migrering på plats för en modellfamiljeändring använder du exempelbegäran nedan som en guide. I begäran måste du uppdatera modellnamnet och modellversionen för den målmodell som du migrerar till.

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'

Exempelsvar

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-4o-ptu-deployment",
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 100
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-4o-mini",
      "version": "2024-07-18"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "currentCapacity": 100
    "capabilities": {
      "area": "EUR",
      "chatCompletion": "true"
      "jsonObjectResponse": "true",
      "maxContextToken": "128000",
      "maxOutputToken": "16834",
      "assistants": "true"
    },
    "provisioningState": "Updating",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 300
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2025-01-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2025-01-29T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Kommentar

Det finns flera sätt att generera en auktoriseringstoken. Den enklaste metoden för inledande testning är att starta Cloud Shell från Azure Portal. Kör sedan az account get-access-token. Du kan använda den här token som din tillfälliga auktoriseringstoken för API-testning.

Migreringar med flera distributioner för etablerade distributioner

Med migreringar med flera distributioner kan du ha större kontroll över modellmigreringsprocessen. Med migreringar med flera distributioner kan du bestämma hur snabbt du vill migrera din befintliga trafik till målmodellversionen eller modellfamiljen för en ny etablerad distribution. Processen för att migrera till en ny modellversion eller modellfamilj med hjälp av migreringsmetoden för flera distributioner är följande:

  • Skapa en ny etablerad distribution. För den här nya distributionen kan du välja att behålla samma etablerade distributionstyp som din befintliga distribution eller välja en ny distributionstyp om du vill.
  • Överföra trafik från den befintliga etablerade distributionen till den nyligen skapade etablerade distributionen med målmodellversionen eller modellfamiljen tills all trafik avlastas från den ursprungliga distributionen.
  • När trafiken har migrerats till den nya distributionen kontrollerar du att det inte finns några slutsatsdragningsbegäranden som bearbetas i den tidigare etablerade distributionen genom att se till att måttet Azure OpenAI-begäranden inte visar några API-anrop som görs inom 5–10 minuter från den slutsatsdragningstrafik som migreras över till den nya distributionen. Mer information om det här måttet finns i övervaka Azure OpenAI-dokumentationen.
  • När du har bekräftat att inga slutsatsdragningsanrop har gjorts tar du bort den ursprungliga etablerade distributionen.

Nästa steg