Azure OpenAI-etablerad uppdatering i augusti 2024

I mitten av augusti 2024 lanserade Microsoft förbättringar av sitt Erbjudande om etablerat dataflöde som hanterar kundfeedback om användbarhet och driftsflexibilitet som öppnar nya betalningsalternativ och distributionsscenarier.

Den här artikeln är avsedd för befintliga användare av det etablerade dataflödeserbjudandet. Nya kunder bör referera till den azure OpenAI-etablerade registreringsguiden.

Vad förändras?

Funktionerna nedan lanseras för erbjudandet Etablerad hanterad.

Förbättringar av användbarhet

Ny kommersiell modell för varje timme/reservation

Information om användbarhetsförbättring

Den etablerade kvotkornigheten ändras från modellspecifik till modelloberoende. I stället för att varje modell och version i prenumerationen och regionen har en egen kvotgräns finns det ett enda kvotobjekt per prenumeration och region som begränsar det totala antalet PTU:er som kan distribueras över alla modeller och versioner som stöds.

Modelloberoende kvot

Från och med den 12 augusti 2024 har befintliga kunders nuvarande modellspecifika kvot konverterats till modelloberoende. Detta sker automatiskt. Ingen kvot går förlorad i övergången. Befintliga kvotgränser summeras och tilldelas till ett nytt modelloberoende kvotobjekt.

Den nya modelloberoende kvoten visas som ett kvotobjekt med namnet Provisioned Managed Throughput Unit, där modellen och versionen inte längre ingår i namnet. Om du expanderar kvotobjektet i fönstret Studio-kvot visas fortfarande alla distributioner som bidrar till kvotobjektet.

Standardkvot

Nya och befintliga prenumerationer tilldelas en liten mängd etablerad kvot i många regioner. Detta gör att kunder kan börja använda dessa regioner utan att först behöva begära kvot.

Om regionen redan innehåller en kvottilldelning för befintliga kunder ändras inte kvotgränsen för regionen. Den ökas till exempel inte automatiskt med det nya standardbeloppet.

Kvotbegäranden med självbetjäning

Kunder får inte längre kvot genom att kontakta sina säljteam. I stället använder de formuläret för kvotbegäran via självbetjäning och anger PTU-hanterad kvottyp. Formuläret är tillgängligt från en länk till höger om kvotobjektet. Målet är att svara på alla kvotbegäranden inom två arbetsdagar.

Följande kvotskärmbild visar modelloberoende kvot som används av distributioner av olika typer samt länken för att begära ytterligare kvot.

Kvot som gräns

Före augustiuppdateringen var Azure OpenAI Provisioned endast tillgängligt för några få kunder och kvoten allokerades för att maximera möjligheten för dem att distribuera och använda den. Med dessa ändringar förenklas processen för att hämta kvoter för alla användare, och det finns större sannolikhet att stöta på kapacitetsbegränsningar i tjänsten när distributioner görs. Det finns en ny API- och Studio-upplevelse som hjälper användarna att hitta regioner där prenumerationen har kvot och tjänsten har kapacitet att stödja distributioner av en önskad modell.

Vi rekommenderar också att kunder som använder åtaganden nu skapar sina distributioner innan de skapar eller utökar åtaganden för att täcka dem. Detta garanterar att kapaciteten är tillgänglig innan du skapar ett åtagande och förhindrar överköp av åtagandet. För att stödja detta har begränsningen som förhindrade att distributioner skapades större än deras åtaganden tagits bort. Den här nya metoden för kvot, kapacitetstillgänglighet och åtaganden matchar vad som tillhandahålls enligt modellen för varje timme/reservation och vägledningen för att distribuera innan du köper ett åtagande (eller en reservation för timmodellen) är densamma för båda.

Mer information finns på följande länkar. Vägledningen för reservationer och åtaganden är densamma:

• Kapacitetstransparens
• Storleksändringsreservationer

Ny betalningsmodell för varje timme

Microsoft har introducerat en ny betalningsmodell för varje timme/reservation för etablerade distributioner. Detta är utöver den aktuella betalningsmodellen för åtagande , som kommer att fortsätta att stödjas åtminstone till slutet av 2024.

Betalningsmodell för åtagande

• Ett regionalt, månatligt åtagande krävs för att använda etablerade (längre avtalsvillkor).

• Åtaganden är bundna till Azure OpenAI-resurser, vilket gör det svårt att flytta distributioner mellan resurser.

• Åtaganden kan inte avbrytas eller ändras under perioden, förutom att lägga till nya PTU:er.

• Stöder modeller som släpptes före den 1 augusti 2024.

Betalningsmodell för reservation varje timme

• Betalningsmodellen är anpassad till Azure-standarder för andra produkter.

• Användning varje timme stöds, utan åtagande.

• En månads och ett års termrabatter kan köpas som regionala Azure-reservationer.

• Reservationer kan begränsas flexibelt för att täcka flera prenumerationer och omfånget kan ändras efter halva tiden.

• Stöder alla modeller, både gamla och nya.

Ramverk för betalningsmodell

Med lanseringen av den timvisa/reserverade betalningsmodellen är betalningsalternativen mer flexibla och modellen kring etablerade betalningar har ändrats. När enmånadsåtagandena var det enda sättet att köpa etablerade var modellen:

1. Hämta en PTU-kvot från ditt Microsoft-kontoteam.
2. "Köp" kvot från ett åtagande för den resurs där du vill distribuera.
3. Skapa distributioner på resursen upp till gränsen för åtagandet.

Den viktigaste skillnaden mellan den här modellen och den nya modellen är att det enda sättet att betala för etablerade tidigare var genom en månads rabatt. Nu kan du distribuera och betala för distributioner varje timme om du väljer och fattar ett separat beslut om du vill rabattera dem via antingen ett enmånadsåtagande (som tidigare) eller en Azure-reservation.

Med den här insikten är det nya sättet att tänka på betalningsmodeller följande:

1. Hämta en PTU-kvot med hjälp av självbetjäningsformuläret.
2. Skapa distributioner med din kvot.
3. Du kan också köpa eller utöka ett åtagande eller en reservation för att tillämpa en termrabatt på dina distributioner.

Steg 1 och 2 är desamma i alla fall. Skillnaden är om ett åtagande eller en Azure-reservation används som fordon för att tillhandahålla rabatten. I båda modellerna:

• Det går att distribuera fler PTU:er än vad du rabatterar. (du kan till exempel skapa en kortsiktig distribution för att prova en ny modell genom att distribuera utan att köpa rabatt)

• Rabattmetoden (åtagande eller reservation) tillämpar det rabatterade priset på ett fast antal PTU:er och har ett omfång som definierar vilka distributioner som räknas mot rabatten.

  Rabattyp	Tillgängliga omfång (inom en region)
  Åtaganden	Azure OpenAI-resurs
  Rad 2	Resursgrupp, enskild prenumeration, hanteringsgrupp (grupp med prenumerationer), delad (alla prenumerationer i ett faktureringskonto)

• Det rabatterade priset tillämpas på distribuerade PTUs upp till antalet rabatterade PTU:er i rabatten.

• Antalet distribuerade PTU:er som överskrider rabatterade PTU:er (eller som inte omfattas av någon rabatt) debiteras timpriset.

• Det bästa sättet är att först skapa distributioner och sedan tillämpa rabatter. Detta är för att garantera den tjänsten. kapacitet är tillgänglig för att stödja dina distributioner innan du skapar ett termåtagande för PTU:er som du inte kan använda.

Mappa distributioner till rabattmetod

Kunder som använder Azure OpenAI Provisioned före augusti 2024 kan använda antingen eller båda betalningsmodellerna samtidigt i en prenumeration. Den betalningsmodell som används för varje distribution bestäms baserat på dess Azure OpenAI-resurs:

Resursen har ett aktivt åtagande

• Åtagandet rabatterar alla distributioner på resursen upp till antalet PTU:er för åtagandet. Eventuella extra PTU:er debiteras varje timme.

Resursen har inget aktivt åtagande

• Distributionerna under resursen är berättigade att rabatteras av en Azure-reservation. För att dessa distributioner ska kunna rabatteras måste de finnas inom omfånget för en aktiv reservation. Alla distributioner inom reservationens omfång (inklusive eventuellt distributioner på andra resurser i samma eller andra prenumerationer) kommer att rabatteras som en grupp upp till antalet PTU:er för reservationen. Eventuella extra PTU:er debiteras varje timme.

Ändringar i det befintliga betalningsläget

Kunder som har åtaganden idag kan fortsätta att använda dem åtminstone till slutet av 2024. Detta omfattar inköp av nya PTU:er för nya eller befintliga åtaganden och hantering av åtagandeförnyelsebeteenden. Augustiuppdateringen har dock ändrat vissa aspekter av åtagandeåtgärden.

• Endast modeller som har etablerats före den 1 augusti 2024 eller tidigare kan distribueras på en resurs med ett åtagande.

• Om de distribuerade PTU:erna under ett åtagande överskrider de bekräftade PTU:erna genereras timavgifterna för överförbrukning mot samma timmätare som används för den nya betalningsmodellen per timme/reservation. På så sätt kan överförbrukningsavgifterna rabatteras via en Azure-reservation.

• Det går att distribuera fler PTU:er än vad som har checkats in på resursen. Detta stöder möjligheten att garantera kapacitetstillgänglighet innan du ökar åtagandestorleken för att täcka den.

Migrera befintliga resurser från åtaganden

Befintliga kunder kan välja att migrera sina befintliga resurser från betalningsmodellen Åtagande för varje timme/reservation för att dra nytta av möjligheten att distribuera de senaste modellerna eller konsolidera rabatter för olika distributioner under en enda reservation.

Två metoder är tillgängliga för kunder att migrera resurser med hjälp av åtagandemodellen till modellen Tim-/reservation.

Självbetjäningsmigrering

Med självbetjäningsmetoden för migrering kan en kund organiskt ta bort resurser från sina åtaganden genom att låta dem upphöra att gälla. Processen för att migrera en resurs är följande:

• Ange ett befintligt åtagande så att det inte förnyas automatiskt och notera förfallodatumet.

• Före förfallodatumet bör en kund köpa en Azure-reservation som täcker det totala antalet bekräftade PTUs per prenumeration. Om en befintlig reservation redan har prenumerationen i omfånget kan den ökas i storlek för att täcka de nya PTU:erna.

• När åtagandet upphör att gälla växlar distributionerna under resursen automatiskt till läget Per timme/reservation med den användning som rabatteras av reservationen.

Den här självbetjäningsmigreringsmetoden resulterar i en överlappning där både reservationen och åtagandet är aktiva. Detta är ett kännetecken för det här migreringsläget och reservationen eller åtagandetiden för den här överlappningen kommer inte att krediteras tillbaka till kunden.

En alternativ metod för självbetjäningsmigrering är att byta reservationsköp till att ske efter att åtagandet har upphört att gälla. I den här metoden genererar distributionerna användning per timme för perioden mellan åtagandets förfallodatum och köpet av reservationen. Precis som med den tidigare modellen är detta en egenskap för den här metoden, och den här användningen per timme kommer inte att krediteras.

Fördelar med självbetjäningsmigrering:

• Enskilda resurser kan migreras vid olika tidpunkter.
• Kunder hanterar migreringen utan några beroenden på Microsoft.

Nackdelar med självbetjäningsmigrering:

• Det kommer att finnas en kort period med dubbelfakturering eller timavgifter under övergången från allokerad till fakturering per timme/reservation.

Hanterad migrering

Den hanterade migreringsmetoden innebär att kunden samarbetar med Microsoft för att massmigrera alla PTU-åtaganden i en prenumeration/region samtidigt. Det fungerar så här:

1. Kunden kommer att engagera sitt kontoteam och begära en hanterad migrering. En migreringsägare från Microsoft-teamet tilldelas för att hjälpa kunden med migreringen.
2. Ett datum väljs när alla resurser inom var och en av kundernas prenumerationer och regioner som innehåller aktuella PTU-åtaganden migreras från den bekräftade faktureringsmodellen till faktureringsmodellen per timme/reservation. Flera prenumerationer och regioner kan migreras samma datum.
3. På det överenskomna datumet:
   • Kunden kommer att köpa regionala reservationer för att täcka de bekräftade PTUs som kommer att konverteras och skicka reservationsinformationen till sin Microsoft-migreringskontakt.
   • Inom 2–3 arbetsdagar avbryts alla åtaganden proaktivt och distributioner som tidigare gjorts enligt åtaganden börjar använda betalningsmodellen för varje timme/reservation.
   • Under faktureringsperioden efter den med reservationsköpet får kunden en kredit för reservationsköpet som täcker de delar av åtagandena som avbröts, från och med tidpunkten för reservationsköpet.

Kunder måste kontakta sina kontoteam för att schemalägga en hanterad migrering.

Fördelar med hanterad migrering:

• Massmigrering av alla åtaganden i en prenumeration/region är fördelaktig för kunder med många åtaganden.
• Sömlös kostnadsmigrering: Ingen möjlighet till dubbel fakturering eller extra timavgifter.

Nackdelar med hanterad migrering:

• Alla åtaganden i en prenumeration/region måste migreras samtidigt.
• Behöver samordna en tid för migrering med Microsoft-teamet.

Hantera etablerade dataflödesåtaganden

Etablerade dataflödesåtaganden skapas och hanteras från menyn Hantera åtaganden i Azure OpenAI Studio. Du kan navigera till den här vyn genom att välja Hantera åtaganden på kvotmenyn:

I vyn Hantera åtaganden kan du göra flera saker:

• Köp nya åtaganden eller redigera befintliga åtaganden.
• Övervaka alla åtaganden i din prenumeration.
• Identifiera och vidta åtgärder för åtaganden som kan orsaka oväntad fakturering.

Följande avsnitt tar dig igenom dessa uppgifter.

Köpa ett åtagande för etablerat dataflöde

När åtagandeplanen är klar är nästa steg att skapa åtagandena. Åtaganden skapas manuellt via Azure OpenAI Studio och kräver att användaren skapar åtagandet för att ha rollen Deltagare eller Cognitive Services-deltagare på prenumerationsnivå.

Följ dessa steg för varje nytt åtagande som du behöver skapa:

1. Starta dialogrutan Köp av etablerat dataflöde genom att välja Kvoter>etablerade>hantera åtaganden.

2. Välj Köp åtagande.

3. Välj Azure OpenAI-resursen och köp åtagandet. Du ser dina resurser indelade i resurser med befintliga åtaganden, som du kan redigera och resurser som för närvarande inte har något åtagande.

4. Välj Köp. En bekräftelsedialogruta visas. När du har bekräftat kommer dina PTU:er att checkas in och du kan använda dem för att skapa en etablerad distribution. |

Redigera ett befintligt åtagande för etablerat dataflöde

I vyn Hantera åtaganden kan du också redigera ett befintligt åtagande. Det finns två typer av ändringar som du kan göra i ett befintligt åtagande:

• Du kan lägga till PTU:er i åtagandet.
• Du kan ändra förnyelseinställningarna.

Om du vill redigera ett åtagande väljer du den aktuella som ska redigeras och väljer sedan Redigera åtagande.

Lägga till etablerade dataflödesenheter i befintliga åtaganden

Genom att lägga till PTU:er i ett befintligt åtagande kan du skapa större eller fler distributioner i resursen. Du kan göra detta när som helst under perioden för ditt åtagande.

Ändra förnyelseinställningar

Inställningar för förnyelse av åtagande kan ändras när som helst före åtagandets förfallodatum. Orsaker till att du kanske vill ändra förnyelseinställningarna är att avsluta din användning av etablerat dataflöde genom att ange åtagandet att inte förnya automatiskt, eller att minska användningen av etablerat dataflöde genom att minska antalet PTU:er som kommer att genomföras under nästa period.

Övervaka åtaganden och förhindra oväntade faktureringar

Fönstret Hantera åtaganden ger en prenumerationsöversikt över alla resurser med åtaganden och PTU-användning inom en viss Azure-prenumeration. Av särskilt intresse är:

• PTUs Committed, Deployed and Usage – Dessa siffror anger storleken på dina åtaganden och hur mycket som används av distributioner. Maximera din investering genom att använda alla dina incheckade PTU:er.
• Förfalloprincip och datum – Förfallodatum och princip talar om för dig när ett åtagande upphör att gälla och vad som händer när det gör det. Ett åtagande som är inställt på automatisk förnyelse genererar en faktureringshändelse på förnyelsedatumet. För åtaganden som upphör att gälla måste du ta bort distributioner från dessa resurser före förfallodatumet för att förhindra fakturering per timmes överförbrukningDe aktuella förnyelseinställningarna för ett åtagande.
• Meddelanden – Aviseringar om viktiga villkor som oanvända åtaganden och konfigurationer som kan leda till överförbrukning av fakturering. Överförbrukning av fakturering kan orsakas av situationer som när ett åtagande har upphört att gälla och distributioner fortfarande finns kvar, men har övergått till fakturering per timme.

Vanliga scenarier för åtagandehantering

Sluta använda etablerat dataflöde

Om du vill sluta använda etablerat dataflöde och förhindra kostnader för överförbrukning per timme efter att åtagandet har upphört att gälla, stoppa eventuella avgifter efter att de aktuella åtagandena har upphört att gälla, måste två steg vidtas:

1. Ange förnyelseprincipen för alla åtaganden till Återskapa inte automatiskt.
2. Ta bort de etablerade distributionerna med hjälp av kvoten.

Flytta ett åtagande/en distribution till en ny resurs i samma prenumeration/region

Det går inte att flytta en distribution eller ett åtagande till en ny resurs direkt i Azure OpenAI Studio. I stället måste en ny distribution skapas på målresursen och trafiken flyttas till den. Ett åtagande måste upprättas för den nya resursen för att åstadkomma detta. Eftersom åtaganden debiteras i förväg under en 30-dagarsperiod är det nödvändigt att tidsbefria den här flytten med förfallodatumet för det ursprungliga åtagandet för att minimera överlappningen med det nya åtagandet och "dubbelfakturering" under överlappningen.

Det finns två metoder som kan användas för att genomföra den här övergången.

Alternativ 1: Överlappande övergång

Det här alternativet kräver viss stilleståndstid, men kräver ingen extra kvot och genererar inga extra kostnader.

Alternativ 2: Överlappad övergång

Det här alternativet har ingen stilleståndstid genom att ha både befintliga och nya distributioner live samtidigt. Detta kräver att kvoten är tillgänglig för att skapa den nya distributionen och genererar extra kostnader under tiden för de överlappande distributionerna.

Om det sista steget tar längre tid än förväntat och slutförs när det befintliga åtagandet har upphört att gälla finns det tre alternativ för att minimera överförbrukningsavgifter.

• Ta stilleståndstid: Ta bort den ursprungliga distributionen och slutför sedan flytten.
• Betala överförbrukning: Behåll den ursprungliga distributionen och betala varje timme tills du har flyttat trafiken och tagit bort distributionen.
• Återställ det ursprungliga åtagandet för att förnya en gång till. Detta ger dig tid att slutföra flytten med en känd kostnad.

Både betalning för överförbrukning och återställning av det ursprungliga åtagandet genererar avgifter utöver det ursprungliga förfallodatumet. Att betala överförbrukningsavgifter kan vara billigare än ett nytt enmånadsåtagande om du bara behöver en dag eller två för att slutföra flytten. Jämför kostnaderna för båda alternativen för att hitta metoden med lägsta kostnad.

Flytta distributionen till en ny region och eller prenumeration

Samma metoder gäller för att flytta åtagandet och distributionen inom regionen, förutom att det krävs en tillgänglig kvot på den nya platsen i alla fall.

Visa och redigera en befintlig resurs

I Azure OpenAI Studio väljer du Kvotetablerade>>hantera åtaganden och väljer en resurs med ett befintligt åtagande för att visa/ändra den.