Så här distribuerar du Azure OpenAI-modeller med Azure AI Studio

  • Artikel

Viktigt!

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

I den här artikeln lär du dig att skapa Azure OpenAI-modelldistributioner i Azure AI Studio.

Azure OpenAI Service erbjuder en mängd olika modeller med olika funktioner och prispunkter. När du distribuerar Azure OpenAI-modeller i Azure AI Studio kan du använda distributionerna med hjälp av promptflöde eller något annat verktyg. Modelltillgängligheten varierar beroende på region. Mer information om varje modell finns i Azure OpenAI Service-modeller.

Om du vill ändra och interagera med en Azure OpenAI-modell i Azure AI Studio Playground måste du först distribuera en grundläggande Azure OpenAI-modell till ditt projekt. När modellen har distribuerats och är tillgänglig i projektet kan du använda dess REST API-slutpunkt som den är eller anpassa ytterligare med dina egna data och andra komponenter (inbäddningar, index med mera).

Distribuera en Azure OpenAI-modell från modellkatalogen

Följ stegen nedan för att distribuera en Azure OpenAI-modell, till exempel gpt-4 till en realtidsslutpunkt från AI Studio-modellkatalogen:

  1. Logga in på AI Studio och gå till startsidan.

  2. Välj Modellkatalog i det vänstra sidofältet.

  3. I filtret Samlingar väljer du Azure OpenAI.

    En skärmbild som visar hur du filtrerar efter Azure OpenAI-modeller i katalogen.

  4. Välj en modell, till exempel gpt-4 från Azure OpenAI-samlingen.

  5. Välj Distribuera för att öppna distributionsfönstret.

  6. Välj den hubb som du vill distribuera modellen till. Om du inte har en hubb kan du skapa en.

  7. Ange distributionsnamnet och ändra andra standardinställningar beroende på dina krav.

  8. Välj distribuera.

  9. Du hamnar på sidan med distributionsinformation. Välj Öppna på lekplatsen.

  10. Välj Visa kod för att hämta kodexempel som kan användas för att använda den distribuerade modellen i ditt program.

Distribuera en Azure OpenAI-modell från projektet

Du kan också initiera distributionen genom att starta projektet i AI Studio.

  1. Gå till ditt projekt i AI Studio.
  2. Välj Komponenter>Distributioner.
  3. Välj + Distribuera modell.
  4. I filtret Samlingar väljer du Azure OpenAI.
  5. Välj en modell, till exempel gpt-4 från Azure OpenAI-samlingen.
  6. Välj Bekräfta för att öppna distributionsfönstret.
  7. Ange distributionsnamnet och ändra andra standardinställningar beroende på dina krav.
  8. Välj distribuera.
  9. Du hamnar på sidan med distributionsinformation. Välj Öppna på lekplatsen.
  10. Välj Visa kod för att hämta kodexempel som kan användas för att använda den distribuerade modellen i ditt program.

Slutsatsdragning av Azure OpenAI-modellen

Om du vill utföra slutsatsdragning på den distribuerade modellen kan du använda lekplatsen eller kodexemplen. Lekplatsen är ett webbaserat gränssnitt som gör att du kan interagera med modellen i realtid. Du kan använda lekplatsen för att testa modellen med olika frågor och se modellens svar.

Fler exempel på hur du använder den distribuerade modellen i ditt program finns i följande Azure OpenAI-snabbstarter:

Regional tillgänglighet och kvotgränser för en modell

För Azure OpenAI-modeller varierar standardkvoten för modeller efter modell och region. Vissa modeller kanske bara är tillgängliga i vissa regioner. Mer information om tillgänglighets- och kvotgränser finns i kvoter och gränser för Azure OpenAI-tjänsten.

Kvot för distribution och slutsatsdragning av en modell

För Azure OpenAI-modeller förbrukar distribution och slutsatsdragning kvoten som har tilldelats din prenumeration per region, per modell i enheter med token per minut (TPM). När du registrerar dig för Azure AI Studio får du standardkvot för de flesta tillgängliga modeller. Sedan tilldelar du TPM till varje distribution när den skapas, vilket minskar den tillgängliga kvoten för modellen med det belopp som du tilldelade. Du kan fortsätta att skapa distributioner och tilldela dem TPMs tills du når din kvotgräns.

När du når din kvotgräns är det enda sättet för dig att skapa nya distributioner av modellen att:

Mer information om kvot finns i Azure AI Studio-kvot och Hantera Azure OpenAI-tjänstkvot.

Relaterat innehåll

  • Läs mer om vad du kan göra i Azure AI Studio
  • Få svar på vanliga frågor och svar i artikeln vanliga frågor och svar om Azure AI