Överväganden för affärskontinuitet och haveriberedskap (BCDR) med Azure OpenAI Service

  • Artikel

Azure OpenAI är tillgängligt i flera regioner. När du skapar en Azure OpenAI-resurs anger du en region. Från och med då förblir din resurs och alla dess åtgärder associerade med den Azure-serverregionen.

Det är ovanligt, men inte omöjligt, att stöta på ett nätverksproblem som drabbar en hel region. Om din tjänst alltid behöver vara tillgänglig bör du utforma den till antingen redundansväxling till en annan region eller dela upp arbetsbelastningen mellan två eller flera regioner. Båda metoderna kräver minst två Azure OpenAI-resurser i olika regioner. Den här artikeln innehåller allmänna rekommendationer för hur du implementerar BCDR (Business Continuity and Disaster Recovery) för dina Azure OpenAI-program.

BCDR kräver anpassad kod

Idag anropar kunderna slutpunkten som tillhandahålls under distributionen för slutsatsdragning. Slutsatsdragningsåtgärder är tillståndslösa, så inga data går förlorade om en region blir otillgänglig.

Om en region är icke-operativa kunder måste vidta åtgärder för att säkerställa tjänstkontinuitet.

BCDR för basmodell och anpassad modell

Om du använder basmodellerna bör du konfigurera klientkoden för att övervaka fel, och om felen kvarstår bör du vara beredd att omdirigera till en annan region där du har en Azure OpenAI-prenumeration.

Följ de här stegen för att konfigurera klienten för att övervaka fel:

  1. Använd modellsidan för att välja de datacenter och regioner som passar dig bäst.

  2. Välj en primär och en (eller flera) sekundära/säkerhetskopierade regioner i listan.

  3. Skapa Azure OpenAI-resurser för varje eller flera valda regioner.

  4. För den primära regionen och eventuella säkerhetskopieringsregioner måste koden veta:

    • Bas-URI för resursen
    • Regional åtkomstnyckel eller Microsoft Entra-ID-åtkomst

  5. Konfigurera koden så att du övervakar anslutningsfel (vanligtvis tidsgränser för anslutning och otillgänglighetsfel för tjänsten).

    • Med tanke på att nätverk ger tillfälliga fel är förslaget att försöka igen för enskilda förekomster av anslutningsproblem.
    • För beständiga anslutningsproblem omdirigerar du trafik till säkerhetskopieringsresursen i de regioner som du har skapat.

Om du har finjusterat en modell i din primära region måste du träna om basmodellen i de sekundära regionerna med samma träningsdata. Följ sedan stegen ovan.