Använda sammanfattning av Docker-containrar lokalt

Med containrar kan du vara värd för sammanfattnings-API:et i din egen infrastruktur. Om du har säkerhets- eller datastyrningskrav som inte kan uppfyllas genom att anropa Sammanfattning via fjärranslutning kan containrar vara ett bra alternativ.

Förutsättningar

• Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto.
• Docker installerat på en värddator. Docker måste konfigureras så att containrarna kan ansluta till och skicka faktureringsdata till Azure.
  • I Windows måste Docker också konfigureras för att stödja Linux-containrar.
  • Du bör ha en grundläggande förståelse för Docker-begrepp.
• En språkresurs med den kostnadsfria prisnivån (F0) eller standard (S). För frånkopplade containrar krävs DC0-nivån.

Samla in obligatoriska parametrar

Tre primära parametrar för alla Azure AI-containrar krävs. Licensvillkoren för Programvara från Microsoft måste finnas med värdet accept. En slutpunkts-URI och API-nyckel behövs också.

Slutpunkts-URI

Värdet {ENDPOINT_URI} är tillgängligt på översiktssidan för Azure-portalen för motsvarande Azure AI-tjänstresurs. Gå till sidan Översikt , hovra över slutpunkten och ikonen Kopiera till Urklipp visas. Kopiera och använd slutpunkten där det behövs.

Nycklar

Värdet {API_KEY} används för att starta containern och är tillgängligt på sidan Nycklar i Azure-portalen för motsvarande Azure AI-tjänstresurs. Gå till sidan Nycklar och välj ikonen Kopiera till Urklipp.

Krav och rekommendationer för värddatorer

Värden är en x64-baserad dator som kör Docker-containern. Det kan vara en dator lokalt eller en Docker-värdtjänst i Azure, till exempel:

• Azure Kubernetes Service.
• Azure Container Instances.
• Ett Kubernetes-kluster som distribuerats till Azure Stack. Mer information finns i Distribuera Kubernetes till Azure Stack.

I följande tabell beskrivs de minsta och rekommenderade specifikationerna för sammanfattningscontainerns kunskaper. Listade kombinationer av PROCESSOR/minne är för en 4000-tokeninmatning (konversationsförbrukningen gäller för alla aspekter i samma begäran).

CPU-kärna och minne motsvarar --cpus inställningarna och --memory som används som en del av docker run kommandot.

Hämta containeravbildningen med docker pull

Sammanfattningscontaineravbildningen finns i mcr.microsoft.com containerregistersyndikatet. Den finns på lagringsplatsen azure-cognitive-services/textanalytics/ och heter summarization. Det fullständigt kvalificerade containeravbildningsnamnet är, mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization

Om du vill använda den senaste versionen av containern kan du använda taggen latest . Du hittar också en fullständig lista över taggar på MCR.

docker pull Använd kommandot för att ladda ned en containeravbildning från Microsoft Container Registry.

docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu

för CPU-containrar,

docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu

för GPU-containrar.

docker images --format "table {{.ID}}\t{{.Repository}}\t{{.Tag}}"

IMAGE ID         REPOSITORY                TAG
<image-id>       <repository-path/name>    <tag-name>

Ladda ned sammanfattningscontainermodellerna

En förutsättning för att köra sammanfattningscontainern är att ladda ned modellerna först. Detta kan göras genom att köra något av följande kommandon med hjälp av en CPU-containeravbildning som exempel:

docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}

Vi rekommenderar inte att du laddar ned modeller för alla kunskaper i samma HOST_MODELS_PATH, eftersom containern läser in alla modeller i HOST_MODELS_PATH. Om du gör det skulle du använda en stor mängd minne. Vi rekommenderar att du bara laddar ned modellen för den kompetens du behöver i en viss HOST_MODELS_PATH.

För att säkerställa kompatibilitet mellan modeller och containern laddar du ned de modeller som används igen när du skapar en container med hjälp av en ny avbildningsversion. När du använder en frånkopplad container ska licensen laddas ned igen efter att modellerna har laddats ned.

Kör containern med docker run

När containern Summarization finns på värddatorn använder du följande docker run kommando för att köra containrarna. Containern fortsätter att köras tills du stoppar den. Ersätt platshållarna nedan med dina egna värden:

docker run -p 5000:5000 -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}

Om du kör en GPU-container använder du det här kommandot i stället.

docker run -p 5000:5000 --gpus all -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}

Om det finns mer än en GPU på datorn ersätter du --gpus all med --gpus device={DEVICE_ID}.

Det här kommandot:

• Kör en sammanfattningscontainer från containeravbildningen
• Allokerar en CPU-kärna och 4 GB minne
• Exponerar TCP-port 5000 och allokerar en pseudo-TTY för containern
• Tar automatiskt bort containern när den har avslutats. Containeravbildningen är fortfarande tillgänglig på värddatorn.

Köra flera containrar på samma värd

Om du tänker köra flera containrar med exponerade portar ska du köra varje container med en annan exponerad port. Kör till exempel den första containern på port 5000 och den andra containern på port 5001.

Du kan ha den här containern och en annan Azure AI-tjänstcontainer som körs på VÄRDEN tillsammans. Du kan också ha flera containrar av samma Azure AI-tjänstcontainer som körs.

Köra frågor mot containerns förutsägelseslutpunkt

Containern innehåller REST-baserade slutpunkts-API:er för frågeförutsägelse.

Använd värden, http://localhost:5000, för container-API:er.

Verifiera att en container körs

Det finns flera sätt att verifiera att containern körs. Leta upp den externa IP-adressen och den exponerade porten för containern i fråga och öppna din favoritwebbläsare. Använd de olika url:er för begäranden som följer för att verifiera att containern körs. Exempelbegärande-URL:er som anges här är http://localhost:5000, men din specifika container kan variera. Se till att förlita dig på containerns externa IP-adress och exponerade port.

Kör containern frånkopplad från Internet

Om du vill använda den här containern frånkopplad från Internet måste du först begära åtkomst genom att fylla i ett program och köpa en åtagandeplan. Mer information finns i Använda Docker-containrar i frånkopplade miljöer .

Om du har godkänts för att köra containern frånkopplad från Internet använder du följande exempel som visar formateringen för det docker run kommando som du ska använda, med platshållarvärden. Ersätt dessa platshållarvärden med dina egna värden.

Parametern DownloadLicense=True i kommandot docker run laddar ned en licensfil som gör att Docker-containern kan köras när den inte är ansluten till Internet. Den innehåller också ett förfallodatum, varefter licensfilen är ogiltig för att köra containern. Du kan bara använda en licensfil med lämplig container som du har godkänts för. Du kan till exempel inte använda en licensfil för en tal-till-text-container med en Language Services-container.

Ladda ned de frånkopplade containermodellerna för sammanfattning

En förutsättning för att köra sammanfattningscontainern är att ladda ned modellerna först. Detta kan göras genom att köra något av följande kommandon med hjälp av en CPU-containeravbildning som exempel:

docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}

Vi rekommenderar inte att du laddar ned modeller för alla kunskaper i samma HOST_MODELS_PATH, eftersom containern läser in alla modeller i HOST_MODELS_PATH. Om du gör det skulle du använda en stor mängd minne. Vi rekommenderar att du bara laddar ned modellen för den kompetens du behöver i en viss HOST_MODELS_PATH.

För att säkerställa kompatibilitet mellan modeller och containern laddar du ned de modeller som används igen när du skapar en container med hjälp av en ny avbildningsversion. När du använder en frånkopplad container ska licensen laddas ned igen efter att modellerna har laddats ned.

Kör den frånkopplade containern med docker run

docker run --rm -it -p 5000:5000 \ 
-v {LICENSE_MOUNT} \
-v {HOST_MODELS_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
billing={ENDPOINT_URI} \
apikey={API_KEY} \
DownloadLicense=True \
Mounts:License={CONTAINER_LICENSE_DIRECTORY} 

När licensfilen har laddats ned kan du köra containern i en frånkopplad miljö. I följande exempel visas formateringen för det docker run kommando som du ska använda, med platshållarvärden. Ersätt dessa platshållarvärden med dina egna värden.

Oavsett var containern körs måste licensfilen monteras på containern och platsen för licensmappen i containerns lokala filsystem måste anges med Mounts:License=. En utdatamontering måste också anges så att faktureringsanvändningsposter kan skrivas.

docker run --rm -it -p 5000:5000 --memory {MEMORY_SIZE} --cpus {NUMBER_CPUS} \ 
-v {LICENSE_MOUNT} \ 
-v {HOST_MODELS_PATH} \
-v {OUTPUT_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
Mounts:Output={CONTAINER_OUTPUT_DIRECTORY}

Stoppa containern

Om du vill stänga av containern väljer du Ctrl+C i den kommandoradsmiljö där containern körs.

Felsökning

Om du kör containern med en utdatamontering och loggning aktiverad genererar containern loggfiler som är användbara för att felsöka problem som inträffar när containern startas eller körs.

Fakturering

Sammanfattningscontainrarna skickar faktureringsinformation till Azure med hjälp av en språkresurs på ditt Azure-konto.

Frågor till containern faktureras på prisnivån för den Azure-resurs som används för parametern ApiKey .

Azure AI-tjänstcontainrar är inte licensierade att köras utan att vara anslutna till slutpunkten för mätning eller fakturering. Du måste aktivera containrarna för att kunna kommunicera faktureringsinformation med faktureringsslutpunkten hela tiden. Azure AI-tjänstcontainrar skickar inte kunddata, till exempel den bild eller text som analyseras, till Microsoft.

Ansluta till Azure

Containern behöver faktureringsargumentvärdena för att köras. Med de här värdena kan containern ansluta till faktureringsslutpunkten. Containern rapporterar användning var 10:e till 15:e minut. Om containern inte ansluter till Azure inom den tillåtna tidsperioden fortsätter containern att köras men hanterar inte frågor förrän faktureringsslutpunkten har återställts. Anslutningen görs 10 gånger med samma tidsintervall på 10 till 15 minuter. Om den inte kan ansluta till faktureringsslutpunkten inom de 10 försöken slutar containern att hantera begäranden. Se vanliga frågor och svar om Azure AI-tjänstcontainern för ett exempel på den information som skickas till Microsoft för fakturering.

Faktureringsargument

Kommandot docker run startar containern när alla tre av följande alternativ har giltiga värden:

Mer information om de här alternativen finns i Konfigurera containrar.

Sammanfattning

I den här artikeln har du lärt dig begrepp och arbetsflöden för att ladda ned, installera och köra sammanfattningscontainrar. Sammanfattningsvis:

• Sammanfattning tillhandahåller Linux-containrar för Docker
• Containeravbildningar laddas ned från Microsoft Container Registry (MCR).
• Containeravbildningar körs i Docker.
• Du måste ange faktureringsinformation när du instansierar en container.

Nästa steg

• Se Konfigurera containrar för konfigurationsinställningar.