Použití místních kontejnerů Dockeru pro sumarizaci

Kontejnery umožňují hostovat rozhraní API pro sumarizaci ve vlastní infrastruktuře. Pokud máte požadavky na zabezpečení nebo zásady správného řízení dat, které se nedají splnit voláním funkce Sumarizace vzdáleně, můžou být kontejnery dobrou volbou.

Požadavky

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.
• Docker nainstalovaný na hostitelském počítači. Docker musí být nakonfigurovaný tak, aby se kontejnery mohly připojit a odesílat fakturační data do Azure.
  • Ve Windows musí být Docker také nakonfigurovaný tak, aby podporoval kontejnery Linuxu.
  • Měli byste mít základní znalosti o konceptech Dockeru.
• Prostředek jazyka s cenovou úrovní Free (F0) nebo Standard (S). Pro odpojené kontejnery se vyžaduje úroveň DC0.

Shromáždění požadovaných parametrů

Jsou vyžadovány tři primární parametry pro všechny kontejnery Azure AI. Licenční podmínky pro software společnosti Microsoft musí být k dispozici s hodnotou přijetí. Vyžaduje se také identifikátor URI koncového bodu a klíč rozhraní API.

Identifikátor URI koncového bodu

Tato {ENDPOINT_URI} hodnota je k dispozici na stránce Přehled webu Azure Portal odpovídajícího prostředku služeb Azure AI. Přejděte na stránku Přehled, najeďte myší na koncový bod a zobrazí se ikona Kopírovat do schránky. Zkopírujte koncový bod a použijte ho tam, kde je to potřeba.

Klávesy

Hodnota {API_KEY} se používá ke spuštění kontejneru a je k dispozici na stránce Klíče webu Azure Portal odpovídajícího prostředku služeb Azure AI. Přejděte na stránku Klíče a vyberte ikonu Kopírovat do schránky.

Požadavky na hostitelský počítač a doporučení

Hostitel je počítač založený na platformě x64, na kterém běží kontejner Dockeru. Může to být počítač v místním prostředí nebo hostitelská služba Dockeru v Azure, například:

• Azure Kubernetes Service.
• Azure Container Instances.
• Cluster Kubernetes nasazený do služby Azure Stack. Další informace najdete v tématu Nasazení Kubernetes do služby Azure Stack.

Následující tabulka popisuje minimální a doporučené specifikace pro dovednosti kontejnerů souhrnu. Uvedené kombinace procesoru a paměti jsou pro vstup tokenu 4000 (spotřeba konverzací je určená pro všechny aspekty stejného požadavku).

Jádro procesoru --cpus a paměť odpovídají nastavením, --memory které se používají jako součást docker run příkazu.

Získání image kontejneru pomocí docker pull

Image kontejneru Souhrn najdete v syndikátu registru kontejneru mcr.microsoft.com . Nachází se v úložišti azure-cognitive-services/textanalytics/ a má název summarization. Plně kvalifikovaný název image kontejneru je: mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization

Pokud chcete použít nejnovější verzi kontejneru, můžete použít latest značku. Úplný seznam značek najdete také v MCR.

docker pull Pomocí příkazu stáhněte image kontejneru ze služby Microsoft Container Registry.

docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu

pro kontejnery procesoru,

docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu

pro kontejnery GPU.

docker images --format "table {{.ID}}\t{{.Repository}}\t{{.Tag}}"

IMAGE ID         REPOSITORY                TAG
<image-id>       <repository-path/name>    <tag-name>

Stažení modelů kontejnerů sumarizace

Předpokladem pro spuštění kontejneru sumarizace je nejprve stažení modelů. Můžete to provést spuštěním jednoho z následujících příkazů pomocí image kontejneru procesoru jako příklad:

docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}

Nedoporučuje se stahovat modely pro všechny dovednosti uvnitř stejného HOST_MODELS_PATH, protože kontejner načte všechny modely uvnitř HOST_MODELS_PATH. Tím by se použilo velké množství paměti. Doporučuje se stáhnout pouze model pro dovednost, kterou potřebujete.HOST_MODELS_PATH

Pokud chcete zajistit kompatibilitu mezi modely a kontejnerem, znovu stáhněte využité modely pokaždé, když vytvoříte kontejner pomocí nové verze image. Při použití odpojeného kontejneru by se licence po stažení modelů měla stáhnout znovu.

Spuštění kontejneru pomocí docker run

Jakmile je kontejner Souhrn na hostitelském počítači, spusťte kontejnery pomocí následujícího docker run příkazu. Kontejner se bude dál spouštět, dokud ho nezastavíte. Nahraďte následující zástupné symboly vlastními hodnotami:

docker run -p 5000:5000 -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}

Nebo pokud používáte kontejner GPU, použijte tento příkaz.

docker run -p 5000:5000 --gpus all -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}

Pokud je na počítači více než jeden GPU, nahraďte --gpus all ho .--gpus device={DEVICE_ID}

Tento příkaz:

• Spustí kontejner souhrnu z image kontejneru.
• Přidělí jedno jádro procesoru a 4 gigabajty (GB) paměti.
• Zpřístupní port TCP 5000 a přidělí pro kontejner pseudo-TTY.
• Po ukončení kontejneru se automaticky odebere. Image kontejneru je stále dostupná na hostitelském počítači.

Spuštění více kontejnerů na stejném hostiteli

Pokud máte v úmyslu spouštět více kontejnerů s vystavenými porty, nezapomeňte jednotlivé kontejnery spouštět s jiným vystaveným portem. Například spusťte první kontejner na portu 5000 a druhý kontejner na portu 5001.

Tento kontejner a jiný kontejner služeb Azure AI můžete mít spuštěný společně na hostiteli. Můžete mít také několik kontejnerů stejného kontejneru služeb Azure AI spuštěných.

Zadání dotazu do prediktivního koncového bodu kontejneru

Kontejner poskytuje rozhraní API prediktivního koncového bodu pro dotazy založené na REST.

Pro rozhraní API kontejneru použijte hostitele http://localhost:5000.

Ověření, že je kontejner spuštěný

Existuje několik způsobů, jak ověřit, že je kontejner spuštěný. Vyhledejte externí IP adresu a vystavený port kontejneru a otevřete svůj oblíbený webový prohlížeč. Pomocí různých adres URL požadavků, které následují, ověřte, že kontejner běží. Tady jsou uvedené http://localhost:5000ukázkové adresy URL požadavků, ale váš konkrétní kontejner se může lišit. Ujistěte se, že spoléháte na externí IP adresu kontejneru a vystavený port.

Spuštění kontejneru odpojeného od internetu

Pokud chcete tento kontejner používat odpojený od internetu, musíte nejprve požádat o přístup vyplněním aplikace a zakoupením plánu závazku. Další informace najdete v tématu Použití kontejnerů Dockeru v odpojených prostředích .

Pokud jste schválili spuštění kontejneru odpojeného od internetu, použijte následující příklad, který ukazuje formátování docker run příkazu, který použijete, se zástupnými hodnotami. Nahraďte tyto zástupné hodnoty vlastními hodnotami.

Parametr DownloadLicense=True v docker run příkazu stáhne licenční soubor, který umožní spuštění kontejneru Dockeru, když není připojený k internetu. Obsahuje také datum vypršení platnosti, po kterém bude soubor licence neplatný pro spuštění kontejneru. Soubor s licencí můžete použít pouze s příslušným kontejnerem, pro který jste byli schváleni. Nemůžete například použít licenční soubor pro kontejner převodu řeči na text s kontejnerem služeb Language.

Stažení modelů odpojených kontejnerů souhrnu

Předpokladem pro spuštění kontejneru sumarizace je nejprve stažení modelů. Můžete to provést spuštěním jednoho z následujících příkazů pomocí image kontejneru procesoru jako příklad:

docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}

Nedoporučuje se stahovat modely pro všechny dovednosti uvnitř stejného HOST_MODELS_PATH, protože kontejner načte všechny modely uvnitř HOST_MODELS_PATH. Tím by se použilo velké množství paměti. Doporučuje se stáhnout pouze model pro dovednost, kterou potřebujete.HOST_MODELS_PATH

Pokud chcete zajistit kompatibilitu mezi modely a kontejnerem, znovu stáhněte využité modely pokaždé, když vytvoříte kontejner pomocí nové verze image. Při použití odpojeného kontejneru by se licence po stažení modelů měla stáhnout znovu.

Spuštění odpojeného kontejneru pomocí docker run

docker run --rm -it -p 5000:5000 \ 
-v {LICENSE_MOUNT} \
-v {HOST_MODELS_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
billing={ENDPOINT_URI} \
apikey={API_KEY} \
DownloadLicense=True \
Mounts:License={CONTAINER_LICENSE_DIRECTORY} 

Po stažení souboru licence můžete kontejner spustit v odpojeném prostředí. Následující příklad ukazuje formátování docker run příkazu, který použijete, se zástupnými hodnotami. Nahraďte tyto zástupné hodnoty vlastními hodnotami.

Všude, kde je kontejner spuštěný, musí být soubor licence připojen ke kontejneru a umístění složky s licencí v místním systému souborů kontejneru musí být zadáno pomocí Mounts:License=. Musí být zadán také výstupní připojení, aby bylo možné zapsat záznamy o využití fakturace.

docker run --rm -it -p 5000:5000 --memory {MEMORY_SIZE} --cpus {NUMBER_CPUS} \ 
-v {LICENSE_MOUNT} \ 
-v {HOST_MODELS_PATH} \
-v {OUTPUT_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
Mounts:Output={CONTAINER_OUTPUT_DIRECTORY}

Zastavení kontejneru

Pokud chcete kontejner vypnout, vyberte v prostředí příkazového řádku, ve kterém je kontejner spuštěný, ctrl+C.

Řešení problému

Pokud kontejner spustíte s povoleným připojením a protokolováním výstupu, kontejner vygeneruje soubory protokolu, které jsou užitečné při řešení problémů, ke kterým dochází při spuštění nebo spuštění kontejneru.

Fakturace

Kontejnery sumarizace odesílají fakturační údaje do Azure pomocí prostředku jazyka na vašem účtu Azure.

Dotazy na kontejner se účtují na cenové úrovni prostředku Azure, který se používá pro tento ApiKey parametr.

Kontejnery služeb Azure AI nejsou licencované ke spuštění bez připojení ke koncovému bodu měření nebo fakturace. Kontejnery musíte povolit, aby vždy komunikují fakturační údaje s koncovým bodem fakturace. Kontejnery služeb Azure AI neodesílají zákaznická data, jako je obrázek nebo text analyzovaný, do Microsoftu.

Připojení k Azure

Kontejner potřebuje ke spuštění hodnoty fakturačních argumentů. Tyto hodnoty umožňují kontejneru připojit se ke koncovému bodu fakturace. Kontejner hlásí využití přibližně každých 10 až 15 minut. Pokud se kontejner nepřipojí k Azure v rámci povoleného časového intervalu, kontejner se bude dál spouštět, ale nebude obsluhovat dotazy, dokud se neobnoví koncový bod fakturace. Připojení se pokouší 10krát ve stejném časovém intervalu 10 až 15 minut. Pokud se během 10 pokusů nemůže připojit ke koncovému bodu fakturace, kontejner přestane obsluhovat požadavky. Příklad informací odeslaných Microsoftu pro fakturaci najdete v nejčastějších dotazech ke kontejneru služeb Azure AI.

Argumenty fakturace

Příkaz docker run spustí kontejner, pokud jsou k dispozici všechny tři z následujících možností s platnými hodnotami:

Další informace o těchto možnostech najdete v tématu Konfigurace kontejnerů.

Shrnutí

V tomto článku jste se naučili koncepty a pracovní postupy pro stahování, instalaci a spouštění kontejnerů souhrnů. Souhrnně:

• Shrnutí poskytuje kontejnery Linuxu pro Docker
• Image kontejnerů se stáhnou ze služby Microsoft Container Registry (MCR).
• Image kontejnerů se spouštějí v Dockeru.
• Při vytváření instance kontejneru je nutné zadat fakturační údaje.

Další kroky

• Viz Konfigurace kontejnerů pro nastavení konfigurace.