Monitorování prostředí Integration Runtime ve službě Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Prostředí Integration Runtime je výpočetní infrastruktura používaná službou Azure Data Factory (ADF) k poskytování různých možností integrace dat v různých síťových prostředích. Data Factory nabízí tři typy prostředí Integration Runtime:

• Prostředí Azure Integration Runtime
• Modul runtime integrace v místním prostředí
• Prostředí Azure-SQL Server Integration Services (SSIS) Integration Runtime

Pokud chcete získat stav instance prostředí Integration Runtime (IR), spusťte následující příkaz PowerShellu:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Rutina vrací různé informace pro různé typy prostředí Integration Runtime. Tento článek vysvětluje vlastnosti a stavy jednotlivých typů prostředí Integration Runtime.

Prostředí Azure Integration Runtime

Výpočetní prostředek prostředí Azure Integration Runtime je plně spravovaný elasticky v Azure. Následující tabulka obsahuje popisy vlastností vrácených příkazem Get-AzDataFactoryV2IntegrationRuntime :

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených rutinou prostředí Azure Integration Runtime:

Stav

Následující tabulka obsahuje možné stavy prostředí Azure Integration Runtime:

Modul runtime integrace v místním prostředí

Tato část obsahuje popisy vlastností vrácených rutinou Get-AzDataFactoryV2IntegrationRuntime.

Vlastnosti

Následující tabulka obsahuje popis vlastností monitorování pro každý uzel:

Některá nastavení vlastností mají větší smysl, pokud v místním prostředí Integration Runtime existují dva nebo více uzlů (to znamená ve scénáři horizontálního navýšení kapacity).

Limit souběžných úloh

Výchozí hodnota limitu souběžných úloh je nastavená na základě velikosti počítače. Faktory použité k výpočtu této hodnoty závisí na množství paměti RAM a počtu jader procesoru počítače. Čím více jader a více paměti, tím vyšší je výchozí limit souběžných úloh.

Horizontální navýšením kapacity zvýšíte počet uzlů. Když zvýšíte počet uzlů, limit souběžných úloh je součet hodnot limitu souběžných úloh všech dostupných uzlů. Pokud například jeden uzel umožňuje spustit maximálně dvanáct souběžných úloh, můžete přidáním tří dalších podobných uzlů spustit maximálně 48 souběžných úloh (to znamená 4 x 12). Doporučujeme zvýšit limit souběžných úloh pouze v případech, kdy se na každém uzlu zobrazí nízké využití prostředků s výchozími hodnotami.

Počítanou výchozí hodnotu můžete přepsat na webu Azure Portal. Vyberte Možnost Author > Connections > Integration Runtimes Edit > Nodes > Edit Nodes > Modify concurrent job value per node. Můžete také použít příkaz PowerShell update-Azdatafactoryv2integrationruntimenode .

Stav (na uzel)

Následující tabulka obsahuje možné stavy uzlu místního prostředí Integration Runtime:

Uzel může být neaktivní, když se nemůže připojit k jiným uzlům.

Stav (celkový místní prostředí Integration Runtime)

Následující tabulka obsahuje možné stavy místního prostředí Integration Runtime. Tento stav závisí na stavech všech uzlů, které patří do modulu runtime.

Pomocí rutiny Get-AzDataFactoryV2IntegrationRuntimeMetric načtěte datovou část JSON obsahující podrobné vlastnosti místního prostředí Integration Runtime a jejich hodnoty snímků během provádění rutiny.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Ukázkový výstup (předpokládá se, že k tomuto místnímu prostředí Integration Runtime jsou přidružené dva uzly):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

Prostředí Azure-SSIS Integration Runtime

Azure-SSIS IR je plně spravovaný cluster virtuálních počítačů Azure (virtuálních počítačů nebo uzlů) vyhrazených ke spouštění balíčků SSIS. Spouštění balíčků SSIS v Prostředí Azure-SSIS IR můžete vyvolat různými metodami, například prostřednictvím nástrojů SQL Server Data Tools (SSDT), nástroje příkazového řádku AzureDTExec, T-SQL v sadě SQL Server Management Studio (SSMS) nebo agenta SQL Serveru a provádění aktivit balíčků SSIS v kanálech ADF. Azure-SSIS IR nespouští žádné další aktivity ADF. Po zřízení můžete prostřednictvím Azure PowerShellu, webu Azure Portal a Azure Monitoru monitorovat jeho celkové vlastnosti a stavy specifické pro uzly.

Monitorování prostředí Azure-SSIS Integration Runtime pomocí Azure PowerShellu

Pomocí následující rutiny Azure PowerShellu můžete monitorovat celkové vlastnosti a stavy prostředí Azure-SSIS IR specifické pro jednotlivé uzly.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Vlastnosti

Následující tabulka obsahuje popis vlastností vrácených výše uvedenou rutinou pro prostředí Azure-SSIS IR.

Stav (na uzel Azure-SSIS IR)

Následující tabulka obsahuje možné stavy uzlu Azure-SSIS IR:

Stav (celkový azure-SSIS IR)

Následující tabulka obsahuje možné celkové stavy prostředí Azure-SSIS IR. Celkový stav zase závisí na kombinovaných stavech všech uzlů, které patří do prostředí Azure-SSIS IR.

Monitorování prostředí Azure-SSIS Integration Runtime na webu Azure Portal

Pokud chcete monitorovat prostředí Azure-SSIS IR na webu Azure Portal, přejděte na stránku Prostředí Integration Runtime centra monitorování v uživatelském rozhraní ADF, kde můžete zobrazit všechny vaše prostředí Integration Runtime.

Potom výběrem názvu prostředí Azure-SSIS IR otevřete stránku monitorování, kde uvidíte její celkové vlastnosti a stavy specifické pro uzly. Na této stránce v závislosti na tom, jak nakonfigurujete obecné, nasazení a upřesňující nastavení prostředí Azure-SSIS IR, najdete různé informační/funkční dlaždice.

Informační dlaždice TYPE a REGION zobrazují typ a oblast prostředí Azure-SSIS IR.

Informační dlaždice VELIKOST UZLU zobrazuje skladovou položku (SSIS edition_VM tier_VM series), počet jader procesoru a velikost paměti RAM na uzel pro prostředí Azure-SSIS IR.

Informační dlaždice SPUŠTĚNÝCH/POŽADOVANÝCH UZLŮ porovnává počet uzlů, které jsou aktuálně spuštěné, s celkovým počtem uzlů, které byly dříve požadovány pro prostředí Azure-SSIS IR.

Dlaždice DUÁLNÍ POHOTOVOSTNÍ PÁR / INFORMAČNÍ ROLE zobrazuje název dvojice prostředí Azure-SSIS IR s duálním pohotovostním režimem, která funguje v synchronizaci se skupinou převzetí služeb při selhání služby Azure SQL Managed Instance pro provozní kontinuitu a zotavení po havárii (BCDR) a aktuální primární/sekundární rolí prostředí Azure-SSIS IR. Když dojde k převzetí služeb při selhání SSISDB, vaše primární a sekundární prostředí Azure-SSIS IRS prohodí role (viz Konfigurace prostředí Azure-SSIS IR pro BCDR).

Funkční dlaždice jsou popsány v dalších podrobnostech níže.

Dlaždice STATUS

Na dlaždici STAV na stránce monitorování prostředí Azure-SSIS IR uvidíte celkový stav, například Spuštěno nebo Zastaveno. Výběrem běhu se zobrazí okno s tlačítkem Živé zastavení a zastavíte prostředí Azure-SSIS IR. Když vyberete stav Zastaveno , zobrazí se okno s živým tlačítkem Start a spustí se prostředí Azure-SSIS IR. Automaticky otevírané okno obsahuje také tlačítko Spustit balíček SSIS pro automatické vygenerování kanálu ADF s aktivitou Spuštění balíčku SSIS, která běží na prostředí Azure-SSIS IR (viz Spouštění balíčků SSIS jako spouštění aktivit balíčku SSIS v kanálech ADF) a textové pole ID prostředku, ze kterého můžete zkopírovat ID prostředku Azure-SSIS IR (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Přípona ID prostředku Azure-SSIS IR, které obsahuje názvy ADF a Azure-SSIS IR, tvoří ID clusteru, které se dá použít k nákupu dalších prémiových nebo licencovaných komponent SSIS od nezávislých dodavatelů softwaru (ISV) a jejich vazby k prostředí Azure-SSIS IR (viz Instalace prémiových nebo licencovaných komponent na prostředí Azure-SSIS IR).

Dlaždice KONCOVÝ BOD SERVERU SSISDB

Pokud používáte model nasazení projektu, ve kterém jsou balíčky uložené v databázi SSISDB hostované serverem nebo spravovanou instancí Azure SQL Database, zobrazí se dlaždice KONCOVÝ BOD SERVERU SSISDB na stránce monitorování Azure-SSIS IR (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz, který označuje server služby Azure SQL Database nebo spravovanou instanci, a otevřít tak okno, kde můžete zkopírovat koncový bod serveru z textového pole a použít ho při připojování ze služby SSMS k nasazení, konfiguraci, spuštění a správě balíčků. V automaticky otevíraných otevíraných oknech můžete také vybrat odkaz Zobrazit nastavení služby Azure SQL Database nebo spravované instance a změnit tak velikost databáze SSISDB na webu Azure Portal.

Dlaždice PROXY/ STAGING

Pokud stáhnete, nainstalujete a nakonfigurujete místní prostředí IR (SHIR) jako proxy server pro prostředí Azure-SSIS IR pro přístup k datům v místním prostředí, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PROXY /STAGING (viz Konfigurace prostředí IR jako proxy prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující váš nástroj SHIR a otevřít stránku monitorování. Můžete také vybrat jiný odkaz, který navrhuje službu Azure Blob Storage pro přípravu a překonfigurovat propojenou službu.

Dlaždice OVĚŘIT virtuální síť nebo PODSÍŤ

Pokud připojíte prostředí Azure-SSIS IR k virtuální síti, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice OVĚŘIT virtuální síť nebo PODSÍŤ (viz Připojení prostředí Azure-SSIS IR k virtuální síti). Na této dlaždici můžete vybrat odkaz označující virtuální síť a podsíť, aby se automaticky otevírané okno, ve kterém můžete zkopírovat ID prostředku virtuální sítě (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) a název podsítě z textových polí a ověřit konfigurace virtuální sítě a podsítě, abyste měli jistotu, že požadované příchozí a odchozí síťové přenosy a správa prostředí Azure-SSIS IR nejsou nepřekážené.

Dlaždice DIAGNOSTIKA PŘIPOJENÍ

Na dlaždici DIAGNOSTIKOVAT PŘIPOJENÍ na stránce monitorování prostředí Azure-SSIS IR můžete vybrat odkaz pro testovací připojení a otevřít okno, kde můžete zkontrolovat připojení mezi prostředím Azure-SSIS IR a relevantním balíčkem, konfigurací a úložišti dat a službami pro správu prostřednictvím plně kvalifikovaného názvu domény (FQDN) nebo IP adresy a určeného portu (viz Testování připojení z prostředí Azure-SSIS IR).

Dlaždice STATICKÉ VEŘEJNÉ IP ADRESY

Pokud pro Azure-SSIS IR použijete vlastní statické veřejné IP adresy, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice STATICKÉ VEŘEJNÉ IP ADRESY (viz Přenesení vlastních statických veřejných IP adres pro Azure-SSIS IR). Na této dlaždici můžete vybrat odkazy označující první/druhou statickou veřejnou IP adresu pro Azure-SSIS IR a zobrazit tak okno, kde můžete zkopírovat ID prostředku (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) z textového pole. V automaticky otevíraných otevíraných oknech můžete také vybrat odkaz Zobrazit nastavení první/druhé statické veřejné IP adresy pro správu první/druhé statické veřejné IP adresy na webu Azure Portal.

Dlaždice PACKAGE STORES

Pokud používáte model nasazení balíčků, ve kterém jsou balíčky uložené v systému souborů, ve službě Azure Files nebo v databázi SQL Serveru (MSDB) hostované službou Azure SQL Managed Instance a spravujete je prostřednictvím úložišť balíčků Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR dlaždice PACKAGE STORES (viz Konfigurace nastavení nasazení prostředí Azure-SSIS IR). Na této dlaždici můžete vybrat odkaz označující počet úložišť balíčků připojených k prostředí Azure-SSIS IR. Otevře se okno, ve kterém můžete překonfigurovat příslušné propojené služby pro úložiště balíčků Azure-SSIS IR nad systémem souborů, službami Azure Files/MSDB hostovanými vaší službou Azure SQL Managed Instance.

Dlaždice ERROR(S)

Pokud dojde k problémům se spuštěním, zastavením, údržbou nebo upgradem prostředí Azure-SSIS IR, zobrazí se na stránce monitorování prostředí Azure-SSIS IR další dlaždice CHYB . Na této dlaždici můžete vybrat odkaz označující počet chyb vygenerovaných prostředím Azure-SSIS IR, aby se zobrazilo okno, ve kterém se tyto chyby zobrazí v dalších podrobnostech a zkopírujete je, abyste našli doporučená řešení v našem průvodci odstraňováním potíží (viz Řešení potíží s prostředím Azure-SSIS IR).

Monitorování prostředí Azure-SSIS Integration Runtime pomocí služby Azure Monitor

Pokud chcete monitorovat prostředí Azure-SSIS IR pomocí služby Azure Monitor, přečtěte si téma Monitorování operací SSIS pomocí služby Azure Monitor.

Další informace o prostředí Azure-SSIS Integration Runtime

Další informace o prostředí Azure-SSIS Integration Runtime najdete v následujících článcích:

• Azure-SSIS Integration Runtime. Tento článek obsahuje obecně koncepční informace o prostředích Integration Runtime, včetně prostředí Azure-SSIS IR.
• Kurz: Nasazení balíčků SSIS do Azure Tento článek obsahuje podrobné pokyny k vytvoření prostředí Azure-SSIS IR a použití služby Azure SQL Database k hostování katalogu SSIS (SSISDB).
• Postup: Vytvoření prostředí Azure-SSIS Integration Runtime Tento článek se zaměřuje na kurz a obsahuje pokyny k používání služby Azure SQL Managed Instance k hostování databáze SSISDB.
• Správa Azure-SSIS IR. V tomto článku se dozvíte, jak spustit, zastavit nebo odstranit prostředí Azure-SSIS IR. Ukazuje také, jak ho škálovat přidáním dalších uzlů.
• Připojení Azure-SSIS IR k virtuální síti. Tento článek obsahuje pokyny k připojení prostředí Azure-SSIS IR k virtuální síti.

Související obsah

V následujících článcích najdete informace o monitorování kanálů různými způsoby:

• Rychlý start: Vytvoření datové továrny
• Použití služby Azure Monitor k monitorování kanálů služby Data Factory