Monitorování výkonu, stavu a využití Azure Data Exploreru s využitím metrik

  • Článek

Metriky Azure Data Exploreru poskytují klíčové ukazatele stavu a výkonu prostředků clusteru Azure Data Exploreru. Pomocí metrik, které jsou podrobně popsané v tomto článku, můžete monitorovat využití, stav a výkon clusteru Azure Data Exploreru ve vašem konkrétním scénáři jako samostatné metriky. Metriky můžete také použít jako základ pro provozní řídicí panely Azure a upozornění Azure.

Další informace o Průzkumníku metrik Azure najdete v tématu Průzkumník metrik.

Požadavky

Monitorování prostředků Azure Data Exploreru pomocí metrik

  1. Přihlaste se k portálu Azure.
  2. V levém podokně clusteru Azure Data Exploreru vyhledejte metriky.
  3. Výběrem možnosti Metriky otevřete podokno metrik a začněte analyzovat cluster. Vyhledejte a vyberte metriky na webu Azure Portal.

Práce v podokně metrik

V podokně metrik vyberte konkrétní metriky, které chcete sledovat, zvolte, jak agregovat data, a vytvořit grafy metrik pro zobrazení na řídicím panelu.

Pro cluster Azure Data Exploreru jsou předem vybrány nástroje pro výběr oboru názvů prostředků a metrik. Čísla na následujícím obrázku odpovídají číslovanýmu seznamu níže. Provedou vás různými možnostmi při nastavování a prohlížení metrik.

Podokno Metriky

  1. Pokud chcete vytvořit graf metrik, vyberte název metriky a příslušnou agregaci na metriku. Další informace o různých metrikách najdete v podporovaných metrikách Azure Data Exploreru.
  2. Výběrem možnosti Přidat metriku zobrazíte několik metrik vykreslených ve stejném grafu.
  3. Pokud chcete zobrazit více grafů v jednom zobrazení, vyberte + Nový graf .
  4. Pomocí nástroje pro výběr času můžete změnit časový rozsah (výchozí hodnota: posledních 24 hodin).
  5. Použijte přidat filtr a použít rozdělení pro metriky, které mají dimenze.
  6. Výběrem možnosti Připnout na řídicí panel přidáte konfiguraci grafu do řídicích panelů, abyste ji mohli znovu zobrazit.
  7. Nastavte nové pravidlo upozornění pro vizualizaci metrik pomocí nastavených kritérií. Nové pravidlo upozornění bude zahrnovat cílový prostředek, metriku, rozdělení a filtrovací dimenze z grafu. Upravte tato nastavení v podokně vytváření pravidla upozornění.

Podporované metriky Azure Data Exploreru

Metriky Azure Data Exploreru poskytují přehled o celkovém výkonu a využití vašich prostředků a také informace o konkrétních akcích, jako je příjem dat nebo dotaz. Metriky v tomto článku byly seskupeny podle typu použití.

Mezi typy metrik patří:

Abecední seznam metrik služby Azure Monitor pro Azure Data Explorers najdete v podporovaných metrikách clusteru Azure Data Exploreru.

Metriky clusteru

Metriky clusteru sledují obecný stav clusteru. Například využití prostředků a příjmu dat a rychlost odezvy.

Metrika Jednotka Agregace Popis metriky Dimenze
Využití mezipaměti (zastaralé) Procenta Avg, Max, Min Procento přidělených prostředků mezipaměti, které cluster aktuálně používá. Mezipaměť je velikost jednotky SSD přidělená pro aktivity uživatelů podle definovaných zásad mezipaměti.

Průměrné využití mezipaměti na úrovni 80 % nebo méně znamená pro cluster udržitelný stav. Pokud průměrné využití mezipaměti překračuje 80 %, cluster by měl být
vertikální navýšení kapacity na cenovou úroveň optimalizovanou pro úložiště nebo
Horizontální navýšení kapacity na více instancí Případně můžete zásady mezipaměti přizpůsobit na méně dní v mezipaměti. Pokud je využití mezipaměti větší než 100 %, velikost dat, která se mají ukládat do mezipaměti, je větší než celková velikost mezipaměti v clusteru.
Tato metrika je zastaralá a zobrazuje se pouze kvůli zpětné kompatibilitě. Místo toho použijte metriku Využití mezipaměti.		 Nic
Faktor využití mezipaměti Procenta Avg, Max, Min Procento využitého místa na disku vyhrazeného pro horkou mezipaměť v clusteru
100 % znamená, že se optimálně využívá místo na disku přiřazené k horkým datům. Není nutná žádná akce a cluster je zcela v pořádku.
Méně než 100 % znamená, že místo na disku přiřazené pro horká data se plně nevyužívá.
Více než 100 % znamená, že místo na disku clusteru není dostatečně velké, aby vyhovovalo horkým datům definovaným zásadami ukládání do mezipaměti. Aby bylo zajištěno, že je pro všechna horká data k dispozici dostatek místa, je potřeba snížit množství horkých dat nebo je potřeba škálovat cluster. Doporučujeme povolit automatické škálování.		 Nic
Procesor Procenta Avg, Max, Min Procento přidělených výpočetních prostředků aktuálně používané počítači v clusteru.

Průměrná hodnota CPU na úrovni 80 % nebo méně je pro cluster udržitelná. Maximální hodnota CPU je 100 %. Znamená, že nejsou k dispozici žádné další výpočetní prostředky pro zpracování dat.
Pokud cluster nefunguje správně, zkontrolujte maximální hodnotu procesoru a zjistěte, jestli jsou blokované konkrétní procesory.		 Nic
Využití příjmu dat Procenta Avg, Max, Min Procento skutečných prostředků používaných k příjmu dat z celkových přidělených prostředků v zásadách kapacity k příjmu dat. Výchozími zásadami kapacity je maximálně 512 souběžných operací příjmu dat nebo 75 % prostředků clusteru zapojených do příjmu dat.

Průměrné využití příjmu dat na úrovni 80 % nebo méně znamená pro cluster udržitelný stav. Maximální hodnota využití příjmu dat je 100 %. Znamená, že se využívá veškerá schopnost clusteru ingestovat data a výsledkem může být fronta pro příjem dat.		 Nic
InstanceCount Počet Průměr Celkový počet instancí.
Udržování naživu Počet Průměr Sleduje rychlost odezvy clusteru.

Plně responzivní cluster vrátí hodnotu 1 a blokovaný nebo odpojený cluster vrátí hodnotu 0.
Celkový počet omezených příkazů Počet Avg, Max, Min, Sum Počet omezených (odmítnutých) příkazů v clusteru, protože byl dosažen maximální povolený počet souběžných (paralelních) příkazů. Nic
Celkový počet rozsahů Počet Avg, Max, Min, Sum Celkový počet rozsahů dat v clusteru.

Změny v této metrice můžou znamenat obrovské změny datové struktury a vysoké zatížení clusteru, protože sloučení rozsahů dat je aktivita náročná na procesor.		 Nic
Latence sledování Milisekundy Avg, Max, Min Následující databáze synchronizují změny v databázích vedoucího serveru. Kvůli synchronizaci dochází k prodlevě dat o několika sekundách až o několik minut v dostupnosti dat.

Tato metrika měří délku časové prodlevy. Časová prodleva závisí na několika faktorech, jako jsou: celková velikost a míra přijatých dat do vedoucího procesu, počet sledovaných databází, míra interních operací provedených u vedoucího procesu (operace sloučení/opětovného sestavení).

Jedná se o metriky na úrovni clusteru: sledující zachytávají metadata všech sledovaných databází. Tato metrika představuje latenci procesu.		 Nic

Export metrik

Metriky exportu sledují obecný stav a výkon operací exportu, jako je zpoždění, výsledky, počet záznamů a využití.

Metrika Jednotka Agregace Popis metriky Dimenze
Průběžný export počtu exportovaných záznamů Počet Sum Počet exportovaných záznamů ve všech úlohách průběžného exportu. ContinuousExportName
Maximální zpoždění průběžného exportu Počet Maximum Zpoždění (v minutách) hlášené úlohami průběžného exportu v clusteru. Nic
Počet čekajících na průběžný export Počet Maximum Počet čekajících úloh průběžného exportu. Tyto úlohy jsou připravené ke spuštění, ale čekají ve frontě, pravděpodobně kvůli nedostatečné kapacitě).
Výsledek průběžného exportu Počet Počet Výsledek selhání/úspěchu každého průběžného exportu. ContinuousExportName
Využití exportu Procenta Maximum Využitá exportní kapacita mimo celkovou kapacitu exportu v clusteru (mezi 0 a 100). Nic

Metriky příjmu dat

Metriky příjmu dat sledují obecný stav a výkon operací příjmu dat, jako je latence, výsledky a objem. Upřesnění analýzy:

  • Použití filtrů u grafů k vykreslení částečných dat podle dimenzí Prozkoumejte například příjem dat na konkrétní Database.
  • Rozdělení můžete použít u grafu k vizualizaci dat podle různých komponent. Tento proces je užitečný pro analýzu metrik, které jsou hlášeny jednotlivými kroky kanálu příjmu dat, například Blobs received.
Metrika Jednotka Agregace Popis metriky Dimenze
Počet objektů blob služby Batch Počet Avg, Max, Min Počet zdrojů dat v dokončené dávce pro příjem dat. Databáze
Doba trvání dávky Sekundy Avg, Max, Min Doba trvání fáze dávkování v toku příjmu dat. Databáze
Velikost dávky Přijaté Avg, Max, Min Nekomprimovaná očekávaná velikost dat v agregované dávce pro příjem dat. Databáze
Zpracované dávky Počet Sum, Max, Min Počet dokončených dávek pro příjem dat.
Batching Type: Aktivační událost pro zapečetění dávky.
Úplný seznam typů dávkování najdete v tématu Typy dávkování.		 Databáze, typ dávkování
Přijaté objekty blob Počet Sum, Max, Min Počet objektů blob přijatých ze vstupního datového proudu komponentou

K analýze jednotlivých komponent použijte rozdělení .		 Databáze, typ komponenty, název komponenty
Zpracované objekty blob Počet Sum, Max, Min Počet objektů blob zpracovaných komponentou

K analýze jednotlivých komponent použijte rozdělení .		 Databáze, typ komponenty, název komponenty
Vyřazené objekty blob Počet Sum, Max, Min Početobjektůch Pro každý takový objekt blob Ingestion result se odešle metrika s důvodem selhání.

K analýze jednotlivých komponent použijte rozdělení .		 Databáze, typ komponenty, název komponenty
Latence zjišťování Sekundy Průměr Doba z fronty dat, dokud se nezjišťuje datovými připojeními. Tentokrát se do latence fáze ani do metrik latence příjmu dat nezahrnou.

Latence zjišťování se může zvýšit v následujících situacích:
  • Při použití datových připojení mezi oblastmi.

  • Pokud počet oddílů služby Event Hubs pro svazek výchozího přenosu dat nestačí v datových připojeních služby Event Hubs.
Typ komponenty, název komponenty
Přijaté události Počet Sum, Max, Min Počet událostí přijatých datovými připojeními ze vstupního datového proudu Typ komponenty, název komponenty
Zpracované události Počet Sum, Max, Min Počet událostí zpracovaných datovými připojeními. Typ komponenty, název komponenty
Vynechané události Počet Sum, Max, Min Počet událostí, které datová připojení trvale zahodila. Pro každou takovou událost Ingestion result se odešle metrika s důvodem selhání. Typ komponenty, název komponenty
Latence příjmu dat Sekundy Avg, Max, Min Latence přijatých dat od okamžiku přijetí dat v clusteru, dokud nebude připravená k dotazování. Období latence příjmu dat závisí na scénáři příjmu dat.
Ingestion Kind: Příjem dat streamování nebo příjem dat ve frontě		 Druh příjmu dat
Výsledek příjmu dat Počet Sum Celkový počet zdrojů, které buď selhaly, nebo se podařilo ingestovat.
Status: Úspěch úspěšného příjmu dat nebo kategorie selhání pro selhání. Úplný seznam možných kategorií selhání najdete v kódech chyb příjmu dat v Azure Data Exploreru.
Failure Status Type: Zda je selhání trvalé nebo přechodné. Pro úspěšný příjem dat je Nonetato dimenze .

Poznámka:
  • Event Hubs a události příjmu ioT Hubu se předem agregují do jednoho objektu blob a pak se považují za jeden zdroj, který se má ingestovat. Proto se před agregované události zobrazují jako jeden výsledek příjmu dat po předběžné agregaci.

  • Přechodné selhání se můžou opakovat interně s omezeným počtem opakování. Každé přechodné selhání se hlásí jako přechodný výsledek příjmu dat. Jeden příjem dat proto může mít za následek více než jeden výsledek příjmu dat.
Stav, typ stavu selhání
Objem příjmu dat (v bajtech) Počet Max, Sum Celková velikost dat přijatých do clusteru (v bajtech) před kompresí. Databáze
Délka fronty Počet Průměr Počet čekajících zpráv ve vstupní frontě komponenty. Komponenta Správce dávek má jednu zprávu pro každý objekt blob. Komponenta správce příjmu dat má jednu zprávu na dávku. Dávka je jeden příkaz ingestování s jedním nebo více objekty blob. Typ součásti
Nejstarší zpráva fronty Sekundy Průměr Čas v sekundách od vložení nejstarší zprávy ve vstupní frontě komponenty. Typ součásti
Velikost přijatých dat – bajty Přijaté Avg, Sum Velikost dat přijatých datovými připojeními ze vstupního datového proudu Typ komponenty, název komponenty
Latence fáze Sekundy Průměr Doba od přijetí zprávy službou Azure Data Explorer, dokud její obsah neobdrží komponenta příjmu dat ke zpracování.

Použijte filtry a vyberte Component Type > StorageEngine k zobrazení celkové latence příjmu dat.		 Databáze, typ komponenty

Metriky příjmu streamování

Metriky příjmu streamování sledují streamovaná data příjmu dat a rychlost požadavků, dobu trvání a výsledky.

Metrika Jednotka Agregace Popis metriky Dimenze
Datová rychlost příjmu streamování Počet RateRequestsPerSecond Celkový objem přijatých dat do clusteru. Nic
Doba trvání příjmu streamování Milisekundy Avg, Max, Min Celková doba trvání všech požadavků na příjem dat streamování. Nic
Četnost požadavků příjmu streamování Počet Count, Avg, Max, Min, Sum Celkový počet požadavků na příjem dat streamování. Nic
Výsledek příjmu streamování Počet Průměr Celkový počet požadavků na příjem dat streamování podle typu výsledku. Výsledek

Dotazování metrik

Metriky výkonu dotazů sledují dobu trvání dotazu a celkový počet souběžných nebo omezených dotazů.

Metrika Jednotka Agregace Popis metriky Dimenze
Doba trvání dotazu Milisekundy Avg, Min, Max, Sum Celková doba, po kterou se výsledky dotazu přijímají (nezahrnuje latenci sítě). QueryStatus
QueryResult Počet Počet Celkový početdotazůch QueryStatus
Celkový počet souběžných dotazů Počet Avg, Max, Min, Sum Počet dotazů spuštěných paralelně v clusteru. Tato metrika představuje dobrý způsob, jak odhadnout zatížení clusteru. Nic
Celkový počet omezených dotazů Počet Avg, Max, Min, Sum Počet omezených (odmítnutých) dotazů v clusteru Maximální povolený počet souběžných (paralelních) dotazů je definován v zásadách omezení rychlosti požadavků. Nic

Materializované metriky zobrazení

Metrika Jednotka Agregace Popis metriky Dimenze
MaterializedViewHealth 1, 0 Průměr Hodnota je 1, pokud je zobrazení považováno za zdravé, jinak 0. Databáze, MaterializedViewName
MaterializedViewAgeSeconds Sekundy Průměr Zobrazení age je definováno aktuálním časem minus posledním časem příjmu dat zpracovaným zobrazením. Hodnota metriky je čas v sekundách (nižší hodnota je, zobrazení je "healthier"). Databáze, MaterializedViewName
MaterializedViewResult 0 Průměr Metrika obsahuje Result dimenzi označující výsledek posledního materializačního cyklu (podrobnosti o možných hodnotách najdete v metrikě MaterializedViewResult). Hodnota metriky se vždy rovná 1. Database, MaterializedViewName, Result
MaterializedViewRecordsInDelta Počet záznamů Průměr Počet záznamů aktuálně v nezpracované části zdrojové tabulky. Další informace naleznete v tom , jak materializovaná zobrazení fungují. Databáze, MaterializedViewName
MaterializedViewExtentsRebuild Počet rozsahů Průměr Počet rozsahů, které vyžadovaly aktualizace v materializačním cyklu. Databáze, MaterializedViewName
MaterializedViewDataLoss 0 Maximum Metrika se aktivuje, když se nezpracovaná zdrojová data blíží k uchovávání. Označuje, že materializované zobrazení není v pořádku. Databáze, MaterializedViewName, Kind

Dělení metrik

Dělení metrik monitoruje proces dělení tabulek pomocí zásad dělení.

Metrika Jednotka Agregace Popis metriky Dimenze
Dělení na oddíly Procenta Avg, Min, Max Procento záznamů rozdělených vzhledem k celkovému počtu záznamů. Databáze, tabulka
Dělení na oddílyPercentageHot Procenta Avg, Min, Max Procento záznamů rozdělených do oddílů související s celkovým počtem záznamů (pouze v horké mezipaměti). Databáze, tabulka
ProcessedPartitionedRecords Procenta Avg, Min, Max, Sum Počet záznamů rozdělených v měřeném časovém intervalu. Databáze, tabulka

Související obsah