Struktura pravidla shromažďování dat ve službě Azure Monitor

  • Článek

Pravidla shromažďování dat (DCR) jsou sady instrukcí, které určují, jak shromažďovat a zpracovávat telemetrická data odesílaná do služby Azure Monitor. Některé řadiče domény se vytvoří a spravují službou Azure Monitor. Tento článek popisuje strukturu JSON řadičů domény pro jejich vytváření a úpravy v těchto případech, kdy s nimi potřebujete pracovat přímo.

Vlastnosti

Následující tabulka popisuje vlastnosti na nejvyšší úrovni dcR.

Vlastnost Popis
description Volitelný popis pravidla shromažďování dat definovaného uživatelem
dataCollectionEndpointId ID prostředku koncového bodu shromažďování dat (DCE) používaného řadičem domény, pokud jste zadali id prostředku při vytvoření dcR. Tato vlastnost není k dispozici v řadičích domény, které nepoužívají DCE.
endpoints1 logsIngestion Obsahuje koncové body a metricsIngestion adresu URL řadiče domény. Tento oddíl a jeho vlastnosti se automaticky vytvoří při vytvoření DCR pouze v případě kind , že atribut v DCR je Direct.
immutableId Jedinečný identifikátor pravidla shromažďování dat. Tato vlastnost a její hodnota se automaticky vytvoří při vytvoření dcR.
kind Určuje scénář shromažďování dat, pro který se dcR používá. Tento parametr je podrobněji popsán níže.

1Tato vlastnost nebyla vytvořena pro řadiče domény vytvořené před 31. březnem 2024. Řadiče domény vytvořené před tímto datem vyžadují koncový bod shromažďování dat (DCE) a dataCollectionEndpointId vlastnost, která se má zadat. Pokud chcete použít tyto vložené řadiče domény DCE, musíte vytvořit nový řadič domény.

Kind

Vlastnost kind v DCR určuje typ kolekce, pro kterou se řadič domény používá. Každý druh DCR má jinou strukturu a vlastnosti.

Následující tabulka uvádí různé druhy dcR a jejich podrobnosti.

Kind Popis
Direct Přímé příjem dat pomocí rozhraní API pro příjem dat protokolů Koncové body se vytvoří pro DCR pouze v případě, že se použije tato hodnota typu.
AgentDirectToStore Odesílání shromážděných dat do služby Azure Storage a event Hubs
AgentSettings Konfigurace parametrů agenta služby Azure Monitor
Linux Shromažďování událostí a dat o výkonu z počítačů s Linuxem
PlatformTelemetry Export metrik platformy
Windows Shromažďování událostí a dat o výkonu z počítačů s Windows
WorkspaceTransforms DcR transformace pracovního prostoru Tento řadič domény neobsahuje vstupní datový proud.

Přehled toku dat DCR

Základní tok DCR je znázorněn v následujícím diagramu. Jednotlivé komponenty jsou popsány v následujících částech.

Diagram znázorňující vztah mezi různými oddíly řadiče domény

Vstupní streamy

Oddíl vstupního datového proudu řadiče domény definuje příchozí data, která se shromažďují. Existují dva typy příchozího datového proudu v závislosti na konkrétním scénáři shromažďování dat. Většina scénářů shromažďování dat používá jeden ze vstupních datových proudů, zatímco některé můžou používat obojí.

Poznámka:

Transformační žádosti o pracovní prostor nemají vstupní datový proud.

Vstupní datový proud Popis
dataSources Známý typ dat Často se jedná o data zpracovávaná agentem Služby Azure Monitor a doručovaná do služby Azure Monitor pomocí známého datového typu.
streamDeclarations Vlastní data, která je potřeba definovat v DCR.

Data odesílaná z rozhraní API pro příjem protokolů používají streamDeclaration schéma příchozích dat. Důvodem je to, že rozhraní API odesílá vlastní data, která můžou mít jakékoli schéma.

Textové protokoly z AMA jsou příkladem shromažďování dat, které vyžaduje obojí dataSources i streamDeclarations. Zdroj dat zahrnuje konfiguraci.

Zdroje dat

Zdroje dat jsou jedinečné zdroje dat monitorování, které mají vlastní formát a metodu zveřejnění dat. Každý typ zdroje dat má jedinečnou sadu parametrů, které musí být nakonfigurovány pro každý zdroj dat. Data vrácená zdrojem dat jsou obvykle známým typem, takže schéma nemusí být definováno v řadiči domény.

Například události a údaje o výkonu shromážděné z virtuálního počítače s agentem služby Azure Monitor (AMA) používají zdroje dat, jako windowsEventLogs jsou a performanceCounters. Zadáte kritéria pro události a čítače výkonu, které chcete shromažďovat, ale nemusíte definovat strukturu samotných dat, protože se jedná o známé schéma potenciálních příchozích dat.

Společné parametry

Všechny typy zdrojů dat sdílejí následující společné parametry.

Parametr Popis
name Název pro identifikaci zdroje dat v DCR.
streams Seznam datových proudů, které bude zdroj dat shromažďovat. Pokud se jedná o standardní datový typ, jako je událost systému Windows, bude datový proud ve formuláři Microsoft-<TableName>. Pokud se jedná o vlastní typ, bude ve formuláři. Custom-<TableName>

Platné typy zdrojů dat

Typy zdrojů dat, které jsou aktuálně k dispozici, jsou uvedeny v následující tabulce.

Typ zdroje dat Popis Streamy Parametry
eventHub Data z Azure Event Hubs Vlastní1 consumerGroup – Skupina příjemců centra událostí, ze které se má shromažďovat.
iisLogs Protokoly služby IIS z počítačů s Windows Microsoft-W3CIISLog logDirectories – Adresář, kde jsou protokoly SLUŽBY IIS uložené v klientovi.
logFiles Textové nebo json přihlášení k virtuálnímu počítači Vlastní1 filePatterns - Vzor složek a souborů pro shromažďování souborů protokolu z klienta.
format - json nebo text
performanceCounters Čítače výkonu pro virtuální počítače s Windows i Linuxem Microsoft-Perf
Microsoft-InsightsMetrics		 samplingFrequencyInSeconds – Frekvence vzorkování dat o výkonu.
counterSpecifiers - Objekty a čítače, které by se měly shromažďovat.
prometheusForwarder Data Prometheus shromážděná z clusteru Kubernetes Microsoft-PrometheusMetrics streams - Streamy ke shromažďování
labelIncludeFilter - Seznam filtrů zahrnutí popisků jako párů název-hodnota. V současné době se podporuje pouze microsoft_metrics_include_label.
syslog Události Syslogu na virtuálních počítačích s Linuxem Microsoft-Syslog facilityNames - Zařízení ke shromažďování
logLevels – Úrovně protokolů ke shromažďování
windowsEventLogs Protokol událostí Windows na virtuálních počítačích Microsoft-Event xPathQueries – XPath určující kritéria pro události, které by se měly shromažďovat.
extension Zdroj dat založený na rozšíření, který používá agent Azure Monitor. Liší se podle rozšíření extensionName - Název rozšíření
extensionSettings - Hodnoty pro každé nastavení vyžadované rozšířením

1 Tyto zdroje dat používají zdroj dat i deklaraci datového proudu, protože schéma shromažďovaných dat se může lišit. Datový proud použitý ve zdroji dat by měl být vlastní datový proud definovaný v deklaraci datového proudu.

Deklarace streamu

Deklarace různých typů dat odesílaných do pracovního prostoru služby Log Analytics Každý datový proud je objekt, jehož klíč představuje název datového proudu, který musí začínat na Custom-. Stream obsahuje úplný seznam vlastností nejvyšší úrovně obsažených v datech JSON, která budou odeslána. Tvar dat, která odesíláte do koncového bodu, nemusí odpovídat tvaru cílové tabulky. Místo toho musí výstup transformace použité nad vstupními daty odpovídat cílovému obrazci.

Datové typy

Možné datové typy, které lze přiřadit k vlastnostem, jsou:

  • string
  • int
  • long
  • real
  • boolean
  • dynamic
  • datetime.

Místa určení

Tato destinations část obsahuje položku pro každé cílové místo, kde se budou data odesílat. Tyto cíle se shodují se vstupními datovými proudy v oddílu dataFlows .

Společné parametry

Parametry Popis
name Název pro identifikaci cíle v oddílu dataSources

Platné cíle

Aktuálně dostupné cíle jsou uvedené v následující tabulce.

Cíl Popis Povinné parametry
logAnalytics Pracovní prostor služby Log Analytics workspaceResourceId – ID prostředku pracovního prostoru.
workspaceID - ID pracovního prostoru

Určuje pouze pracovní prostor, nikoli tabulku, ve které se budou data odesílat. Pokud se jedná o známý cíl, není nutné zadat žádnou tabulku. U vlastních tabulek se tabulka zadává ve zdroji dat.
azureMonitorMetrics Metriky služby Azure Monitor Nevyžaduje se žádná konfigurace, protože pro předplatné existuje jenom jedno úložiště metrik.
storageTablesDirect Azure Table Storage storageAccountResourceId – ID prostředku účtu úložiště
tableName - Název tabulky
storageBlobsDirect Azure Blob Storage storageAccountResourceId – ID prostředku účtu úložiště
containerName – Název kontejneru objektů blob
eventHubsDirect Event Hubs eventHubsDirect – ID prostředku centra událostí.

Důležité

Jeden datový proud může odesílat pouze do jednoho pracovního prostoru služby Log Analytics v DCR. Pokud používají různé tabulky ve stejném pracovním prostoru, můžete mít pro jeden datový proud více dataFlow položek. Pokud potřebujete odesílat data do více pracovních prostorů služby Log Analytics z jednoho datového proudu, vytvořte pro každý pracovní prostor samostatný řadič domény.

Toky dat

Toky dat odpovídají vstupním datovým proudům s cíli. Každý zdroj dat může volitelně zadat transformaci a v některých případech zadá konkrétní tabulku v pracovním prostoru služby Log Analytics.

Vlastnosti toku dat

Oddíl Popis
streams Jeden nebo více datových proudů definovaných v části vstupních datových proudů Pokud chcete odeslat více zdrojů dat do stejného cíle, můžete do jednoho toku dat zahrnout více datových proudů. Pokud tok dat zahrnuje transformaci, použijte pouze jeden datový proud. Jeden datový proud může také používat více toků dat, když chcete odeslat konkrétní zdroj dat do více tabulek ve stejném pracovním prostoru služby Log Analytics.
destinations Jedno nebo více cílů z výše uvedené destinations části. Pro scénáře vícenásobného navážení je povoleno více cílů.
transformKql Volitelná transformace použitá u příchozího datového proudu Transformace musí rozumět schématu příchozích dat a výstupních dat ve schématu cílové tabulky. Pokud použijete transformaci, měl by tok dat používat pouze jeden datový proud.
outputStream Popisuje, do které tabulky v pracovním prostoru zadaném destination ve vlastnosti budou data odeslána. Hodnota má formát Microsoft-[tableName] při příjmu outputStream dat do standardní tabulky nebo Custom-[tableName] při ingestování dat do vlastní tabulky. Pro každý datový proud je povolený jenom jeden cíl.

Tato vlastnost se nepoužívá pro známé zdroje dat z Azure Monitoru, jako jsou události a údaje o výkonu, protože se odesílají do předdefinovaných tabulek.

Další kroky

Přehled pravidel a metod shromažďování dat pro jejich vytváření