Příjem dat ze streamu Cribl do Azure Data Exploreru

Cribl Stream je modul pro zpracování, který bezpečně shromažďuje, zpracovává a streamuje data událostí počítače z libovolného zdroje. Umožňuje analyzovat a zpracovávat tato data pro jakýkoli cíl pro účely analýzy a správy zabezpečeným způsobem.

Tento článek ukazuje, jak ingestovat data pomocí služby Cribl Stream.

Úplný seznam datových konektorů najdete v přehledu integrace dat.

Požadavky

• Účet Dětská postýlka Stream
• Cluster a databáze Azure Data Exploreru s výchozími zásadami ukládání do mezipaměti a uchovávání informací.
• Dotazovací prostředí. Další informace najdete v tématu Přehled integrací dotazů.
• Identifikátor URI clusteru Kusto pro hodnotu TargetURI ve formátu https://ingest-<clusteru.><region.kusto.windows.net>. Další informace najdete v tématu Přidání připojení ke clusteru.

Vytvoření instančního objektu Microsoft Entra

Instanční objekt Microsoft Entra je možné vytvořit prostřednictvím webu Azure Portal nebo programově, jako v následujícím příkladu.

Tento instanční objekt je identita, kterou konektor používá k zápisu dat do tabulky v Kusto. Udělíte oprávnění pro tento instanční objekt pro přístup k prostředkům Kusto.

1. Přihlaste se ke svému předplatnému Azure prostřednictvím Azure CLI. Pak se ověřte v prohlížeči.

   az login
   

2. Zvolte předplatné, které má být hostitelem objektu zabezpečení. Tento krok je potřeba v případě, že máte více předplatných.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Vytvořte instanční objekt. V tomto příkladu se instanční objekt nazývá my-service-principal.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. Z vrácených dat JSON zkopírujte appIdpasswordtenant a pro budoucí použití.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Vytvořili jste aplikaci Microsoft Entra a instanční objekt.

Vytvoření cílové tabulky

Vytvořte cílovou tabulku pro příchozí data a mapování příjmu dat pro mapování přijatých sloupců dat na sloupce v cílové tabulce.

1. Spuštěním následujícího příkazu pro vytvoření tabulky v editoru dotazů nahraďte zástupný název TableName názvem cílové tabulky:

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. Spusťte následující příkaz pro mapování příjmu dat a nahraďte zástupné symboly TableName názvem cílové tabulky a TableNameMapping názvem mapování příjmu dat:

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Udělte instančnímu objektu z vytvoření oprávnění role Ingestor ingestor ingestor služby Microsoft Entra pro práci s databází. Další informace najdete v tématu Příklady. Zástupný název DatabaseName nahraďte názvem cílové databáze a ID aplikace AppId hodnotou, kterou jste uložili při vytváření instančního objektu Microsoft Entra.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Vytvoření cíle služby Cribl Stream

Následující část popisuje, jak vytvořit cíl služby Cribl Stream, který zapisuje data do tabulky v Kusto. Každá tabulka vyžaduje samostatný cílový konektor kolébkového streamu.

Výběr cíle

Připojení služby Cribl Stream k tabulce:

1. V horní navigaci v Dětské postýlkě vyberte Spravovat a pak vyberte skupinu pracovních procesů.

2. Vyberte Směrování>QuickConnect (Stream)>Přidat cíl.

3. V okně Nastavit nový cíl rychlého spojení zvolte Azure Data Explorer a pak přidat.

Nastavení obecných nastavení

V okně Nový Průzkumník dat nastavte v obecných nastaveních následující nastavení:

Po dokončení vyberte Další.

Nastavení ověřování

Na bočním panelu vyberte Nastavení ověřování. Hodnoty, které jste uložili v části Vytvoření instančního objektu Microsoft Entra, použijte společně se základním identifikátorem URI následujícím způsobem:

Pak vyberte Další.

Trvalá fronta

Zobrazí, když je režim příjmu dat nastavený na Streamování a chování backpressure je nastaveno na trvalou frontu.

Po dokončení vyberte Další.

Nastavení zpracování

Po dokončení vyberte Další.

Nastavení Parquet

Zobrazí, když je pro formát dat vybrána možnost Parquet.

Když zvolíte Parquet, otevře se karta Nastavení Parquet a vyberete schéma Parquet.

Opakování

Zobrazí, když je režim příjmu dat nastavený na Streamování.

Po dokončení vyberte Další.

Rozšířené nastavení

Na bočním panelu vyberte Upřesnit nastavení . Následující část popisuje upřesňující nastavení při výběru služby Batching :

Po dokončení vyberte Uložit.

Konfigurace připojení

V okně Konfigurace připojení, které se otevře, vyberte Připojení Passthru a pak Uložit. Konektor začne zařadí data do fronty.

Potvrzení příjmu dat

1. Jakmile data dorazí do tabulky, potvrďte přenos dat tak, že zkontrolujete počet řádků:

   <Tablename> 
   | count
   

2. Potvrďte příjem dat zařazený do fronty za posledních pět minut:

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. Ověřte, že v procesu příjmu dat nedošlo k žádným selháním:

   • Dávkování:

   .show ingestion failures
   

   • Streamování:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. Ověření dat v tabulce:

   <TableName>
   | take 10
   

Příklady dotazů a pokyny najdete v dokumentaci k psaní dotazů v KQL a dotazovací jazyk Kusto.

Související obsah

• Přehled integrace dat
• Přehled dotazovacího jazyka Kusto (KQL)