Cribl akışından Azure Veri Gezgini'a veri alma

Cribl Stream , makine olay verilerini herhangi bir kaynaktan güvenli bir şekilde toplayan, işleyen ve akışla aktaran bir işleme altyapısıdır. Analiz ve yönetim için herhangi bir hedefe yönelik verileri güvenli bir şekilde ayrıştırmanıza ve işlemenize olanak tanır.

Bu makalede Cribl Stream ile veri alma işlemi gösterilmektedir.

Veri bağlayıcılarının tam listesi için bkz . Veri tümleştirmelerine genel bakış.

Önkoşullar

• Bir Cribl Stream hesabı
• Varsayılan önbellek ve bekletme ilkelerine sahip bir Azure Veri Gezgini kümesi ve veritabanı.
• Sorgu ortamı. Daha fazla bilgi için bkz . Sorgu tümleştirmelerine genel bakış.
• Biçimhttps://ingest-< kümesindeki TargetURI değeri için Kusto küme> URI'niz.<region.kusto.windows.net>. Daha fazla bilgi için bkz . Küme bağlantısı ekleme.

Microsoft Entra hizmet sorumlusu oluşturma

Microsoft Entra hizmet sorumlusu, aşağıdaki örnekte olduğu gibi Azure portalı aracılığıyla veya program aracılığıyla oluşturulabilir.

Bu hizmet sorumlusu, kusto'daki tablonuza veri yazmak için bağlayıcı tarafından kullanılan kimliktir. Bu hizmet sorumlusuna Kusto kaynaklarına erişmek için izinler verirsiniz.

1. Azure CLI aracılığıyla Azure aboneliğinizde oturum açın. Ardından tarayıcıda kimlik doğrulaması yapın.

   az login
   

2. Sorumluyu barındırmak için aboneliği seçin. Bu adım, birden çok aboneliğiniz olduğunda gereklidir.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Hizmet sorumlusunu oluşturun. Bu örnekte hizmet sorumlusu olarak adlandırılır my-service-principal.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. Döndürülen JSON verilerinden, gelecekte kullanmak üzere , passwordve tenant değerini kopyalayınappId.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Microsoft Entra uygulamanızı ve hizmet sorumlunuzu oluşturdunuz.

Hedef tablo oluşturma

Gelen veriler için bir hedef tablo ve alınan veri sütunlarını hedef tablodaki sütunlara eşlemek için bir alma eşlemesi oluşturun.

1. Sorgu düzenleyicinizde aşağıdaki tablo oluşturma komutunu çalıştırın ve TableName yer tutucusunu hedef tablonun adıyla değiştirin:

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. Aşağıdaki create ingestion mapping komutunu çalıştırarak TableName yer tutucularını hedef tablo adıyla ve TableNameMapping öğesini alma eşlemesinin adıyla değiştirin:

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Microsoft Entra hizmet sorumlusu veritabanı alma rolü izinleri oluşturma bölümünden hizmet sorumlusuna veritabanıyla çalışma izni verin. Daha fazla bilgi için bkz . Örnekler. DatabaseName yer tutucusunu hedef veritabanının adıyla ve ApplicationID değerini bir Microsoft Entra hizmet sorumlusu oluştururken kaydettiğiniz değerle AppId değiştirin.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Cribl Stream hedefi oluşturma

Aşağıdaki bölümde Kusto'daki tablonuza veri yazan bir Cribl Stream hedefinin nasıl oluşturulacağı açıklanmaktadır. Her tablo ayrı bir Cribl Stream hedef bağlayıcısı gerektirir.

Hedef seç

Cribl Stream'i tablonuza bağlamak için:

1. Cribl'ın üst gezinti bölmesinde Yönet'i ve ardından bir Çalışan Grubu seçin.

2. Yönlendirme>QuickConnect (Akış)Hedef Ekle'yi> seçin.

3. Yeni QuickConnect Hedefini Ayarla penceresinde Azure Veri Gezgini'ı ve ardından Şimdi ekle'yi seçin.

Genel ayarları ayarlama

Yeni Veri Gezgini penceresinde, Genel Ayarlar'da aşağıdaki ayarları ayarlayın:

Tamamlandığında İleri'yi seçin.

Kimlik doğrulama ayarları

Kenar çubuğunda Kimlik Doğrulama Ayarları'nı seçin. Microsoft Entra hizmet sorumlusu oluşturma bölümüne kaydettiğiniz değerleri temel URI'nizle birlikte aşağıdaki gibi kullanın:

Sonra İleri'yi seçin.

Kalıcı Kuyruk

Alma modu Akış olarak ayarlandığında ve Geri baskı davranışı Kalıcı Kuyruk olarak ayarlandığında görüntülenir.

Tamamlandığında İleri'yi seçin.

İşlem ayarları

Tamamlandığında İleri'yi seçin.

Parquet ayarları

Veri Biçimi için Parquet'in ne zaman seçildiğini görüntüler.

Parquet seçildiğinde parquet şemasını seçmek için bir Parquet Ayarları sekmesi açılır.

Yeniden deneme sayısı

Alma modu Akış olarak ayarlandığında görüntülenir.

Tamamlandığında İleri'yi seçin.

Gelişmiş ayarlar

Kenar çubuğundan Gelişmiş Ayarlar'ı seçin. Batching seçildiğinde gelişmiş ayarlar aşağıda açıklanmaktadır:

Tamamlandığında Kaydet'i seçin.

Bağlantı yapılandırması

Açılan Bağlantı Yapılandırması penceresinde Geçiş bağlantısı'nı ve ardından Kaydet'i seçin. Bağlayıcı verileri kuyruğa alma işlemini başlatır.

Veri alımını onaylama

1. Veriler tabloya ulaştığında, satır sayısını denetleyerek veri aktarımını onaylayın:

   <Tablename> 
   | count
   

2. Son beş dakika içinde kuyruğa alınan almaları onaylayın:

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. Alma işleminde hata olmadığını onaylayın:

   • Toplu işlem için:

   .show ingestion failures
   

   • Akış için:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. Tablonuzdaki verileri doğrulayın:

   <TableName>
   | take 10
   

Sorgu örnekleri ve yönergeler için bkz. KQL'de sorgu yazma ve Kusto Sorgu Dili belgeleri.

İlgili içerik

• Veri tümleştirmelerine genel bakış
• Kusto Sorgu Dili'ne (KQL) genel bakış