Azure Veri Gezgini için Event Hubs veri bağlantısı oluşturma

Önkoşullar

• Microsoft hesabı veya Microsoft Entra kullanıcı kimliği. Azure aboneliği gerekmez.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Akış alımı, Azure Veri Gezgini kümenizde yapılandırılmalıdır.

Verileri Al

1. Soldaki menüden Sorgu'yu seçin.

2. Verileri almak istediğiniz veritabanına sağ tıklayın. Veri al'ı seçin.

   

Kaynak

Veri al penceresinde Kaynak sekmesi seçilidir.

Kullanılabilir listeden veri kaynağını seçin. Bu örnekte Event Hubs'dan veri alırsınız.

Yapılandırma

1. Bir hedef veritabanı ve tablo seçin. Yeni bir tabloya veri almak istiyorsanız + Yeni tablo'yu seçin ve bir tablo adı girin.

   Not

   Tablo adları boşluk, alfasayısal, kısa çizgi ve alt çizgi gibi en fazla 1024 karakter olabilir. Özel karakterler desteklenmez.

   

2. Aşağıdaki alanları doldurun:

   Ayar	Alan açıklaması
   Abonelik	Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı	Ad alanınızı tanımlayan ad.
   Olay hub'ı	İstediğiniz olay hub'ı
   Tüketici grubu	Olayınızda tanımlanan tüketici grubu
   Veri bağlantısı adı	Veri bağlantınızı tanımlayan ad.
   Gelişmiş filtreler
   Sıkıştırma	Olay hub'ı iletileri yükünün sıkıştırma türü.
   Olay sistemi özellikleri	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini, seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Olay alma başlangıç tarihi	Veri bağlantısı, Olay alma başlangıç tarihinden sonra oluşturulan mevcut Event Hubs olaylarını alır. Yalnızca Event Hubs'ın saklama süresi tarafından tutulan olaylar alınabilir. Olay alma başlangıç tarihi belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

3. İleri'yi seçin

İncele

İncele sekmesi açılır ve verilerin önizlemesi görüntülenir.

Alma işlemini tamamlamak için Son'u seçin.

İsteğe bağlı olarak:

• Önizleme penceresinde gördüğünüz veriler tamamlanmadıysa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:

  • Yeni verileri at ve getir: Sunulan verileri atar ve yeni olayları arar.

  • Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.

    Not

    Verilerinizin önizlemesini görmek için olay hub'ınızın olay gönderiyor olması gerekir.

• Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.

• Şemanın çıkarıldığını dosyayı değiştirmek için Şema tanımı dosyası açılan listesini kullanın.

• Açılan listeden istediğiniz biçimi seçerek otomatik olarak çıkarılan veri biçimini değiştirin. Bkz. Alma için Azure Veri Gezgini tarafından desteklenen veri biçimleri.

• Sütunları düzenleyin.

• Veri türüne göre gelişmiş seçenekleri keşfedin.

Sütunları düzenle

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

• Tablo türü yeni veya var
• Eşleme türü yeni veya var

Eşleme dönüştürmeleri

Bazı veri biçimi eşlemeleri (Parquet, JSON ve Avro) basit alma zamanı dönüştürmelerini destekler. Eşleme dönüştürmelerini uygulamak için Sütunları düzenle penceresinde bir sütun oluşturun veya güncelleştirin.

Eşleme dönüştürmeleri, kaynağın veri türü int veya long olan dize veya datetime türünde bir sütun üzerinde gerçekleştirilebilir. Desteklenen eşleme dönüştürmeleri şunlardır:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Veri türüne göre gelişmiş seçenekler

Tablosal (CSV, TSV, PSV):

• Mevcut bir tablodaki tablo biçimlerini alırsanız Gelişmiş>Geçerli tablo şemasını koru'yu seçebilirsiniz. Tablosal veriler, kaynak verileri mevcut sütunlara eşlemek için kullanılan sütun adlarını içermesi gerekmez. Bu seçenek işaretlendiğinde eşleme sırasıyla yapılır ve tablo şeması aynı kalır. Bu seçenek işaretlenmemişse, veri yapısından bağımsız olarak gelen veriler için yeni sütunlar oluşturulur.

• İlk satırı sütun adı olarak kullanmak için Gelişmiş>İlk satır sütun başlığı'nı seçin.

  

JSON:

• JSON verilerinin sütun bölmesini belirlemek için 1 ile 100 arasındaki Gelişmiş>İç İçe Düzeyler'i seçin.

• Gelişmiş>Veri biçimi hatalarını yoksay'ı seçerseniz, veriler JSON biçiminde alır. Bu onay kutusunu seçili bırakmazsanız, veriler çok kanallı biçimde alınıyor.

  

Özet

Veri hazırlama penceresinde, veri alımı başarıyla tamamlandığında üç adım da yeşil onay işaretleri ile işaretlenir. Her adım için kullanılan komutları görüntüleyebilir veya alınan verileri sorgulamak, görselleştirmek veya bırakmak için bir kart seçebilirsiniz.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi.
• Veri alımına yönelik bir olay hub'ı.

Verileri Al

1. Azure portalında kümenize gidin ve Veritabanları'nı seçin. Ardından hedef tablonuzu içeren veritabanını seçin.

   

2. Sol menüden Veri alımı'nı seçin. Ardından üst çubukta Veri bağlantısı ekle'yi seçin.

3. Formu aşağıdaki bilgilerle doldurun ve oluştur'u seçin.

   Ayar	Önerilen değer	Alan açıklaması
   Veri bağlantısı adı	test-hub-connection	Azure Veri Gezgini'nde oluşturmak istediğiniz bağlantının adı.
   Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı	Benzersiz bir ad alanı adı	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
   Olay hub'ı	test-hub	Oluşturduğunuz olay hub'ı.
   Tüketici grubu	test-group	Oluşturduğunuz olay hub'ında tanımlanan tüketici grubu.
   Olay sistemi özellikleri	İlgili özellikleri seçin	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilk kayda eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini, seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Sıkıştırma	Hiçbiri	Olay hub'ı iletileri yükünün sıkıştırma türü. Desteklenen sıkıştırma türleri: Yok, gzip.
   Yönetilen Kimlik (önerilen)	Sistem tarafından atanan	olay hub'ından okumak üzere erişim için Veri Gezgini kümesi tarafından kullanılan yönetilen kimlik. Olay hub'ınıza erişimi denetlemek için yönetilen kimlikleri kullanmanızı öneririz. Not: Veri bağlantısı oluşturulduğunda: * Sistem tarafından atanan kimlikler yoksa otomatik olarak oluşturulur * Yönetilen kimliğe otomatik olarak Azure Event Hubs Veri Alıcısı rolü atanır ve Veri Gezgini kümenize eklenir. Rolün atandığını ve kimliğin kümeye eklendiğini doğrulamanızı öneririz.

   Not

   Yönetilen kimlikleri kullanmayan bir veri bağlantınız varsa, yönetilen kimlikleri kullanacak şekilde güncelleştirmenizi öneririz.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi.
• Veri alımına yönelik bir olay hub'ı.

Verileri Al

1. Azure portalında Event Hubs Örneğinize göz atın.

2. Özellikler yan menüsünün altında Kusto ile verileri analiz et'i seçin.

3. Alma sihirbazını Azure Veri Gezgini açmak için Başlat'ı seçin.

   

   Not

   • En az Veritabanı Kullanıcısı izinlerine sahip olmanız gerekir.
   • Genel erişim olmadan bir küme ile depolama hesabı arasında erişimi etkinleştirmek için bkz . Yönetilen Özel Uç Nokta Oluşturma.
   • Küme ve olay hub'ı aynı kiracılarla ilişkilendirilmelidir. Aksi takdirde, C# veya Python gibi SDK seçeneklerinden birini kullanın.

4. Veri alma yan bölmesi açılır ve Hedef sekmesi seçili durumdadır. Açılan listeden Küme ve Veritabanı alanlarını seçin. Çalışan bir küme seçtiğinizden emin olun. Aksi takdirde Veritabanı'nı seçip alma işlemine devam edemeyeceksiniz.

5. Tablo altında Yeni tablo'yu seçin ve yeni tablo için bir ad girin. Alternatif olarak, Var olan bir tabloyu da kullanabilirsiniz.

6. İleri: Kaynak'ı seçin.

7. Kaynak türü altında Olay Hub'ı türü ve ayrıntıları, başladığınız Event Hubs Örneğine göre otomatik olarak doldurulur.

8. Veri Bağlantısı'nın altında aşağıdaki alanları doldurun ve İleri: Şema'yı seçin.

   Ayar	Önerilen değer	Alan açıklaması
   Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı		Ad alanınızı tanımlayan ad.
   Olay hub'ı		Kullanmak istediğiniz olay hub'ı.
   Veri bağlantısı adı	TestDataConnection	Veri bağlantınızı tanımlayan ad.
   Tüketici grubu		Olay hub'ınızda tanımlanan tüketici grubu.
   Sıkıştırma		Olay hub'ı iletileri yükünün sıkıştırma türü.
   Olay sistemi özellikleri	İlgili özellikleri seçin	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini, seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Olay alma başlangıç tarihi	Eşgüdümlü Evrensel Saat (UTC)	Veri bağlantısı, Olay alma başlangıç tarihinden sonra oluşturulan mevcut Event Hubs olaylarını alır. Yalnızca Event Hubs'ın saklama süresi tarafından tutulan olaylar alınabilir. Olay alma başlangıç tarihi belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

9. Küme için akış etkinleştirildiyse Akış alımı'nı seçebilirsiniz. Küme için akış etkinleştirilmediyse Veri toplu işlem gecikme süresini ayarlayın. Event Hubs için önerilen toplu işlem süresi 30 saniyedir.

   

10. Veri biçimini seçin. CSV biçimli veriler için, dosyanın başlık satırını yoksaymak için ilk kaydı yoksayın. JSON biçimli veriler için, Verileri JSON biçiminde almak için Veri biçimi hatalarını yoksay'ı seçin veya verileri çok noktalı biçimde almak için seçili değil olarak bırakın. Tablo sütunu veri bölmeyi belirlemek için İç içe düzeyler'i seçin.

11. Önizleme penceresinde gördüğünüz veriler tamamlanmadıysa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:

    • Yeni verileri at ve getir: Sunulan verileri atar ve yeni olayları arar.
    • Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.

    Not

    Verilerinizin önizlemesini görmek için olay hub'ınızın olay gönderiyor olması gerekir.

12. İleri: Özet'i seçin.

13. Olay Hub'ından sürekli alım oluşturuldu penceresinde, kuruluş başarıyla tamamlandığında tüm adımlar yeşil onay işaretleriyle işaretlenir.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi.
• Veri alımına yönelik bir olay hub'ı.

ARM şablonu

Aşağıdaki örnekte Event Hubs veri bağlantısı eklemeye yönelik bir Azure Resource Manager şablonu gösterilmektedir. Formu kullanarak şablonu Azure portalında düzenleyebilir ve dağıtabilirsiniz.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Portal sekmesinde açıklandığı gibi Azure portalı üzerinden veri bağlantısını kaldırın.

Olay hub'ı bağlantısını Azure portalından kaldırmak için aşağıdakileri yapın:

1. Kümenize gidin. Soldaki menüden Veritabanları'nı seçin. Ardından hedef tabloyu içeren veritabanını seçin.
2. Soldaki menüden Veri bağlantıları'nı seçin. Ardından ilgili olay hub'ı veri bağlantısının yanındaki onay kutusunu seçin.
3. Üst menü çubuğunda Sil'i seçin.