Event Grid veri bağlantısı

Event Grid alımı, Azure depolama alanını dinleyen ve abone olunan olaylar gerçekleştiğinde bilgileri çekmek için Azure Veri Gezgini’ni güncelleştiren bir işlem hattıdır. Azure Veri Gezgini, oluşturulan veya blob olarak yeniden adlandırılan bildirimler için Azure Event Grid aboneliğiyle Azure Depolama'dan (Blob depolama ve ADLSv2) sürekli alım ve bu bildirimlerin Azure Event Hubs aracılığıyla Azure Veri Gezgini akışı sunar.

Event Grid alma işlem hattı birkaç adımdan geçer. Azure Veri Gezgini'da belirli bir biçimdeki verilerin alınacağı bir hedef tablo oluşturursunuz. Ardından Azure Veri Gezgini'de event grid veri bağlantısı oluşturursunuz. Event Grid veri bağlantısının, verilerin hangi tabloya gönderilmesi gerektiği ve tablo eşlemesi gibi olay yönlendirme bilgilerini bilmesi gerekir. Ayrıca, alınacak verileri, hedef tabloyu ve eşlemeyi açıklayan alma özelliklerini de belirtirsiniz. Bağlantınızı test etmek için örnek veriler oluşturabilir ve blobları karşıya yükleyebilir veya blobları yeniden adlandırabilirsiniz. Almadan sonra blobları silin.

Event Grid alımı Azure portalı üzerinden, alma sihirbazı kullanılarak, program aracılığıyla C# veya Python ile ya da Azure Resource Manager şablonuyla yönetilebilir.

Azure Veri Gezgini'da veri alımı hakkında genel bilgi için bkz. Azure Veri Gezgini veri alımına genel bakış.

Event Grid veri bağlantısı kimlik doğrulama mekanizmaları

• Yönetilen Kimlik tabanlı veri bağlantısı (önerilir): Yönetilen kimlik tabanlı veri bağlantısı kullanmak, veri kaynaklarına bağlanmanın en güvenli yoludur. Bir veri kaynağından veri getirme özelliği üzerinde tam denetim sağlar. Yönetilen kimlik kullanılarak Event Grid veri bağlantısının kurulumu için aşağıdaki adımlar gerekir:

  1. Kümenize yönetilen kimlik ekleyin.
  2. Veri kaynağında yönetilen kimliğe izinler verin. Azure Depolama'dan veri getirmek için yönetilen kimliğin Azure Depolama hesabında en az Depolama Blob Veri Okuyucusu izinlerine sahip olması gerekir.
  3. Olay hub'ındaki yönetilen kimliğe izinler verin. Olay hub'ından blob bildirimleri getirmek için yönetilen kimliğin Azure Event Hubs'da Azure Event Hubs Veri Alıcısı izinlerine sahip olması gerekir.
  4. Hedef veritabanlarında bir yönetilen kimlik ilkesi ayarlayın.
  5. Verileri getirmek için yönetilen kimlik kimlik doğrulamasını kullanarak bir veri bağlantısı oluşturun.

  Dikkat

  • Yönetilen kimlik izinleri veri kaynağından kaldırılırsa, veri bağlantısı artık çalışmaz ve veri kaynağından veri getiremez.
  • Blob bildirimlerinin akışı yapılan mevcut bir Event Hubs ad alanında yerel kimlik doğrulaması devre dışı bırakılırsa, veri bağlantısı için yönetilen kimlik kimlik doğrulamasını kullanmanız ve kaynakları doğru yapılandırmanız gerekir. Daha fazla bilgi için bkz . Bilinen Event Grid sorunları.

• Anahtar tabanlı veri bağlantısı: Veri bağlantısı için yönetilen kimlik doğrulaması belirtilmezse, bağlantı otomatik olarak anahtar tabanlı kimlik doğrulamasına ayarlanır. Anahtar tabanlı bağlantılar, Azure Event Hubs bağlantı dizesi gibi bir kaynak bağlantı dizesi kullanarak veri getirir. Azure Veri Gezgini, belirtilen kaynak için kaynak bağlantı dizesi alır ve güvenli bir şekilde kaydeder. Bağlantı dizesi daha sonra veri kaynağından veri getirmek için kullanılır.

  Dikkat

  Anahtar döndürülürse, veri bağlantısı artık çalışmaz ve veri kaynağından veri getiremez. Sorunu çözmek için veri bağlantısını güncelleştirin veya yeniden oluşturun.

Veri biçimi

• Desteklenen biçimlere bakın.
• Bkz. desteklenen sıkıştırmalar.

  • Özgün sıkıştırılmamış veri boyutu blob meta verilerinin parçası olmalıdır, aksi takdirde Azure Veri Gezgini bunu tahmin eder. Dosya başına sıkıştırılmamış boyut sınırı 6 GB'tır.

    Not

    Event Grid bildirim aboneliği , StorageV2veya Data Lake Storage 2. Nesil için BlobStorageAzure Depolama hesaplarında ayarlanabilir.

Alma özellikleri

Blob alımının alma özelliklerini blob meta verileri aracılığıyla belirtebilirsiniz. Aşağıdaki özellikleri ayarlayabilirsiniz:

Olay yönlendirme

Kümenize bir veri bağlantısı oluşturduğunuzda, alınan verilerin nereye gönderileceğine ilişkin yönlendirmeyi belirtirsiniz. Varsayılan yönlendirme, hedef veritabanıyla ilişkili bağlantı dizesi belirtilen hedef tabloya yapılır. Verileriniz için varsayılan yönlendirme statik yönlendirme olarak da adlandırılır. Olay verileri özelliklerini kullanarak verileriniz için alternatif bir yönlendirme belirtebilirsiniz.

Olay verilerini alternatif veritabanına yönlendirme

Verileri alternatif bir veritabanına yönlendirme varsayılan olarak kapalıdır. Verileri farklı bir veritabanına göndermek için önce bağlantıyı çok veritabanılı bir bağlantı olarak ayarlamanız gerekir. Bunu Azure portalında, C#, Python'da veya ARM şablonunda yapabilirsiniz. Veritabanı yönlendirmesine izin vermek için kullanılan kullanıcı, grup, hizmet sorumlusu veya yönetilen kimlik en azından kümede katkıda bulunan rolüne ve yazma izinlerine sahip olmalıdır. Daha fazla bilgi için bkz. Azure Veri Gezgini için Event Grid veri bağlantısı oluşturma.

Alternatif bir veritabanı belirtmek için Veritabanı alımı özelliğini ayarlayın.

Olay verilerini alternatif bir tabloya yönlendirme

Azure Veri Gezgini kümesine blob depolama bağlantısı kurarken hedef tablo özelliklerini belirtin:

• tablo adı
• veri biçimi
• eşleme

Blob meta verilerini kullanarak her blob için hedef tablo özelliklerini de belirtebilirsiniz. Veriler, alma özellikleri tarafından belirtildiği gibi dinamik olarak yönlendirilir.

Aşağıdaki örnekte, blob meta verileri karşıya yüklemeden önce alma özelliklerini ayarlama işlemi gösterilmektedir. Bloblar farklı tablolara yönlendirilir.

Ayrıca, hedef veritabanını belirtebilirsiniz. Event Grid veri bağlantısı belirli bir veritabanı bağlamında oluşturulur. Bu nedenle bu veritabanı, veri bağlantısının varsayılan veritabanı yönlendirmesidir. Verileri farklı bir veritabanına göndermek için "KustoDatabase" alma özelliğini ayarlayın ve veri bağlantısını Çoklu veritabanı veri bağlantısı olarak ayarlayın. Verileri başka bir veritabanına yönlendirme varsayılan olarak devre dışıdır (izin verilmez). Veri bağlantısının veritabanından farklı bir veritabanı alma özelliğinin birden çok veritabanına veri yönlendirmesine izin vermeden ayarlanması (bağlantıyı Çok veritabanı veri bağlantısı olarak ayarlamak), veri alımının başarısız olmasına neden olur.

Daha fazla bilgi için bkz . Blobları karşıya yükleme.

var container = new BlobContainerClient("<storageAccountConnectionString>", "<containerName>");
await container.CreateIfNotExistsAsync();
var blob = container.GetBlobClient("<blobName>");
// Blob is dynamically routed to table `Events`, ingested using `EventsMapping` data mapping
await blob.SetMetadataAsync(
    new Dictionary<string, string>
    {
        { "rawSizeBytes", "4096" }, // the uncompressed size is 4096 bytes
        { "kustoTable", "Events" },
        { "kustoDataFormat", "json" },
        { "kustoIngestionMappingReference", "EventsMapping" },
        { "kustoDatabase", "AnotherDB" }
    }
);
await blob.UploadAsync(BinaryData.FromString(File.ReadAllText("<filePath>")));

Blobları karşıya yükleme

Yerel bir dosyadan blob oluşturabilir, alma özelliklerini blob meta verilerine ayarlayabilir ve karşıya yükleyebilirsiniz. Örnekler için bkz . Event Grid veri bağlantısını kullanma.

Blobları yeniden adlandırma

ADLSv2 kullanırken, azure Veri Gezgini blob alımını tetikleyen bir blobu yeniden adlandırabilirsiniz. Örneğin, bkz . Blobları yeniden adlandırma.

Depolama yaşam döngüsünü kullanarak blobları silme

Azure Veri Gezgini alındıktan sonra blobları silmez. Blob silme işleminizi yönetmek için Azure Blob depolama yaşam döngüsünü kullanın. Blobların üç ile beş gün süreyle tutulması önerilir.

Bilinen Event Grid sorunları

Yerel kimlik doğrulaması olmadan çalışma

Akış bildirimleri için kullanılan olay hub'ını içeren Event Hubs ad alanında yerel kimlik doğrulaması devre dışı bırakılırsa, yönetilen kimlikleri kullanarak verilerin depolama alanından olay hub'ına doğru şekilde akmasını sağlamak için aşağıdaki adımları kullanın:

$eventGridSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTGRID SYSTEM TOPIC>"
$eventGridResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTGRID SYSTEM TOPIC>"
$eventGridSystemTopicName = "<EVENTGRID SYSTEM TOPIC NAME>"
$eventGridSubscriptionName = "<EVENTGRID SUBSCRIPTION NAME>"

$eventhubSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTHUB NAMESPACE>"
$eventhubResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTHUB NAMESPACE>"
$eventhubNamespaceName = "<THE EVENTHUB NAMESPACE NAME>"
$eventhubName = "<THE EVENTHUB NAME>"

Set-AzContext -SubscriptionId $eventGridSubscriptionId

Write-Host "Checking if Event Grid Topic exists"
$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$hasSystemAssignedIdentity = $eg.IdentityType -match "SystemAssigned"

if ($hasSystemAssignedIdentity) {
    Write-Host -ForegroundColor Green "Event Grid Topic $eventGridSystemTopicName already has a system-assigned identity"
}
else {
    Write-Host "Event Grid Topic $eventGridSystemTopicName doesn't have a system-assigned identity. Assigning one..."
    Update-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName -EnableSystemAssignedIdentity $true
    Write-Host -ForegroundColor Green "System-assigned identity has been assigned to Event Grid Topic $eventGridSystemTopicName"
}

$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$identityPrincipalId = $eg.IdentityPrincipalId

Set-AzContext -SubscriptionId $eventhubSubscriptionId

$eventhubResourceId = "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"

Write-Host "Checking if Azure Event Hubs Data Sender role is assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
$roleAssignment = Get-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope $eventhubResourceId
$hasRoleAssignment = $null -ne $roleAssignment

if ($hasRoleAssignment) {
    Write-Host -ForegroundColor Yellow "Azure Event Hubs Data Sender role is already assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}
else {
    Write-Host "Going to assign Azure Event Hubs Data Sender role to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubResourceId"
    New-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"
    Write-Host -ForegroundColor Green "Azure Event Hubs Data Sender role has been assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}

Write-Host "Checking if Event Subscription $eventSubscriptionName is using Systeam assigned identity"
$eventGridSubscribtion = Get-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName
$deliveryIdentityType = $eventGridSubscribtion.DeliveryWithResourceIdentityType
$destination = $eventGridSubscribtion.Destination

if ($deliveryIdentityType -eq "SystemAssigned") {
    Write-Host -ForegroundColor Yellow "Event Subscription $eventGridSubscriptionName is allready using System Assigned Identity"
}
else {
    Write-Host "Event Subscription $eventGridSubscriptionName is not using System Assigned Identity. Updating..."
    Update-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName -DeliveryWithResourceIdentityType "SystemAssigned" -DeliveryWithResourceIdentityDestination $destination
    Write-Host -ForegroundColor Green "Event Subscription $eventGridSubscriptionName is now using System Assigned Identity"
}

Write-Host -ForegroundColor Green "%%%%%%%% Script has been executed successfully %%%%%%%%"

Ayrıca, Azure Veri Gezgini olay hub'ından bildirim alabilmesi için Event Grid veri bağlantısını yönetilen kimlik doğrulaması kullanacak şekilde yapılandırın.

Azure Veri Gezgini dışarı aktarılan dosyalarda Event Grid alımını ayarlama

Event Grid alımı için kullanılan dosyaları dışarı aktarmak için Azure Veri Gezgini kullanırken aşağıdakilere dikkat edin:

• Dışarı aktarma komutuna sağlanan bağlantı dizesi veya bir dış tabloya sağlanan bağlantı dizesi ADLS 2. Nesil biçiminde bir bağlantı dizesiyse (örneğin, abfss://filesystem@accountname.dfs.core.windows.net) Event Grid bildirimleri tetiklenmemiştir, ancak depolama hesabı hiyerarşik ad alanı için etkinleştirilmemişse.
• Hesap hiyerarşik ad alanı için etkinleştirilmediyse bağlantı dizesi Blob Depolama biçimini (örneğin, https://accountname.blob.core.windows.net) kullanmalıdır. ADLS 2. Nesil bağlantı dizesi kullanılırken bile dışarı aktarma beklendiği gibi çalışır, ancak bildirimler tetiklenmez ve Event Grid alımı çalışmaz.

Özel bileşenlerden Depolama olaylarını öykünme

Azure Depolama olaylarına öykünmek için özel bileşenler kullanılırken öykünülen olayların Azure Blob Depolama olay şemasıyla kesinlikle uyumlu olması gerekir. Azure Veri Gezgini Event Grid SDK'sı tarafından ayrıştırılamayan olayları atar.

İlgili içerik

• Event Grid veri bağlantısı oluşturma
• Veri alma sihirbazını kullanarak Azure Event Hubs'dan Azure Veri Gezgini'a veri alma
• Kapsayıcıdan veya Azure Data Lake Storage'dan Azure Veri Gezgini'a veri alma