Azure Veri Gezgini için Event Grid veri bağlantısı oluşturma

Makale
09/03/2024

Bu makalede, Event Grid veri bağlantısı kullanarak depolama hesabınızdaki blobları Azure Veri Gezgini'a nasıl alacağınızı öğreneceksiniz. Azure Event Grid aboneliğini ayarlayan bir Event Grid veri bağlantısı oluşturacaksınız. Event Grid aboneliği, olayları depolama hesabınızdan Azure Event Hubs aracılığıyla Azure Veri Gezgini yönlendirir.

Not

Veri alımı en fazla 6 GB'lık dosya boyutunu destekler. Öneri, 100 MB ile 1 GB arasında dosya almaktır.

Kusto SDK'larını kullanarak bağlantı oluşturmayı öğrenmek için bkz . SDK'larla Event Grid veri bağlantısı oluşturma.

Event Grid'den Azure Veri Gezgini alma hakkında genel bilgi için bkz. Event Grid'e bağlanma.

Not

Event Grid bağlantısıyla en iyi performansı elde etmek için blob meta verileri aracılığıyla alma özelliğini ayarlayın rawSizeBytes . Daha fazla bilgi için bkz . alma özellikleri.

Önkoşullar

Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
Tablo için alım eşlemesi.
Depolama hesabı. Bir Event Grid bildirim aboneliği, , StorageV2veya Data Lake Storage 2. Nesil için BlobStorageAzure Depolama hesaplarında ayarlanabilir.
Event Grid kaynak sağlayıcısının kaydedilmesini sağlayın.

Event Grid veri bağlantısı oluşturma

Bu bölümde Event Grid ile Azure Veri Gezgini tablonuz arasında bir bağlantı kuracaksınız.

Azure portalında Azure Veri Gezgini kümenize göz atın.
Veri'nin altında Veritabanları>TestDatabase'i seçin.
Ayarlar'ın altında Veri bağlantıları'nı ve ardından Veri bağlantısı>ekle Event Grid (Blob depolama) öğesini seçin.

Event Grid veri bağlantısı formunu aşağıdaki bilgilerle doldurun:

Ayar	Önerilen değer	Alan açıklaması
Veri bağlantısı adı	test-grid-connection	Azure Veri Gezgini'da oluşturmak istediğiniz bağlantının adı. Veri bağlantısı adları yalnızca alfasayısal, tire ve nokta karakterleri içerebilir ve en fazla 40 karakter uzunluğunda olabilir.
Depolama hesabı aboneliği	Abonelik kimliğiniz	Depolama hesabınızın bulunduğu abonelik kimliği.
Olay türü	Blob oluşturuldu veya Blob yeniden adlandırıldı	Alımı tetikleyen olay türü. Yeniden adlandırılan blob yalnızca ADLSv2 depolama için desteklenir. Blobu yeniden adlandırmak için Azure portalında bloba gidin, bloba sağ tıklayın ve Yeniden Adlandır'ı seçin. Desteklenen türler şunlardır: Microsoft.Storage.BlobCreated veya Microsoft.Storage.BlobRenamed.
Storage account	gridteststorage1	Daha önce oluşturduğunuz depolama hesabının adı.
Kaynak oluşturma	Otomatik	Otomatik kaynak oluşturmayı açmak, Azure Veri Gezgini'ın sizin için bir Event Grid Aboneliği, bir Event Hubs ad alanı ve Event Hubs oluşturduğu anlamına gelir. Aksi takdirde, veri bağlantısının oluşturulmasını sağlamak için bu kaynakları el ile oluşturmanız gerekir. Bkz. Event Grid alımı için el ile kaynak oluşturma

İsteğe bağlı olarak, belirli Event Grid konularını izleyebilirsiniz. Bildirimlerin filtrelerini aşağıdaki gibi ayarlayın:
- Ön ek alanı, konunun değişmez önekidir. Uygulanan desen ile başladığından, birden çok kapsayıcı, klasör veya bloba yayılabilir. Joker karakterlere izin verilmez.
  - Blob kapsayıcısı üzerinde bir filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container prefix].
  - Blob ön ekinde (veya Azure Data Lake 2. Nesil'de bir klasörde) filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Sonek alanı, blobun değişmez değer son ekidir. Joker karakterlere izin verilmez.
- Büyük/Küçük Harfe Duyarlı alan, önek ve sonek filtrelerinin büyük/küçük harfe duyarlı olup olmadığını gösterir
Olayları filtreleme hakkında daha fazla bilgi için bkz . Blob depolama olayları.

İsteğe bağlı olarak, Veri yönlendirme ayarlarını aşağıdaki bilgilere göre belirtebilirsiniz. Tüm Veri yönlendirme ayarlarını belirtmeniz gerekmez. Kısmi ayarlar da kabul edilir.

Ayar	Önerilen değer	Alan açıklaması
Verileri diğer veritabanlarına yönlendirmeye izin ver (Çoklu veritabanı veri bağlantısı)	İzin verme	Veri bağlantısıyla ilişkili varsayılan hedef veritabanını geçersiz kılmak istiyorsanız bu seçeneği açın. Veritabanı yönlendirmesi hakkında daha fazla bilgi için bkz . Olay yönlendirme.
Tablo adı	TestTable	TestDatabase içinde oluşturduğunuz tablo.
Veri biçimi	JSON	Desteklenen biçimler APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT ve W3CLOG'dur. Desteklenen sıkıştırma seçenekleri zip ve gzip'dir.
Eşleme adı	TestTable_mapping	Gelen verileri TestTable'ın sütun adlarına ve veri türlerine eşleyen TestDatabase'de oluşturduğunuz eşleme. Belirtilmezse, tablonun şemasından türetilen bir kimlik veri eşlemesi otomatik olarak oluşturulur.
Biçim hatalarını yoksay	Yok saymak	JSON veri biçimi için biçim hatalarını yoksaymak istiyorsanız bu seçeneği açın.

Not

Tablo ve eşleme adları büyük/küçük harfe duyarlıdır.

İsteğe bağlı olarak, Gelişmiş ayarlar'ın altında, veri bağlantınız tarafından kullanılan Yönetilen kimlik türünü belirtebilirsiniz. Varsayılan olarak, Sistem tarafından atanan seçilir.

Kullanıcı tarafından atanan'ı seçerseniz, yönetilen kimliği el ile atamanız gerekir. Henüz kümenize atanmamış bir kullanıcı seçerseniz, otomatik olarak atanır. Daha fazla bilgi için bkz. Azure Veri Gezgini kümeniz için yönetilen kimlikleri yapılandırma.

Hiçbiri'ni seçerseniz depolama hesabı ve Olay Hub'ı bağlantı dizesi aracılığıyla doğrulanır. Bu yöntem önerilmez.

Oluştur'u seçin

Azure portalında depolama hesabınıza göz atın.
Olaylar'ı seçin.
Başlarken sekmesinde Azure Veri Gezgini sekmesini seçin.
Sürekli veri alımı oluştur kutucuğunda Oluştur'u seçin.

Olayları yönlendirilecek hedefi seçin

Verileri almak istediğiniz kümeyi seçin.
Bir hedef veritabanı seçin.
Seç'i seçin.

Veri bağlantısı oluşturma

Formu aşağıdaki bilgilerle doldurun:

Ayar	Önerilen değer	Alan açıklaması
Veri bağlantısı adı	test-grid-connection	Azure Veri Gezgini'da oluşturmak istediğiniz bağlantının adı.
Depolama hesabı aboneliği	Abonelik kimliğiniz	Depolama hesabınızın bulunduğu abonelik kimliği.
Olay türü	Blob oluşturuldu veya Blob yeniden adlandırıldı	Alımı tetikleyen olay türü. Yeniden adlandırılan blob yalnızca ADLSv2 depolama için desteklenir. Blobu yeniden adlandırmak için Azure portalında bloba gidin, bloba sağ tıklayın ve Yeniden Adlandır'ı seçin. Desteklenen türler şunlardır: Microsoft.Storage.BlobCreated veya Microsoft.Storage.BlobRenamed.
Storage account	gridteststorage1	Bu sihirbaza erişmiş olduğunuz depolama hesabı otomatik olarak doldurulur.
Kaynak oluşturma	Otomatik	Otomatik kaynak oluşturmayı açmak, Azure Veri Gezgini'ın sizin için bir Event Grid Aboneliği, bir Event Hubs ad alanı ve Event Hubs oluşturduğu anlamına gelir. Aksi takdirde, veri bağlantısının oluşturulmasını sağlamak için bu kaynakları el ile oluşturmanız gerekir. Bkz. Event Grid alımı için el ile kaynak oluşturma

İsteğe bağlı olarak, belirli Event Grid konularını izleyebilirsiniz. Bildirimlerin filtrelerini aşağıdaki gibi ayarlayın:
- Ön ek alanı, konunun değişmez önekidir. Uygulanan desen ile başladığından, birden çok kapsayıcı, klasör veya bloba yayılabilir. Joker karakterlere izin verilmez.
  - Blob kapsayıcısı üzerinde bir filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container prefix].
  - Blob ön ekinde (veya Azure Data Lake 2. Nesil'de bir klasörde) filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Sonek alanı, blobun değişmez değer son ekidir. Joker karakterlere izin verilmez.
- Büyük/Küçük Harfe Duyarlı alan, önek ve sonek filtrelerinin büyük/küçük harfe duyarlı olup olmadığını gösterir
Olayları filtreleme hakkında daha fazla bilgi için bkz . Blob depolama olayları.

Ayar	Önerilen değer	Alan açıklaması
Verileri diğer veritabanlarına yönlendirmeye izin ver (Çoklu veritabanı veri bağlantısı)	İzin verme	Veri bağlantısıyla ilişkili varsayılan hedef veritabanını geçersiz kılmak istiyorsanız bu seçeneği açın. Veritabanı yönlendirmesi hakkında daha fazla bilgi için bkz . Olay yönlendirme.
Tablo adı	TestTable	TestDatabase içinde oluşturduğunuz tablo.
Veri biçimi	JSON	Desteklenen biçimler APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT ve W3CLOG'dur. Desteklenen sıkıştırma seçenekleri zip ve gzip'dir.
Eşleme adı	TestTable_mapping	Gelen verileri TestTable'ın sütun adlarına ve veri türlerine eşleyen TestDatabase'de oluşturduğunuz eşleme. Belirtilmezse, tablonun şemasından türetilen bir kimlik veri eşlemesi otomatik olarak oluşturulur.
Biçim hatalarını yoksay	Yok saymak	JSON veri biçimi için biçim hatalarını yoksaymak istiyorsanız bu seçeneği açın.

Not

Tablo ve eşleme adları büyük/küçük harfe duyarlıdır.

İsteğe bağlı olarak, Gelişmiş ayarlar'ın altında, veri bağlantınız tarafından kullanılan Yönetilen kimlik türünü belirtebilirsiniz. Varsayılan olarak, Sistem tarafından atanan seçilir.

Kullanıcı tarafından atanan'ı seçerseniz, yönetilen kimliği el ile atamanız gerekir. Henüz kümenize atanmamış bir kullanıcı seçerseniz, otomatik olarak atanır. Daha fazla bilgi için bkz. Azure Veri Gezgini kümeniz için yönetilen kimlikleri yapılandırma.

Hiçbiri'ni seçerseniz depolama hesabı ve Olay Hub'ı bağlantı dizesi aracılığıyla doğrulanır. Bu yöntem önerilmez.

Oluştur'u belirleyin.

Aşağıdaki örnekte Event Grid veri bağlantısı eklemeye yönelik bir Azure Resource Manager şablonu gösterilmektedir. Formu kullanarak şablonu Azure portalında düzenleyebilir ve dağıtabilirsiniz.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Event Grid veri bağlantısını kullanma

Bu bölümde blob oluşturma veya blob yeniden adlandırma sonrasında Azure Blob Depolama veya Azure Data Lake 2. Nesil'den kümenize alımın nasıl tetiklenmesi gösterilmektedir.

Blobları karşıya yüklemek için kullanılan depolama SDK'sının türüne göre ilgili sekmeyi seçin.

Azure Blob Depolama
Azure Data Lake

Aşağıdaki kod örneği, Azure Blob Depolama SDK'sını kullanarak bir dosyayı Azure Blob Depolama'a yükler. Karşıya yükleme, Event Grid veri bağlantısını tetikleyerek verileri Azure Veri Gezgini'a alır.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Not

Azure Veri Gezgini alma sonrasında blobları silmez. Blob silmeyi yönetmek için Azure Blob depolama yaşam döngüsünü kullanarak blobları üç ile beş gün süreyle koruyun.

Aşağıdaki kod örneği, Data Lake Storage 2. Nesil'a dosya yüklemek için Azure Data Lake SDK'sını kullanır. Karşıya yükleme, Event Grid veri bağlantısını tetikleyerek verileri Azure Veri Gezgini'a alır.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Not

Azure Data Lake SDK'sı ile bir dosya karşıya yüklenirken, ilk dosya oluşturma olayının boyutu 0'dır ve veri alımı sırasında Azure Veri Gezgini tarafından yoksayılır. Doğru alımı sağlamak için parametresini Close olarak trueayarlayın. Bu parametre, karşıya yükleme yönteminin son güncelleştirmenin yapıldığını ve dosya akışının kapatıldığını belirten flushandclose olayını tetiklesine neden olur.
Event Grid'den gelen trafiği azaltmak ve olayların Azure Veri Gezgini'a alımını iyileştirmek için data.api anahtarını CreateFile olaylarını dışlamak üzere filtrelemenizi öneririz. Bu, boyutu 0 olan dosya oluşturma olaylarının filtrelenmesini sağlayarak boş dosyanın alımı hatalarını önler. Temizleme hakkında daha fazla bilgi için bkz . Azure Data Lake temizleme yöntemi.

Blobları yeniden adlandırma

ADLSv2'de dizinleri yeniden adlandırmak mümkündür. Ancak, bir dizini yeniden adlandırmanın blob yeniden adlandırılmış olaylarını tetiklemediğini veya dizinde yer alan blobların alımını başlatmadığını unutmayın. Bir dizini yeniden adlandırdıktan sonra blobların alımını sağlamak istiyorsanız, dizindeki tek tek blobları doğrudan yeniden adlandırmanız gerekir.

Aşağıdaki kod örneğinde, ADLSv2 depolama hesabında blobu yeniden adlandırma gösterilmektedir.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Not

Veri bağlantısını oluştururken veya Event Grid kaynaklarını el ile oluştururken belirli konuları izlemek için filtreler tanımladıysanız, bu filtreler hedef dosya yoluna uygulanır.

Not

Hiyerarşik ad alanı özelliğinin etkinleştirildiği depolama hesapları için bir CopyBlob işlemden sonra alımı tetikleme desteklenmez.

Önemli

Özel koddan Depolama Olayları oluşturma ve bunları Event Hubs'a göndermeyi kesinlikle önerilmez. Bunu yapmayı seçerseniz, üretilen olayların uygun Depolama Olayları şemasına ve JSON biçimi belirtimlerine kesinlikle uyduğunu doğrulayın.

Event Grid veri bağlantısını kaldırma

Event Grid bağlantısını Azure portalından kaldırmak için aşağıdaki adımları uygulayın:

Kümenize gidin. Soldaki menüden Veritabanları'nı seçin. Ardından hedef tabloyu içeren veritabanını seçin.
Soldaki menüden Veri bağlantıları'nı seçin. Ardından ilgili Event Grid veri bağlantısının yanındaki onay kutusunu seçin.
Üst menü çubuğunda Sil'i seçin.

Azure Stream Analytics'i kullanarak olay hub'ınızdaki verileri işleme

Aracılığıyla paylaş

Azure Veri Gezgini için Event Grid veri bağlantısı oluşturma

Önkoşullar

Event Grid veri bağlantısı oluşturma

Olayları yönlendirilecek hedefi seçin

Veri bağlantısı oluşturma

Event Grid veri bağlantısını kullanma

Blobları yeniden adlandırma

Event Grid veri bağlantısını kaldırma

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Azure Veri Gezgini için Event Grid veri bağlantısı oluşturma

Önkoşullar

Event Grid veri bağlantısı oluşturma

Event Grid veri bağlantısını kullanma

Event Grid veri bağlantısını kaldırma

İlgili içerik

Geri Bildirim

Ek kaynaklar