Erstellen einer Event Grid-Datenverbindung für Azure Data Explorer

1. Navigieren Sie im Azure-Portal zu Ihrem Azure Data Explorer-Cluster.

2. Wählen Sie unter Daten die Option Datenbanken>TestDatabase aus.

   

3. Wählen Sie unter Einstellungen die Option Datenverbindungen aus, und wählen Sie dann Datenverbindung hinzufügen>Event Grid (Blob Storage) aus.

   

4. Füllen Sie das Formular für die Event Grid-Datenverbindung mit den folgenden Informationen aus:

   

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Name der Datenverbindung	test-grid-connection	Der Name der Verbindung, die Sie im Azure Data Explorer erstellen möchten. Namen von Datenverbindungen dürfen nur alphanumerische Zeichen, Bindestriche und Punkte enthalten und können bis zu 40 Zeichen lang sein.
   Speicherkontoabonnement	Ihre Abonnement-ID	Die Abonnement-ID, unter der sich Ihr Speicherkonto befindet.
   Ereignistyp	Blob erstellt oder Blob umbenannt	Der Typ des Ereignisses, das die Erfassung auslöst Blob umbenannt wird nur für ADLSv2-Speicher unterstützt. Navigieren Sie zum Umbenennen eines Blobs im Azure-Portal zum Blob, klicken Sie mit der rechten Maustaste auf das Blob, und wählen Sie Umbenennen aus. Folgende Typen werden unterstützt: „Microsoft.Storage.BlobCreated“ oder „Microsoft.Storage.BlobRenamed“.
   Speicherkonto	gridteststorage1	Der Name des zuvor erstellten Speicherkontos.
   Ressourcenerstellung	Automatisch	Das Aktivieren der automatischen Ressourcenerstellung bedeutet, dass Azure Data Explorer ein Event Grid-Abonnement, einen Event Hubs-Namespace und eine Event Hub-Instanz für Sie erstellt. Andernfalls müssen Sie diese Ressourcen manuell erstellen, um die Erstellung der Datenverbindung sicherzustellen. Weitere Informationen finden Sie unter Manuelles Erstellen von Ressourcen für die Event Grid-Erfassung.

   1. Optional können Sie bestimmte Event Grid-Themen nachverfolgen. Legen Sie die Filter für die Benachrichtigungen wie folgt fest:

      • Das Feld Präfix ist das Literalpräfix des Themas. Da das angewendete Muster Beginnt mit ist, kann es für mehrere Container, Ordner oder Blobs gelten. Platzhalter sind nicht zulässig.
        • Zum Definieren eines Filters für den Blobcontainer muss das Feld wie folgt festgelegt werden: /blobServices/default/containers/[container prefix].
        • Zum Definieren eines Filters für ein Blobpräfix (oder einen Ordner in Azure Data Lake Gen2) muss das Feld wie folgt festgelegt werden: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Das Feld Suffix ist das Literalsuffix des Blobs. Platzhalter sind nicht zulässig.
      • Mit dem Feld Groß-/Kleinschreibung beachten wird angegeben, ob bei den Präfix- und Suffixfiltern nach Groß-/Kleinschreibung unterschieden wird.

      Weitere Informationen zum Filtern von Ereignissen finden Sie unter Blob Storage-Ereignisse.

   2. Optional können Sie die Datenroutingeinstellungen gemäß den folgenden Informationen angeben. Sie müssen nicht alle Datenroutingeinstellungen angeben. Es ist auch zulässig, nur einen Teil der Einstellungen anzugeben.

      Einstellung	Empfohlener Wert	Feldbeschreibung
      Weiterleiten der Daten an andere Datenbanken zulassen (Datenverbindung mit mehreren Datenbanken)	Nicht zulassen	Aktivieren Sie diese Option, wenn Sie die Standardzieldatenbank überschreiben möchten, die der Datenverbindung zugeordnet ist. Weitere Informationen zum Datenbankrouting finden Sie unter Ereignisrouting.
      Tabellenname	TestTable	Die Tabelle, die Sie unter TestDatabase erstellt haben.
      Datenformat	JSON	Unterstützte Formate sind: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT und W3CLOG. Unterstützte Komprimierungsoptionen sind ZIP und Gzip.
      Zuordnungsname	TestTable_mapping	Die Zuordnung, die Sie in TestDatabase erstellt haben, um eingehende Daten den Spaltennamen und Datentypen von TestTable zuzuordnen. Wenn diese nicht angegeben ist, wird eine Identitätsdatenzuordnung, die aus dem Schema der Tabelle abgeleitet ist, automatisch generiert.
      Formatfehler ignorieren	Ignorieren	Aktivieren Sie diese Option, wenn Sie Formatfehler für das JSON-Datenformat ignorieren möchten.

      Hinweis

      Für Tabellen- und Zuordnungsnamen wird die Groß-/Kleinschreibung beachtet.

   3. Optional können Sie unter Erweiterte Einstellungen den verwalteten Identitätstyp angeben, der von Ihrer Datenverbindung verwendet wird. Standardmäßig ist Systemseitig zugewiesen ausgewählt.

      Wenn Sie Benutzerseitig zugewiesen auswählen, müssen Sie manuell eine verwaltete Identität zuweisen. Wenn Sie einen Benutzer auswählen, der Ihrem Cluster noch nicht zugewiesen ist, wird er automatisch zugewiesen. Weitere Informationen finden Sie unter Konfigurieren verwalteter Identitäten für Ihren Azure Data Explorer-Cluster.

      Wenn Sie Keinen auswählen, werden das Speicherkonto und der Event Hub über Verbindungszeichenfolgen authentifiziert. Diese Methode wird nicht empfohlen.

      

5. Klicken Sie auf Erstellen

1. Navigieren Sie im Azure-Portal zu Ihrem Speicherkonto.
2. Wählen Sie Ereignisse aus.
3. Wählen Sie auf der Registerkarte Erste Schritte die Registerkarte Azure Data Explorer aus.
4. Wählen Sie auf der Kachel Kontinuierliche Datenerfassung erstellen die Option Erstellen aus.

Auswählen eines Routingziels für Ereignisse

1. Wählen Sie einen Cluster aus, in dem Sie Daten erfassen möchten.
2. Wählen Sie eine Zieldatenbank aus.
3. Wählen Sie Auswählen.

Datenverbindung erstellen

1. Füllen Sie das Formular mit den folgenden Informationen aus:

   

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Name der Datenverbindung	test-grid-connection	Der Name der Verbindung, die Sie im Azure Data Explorer erstellen möchten.
   Speicherkontoabonnement	Ihre Abonnement-ID	Die Abonnement-ID, unter der sich Ihr Speicherkonto befindet.
   Ereignistyp	Blob erstellt oder Blob umbenannt	Der Typ des Ereignisses, das die Erfassung auslöst Blob umbenannt wird nur für ADLSv2-Speicher unterstützt. Navigieren Sie zum Umbenennen eines Blobs im Azure-Portal zum Blob, klicken Sie mit der rechten Maustaste auf das Blob, und wählen Sie Umbenennen aus. Folgende Typen werden unterstützt: „Microsoft.Storage.BlobCreated“ oder „Microsoft.Storage.BlobRenamed“.
   Speicherkonto	gridteststorage1	Das Speicherkonto, über das Sie auf diesen Assistenten zugegriffen haben, wird automatisch aufgefüllt.
   Ressourcenerstellung	Automatisch	Das Aktivieren der automatischen Ressourcenerstellung bedeutet, dass Azure Data Explorer ein Event Grid-Abonnement, einen Event Hubs-Namespace und eine Event Hub-Instanz für Sie erstellt. Andernfalls müssen Sie diese Ressourcen manuell erstellen, um die Erstellung der Datenverbindung sicherzustellen. Weitere Informationen finden Sie unter Manuelles Erstellen von Ressourcen für die Event Grid-Erfassung.

   1. Optional können Sie bestimmte Event Grid-Themen nachverfolgen. Legen Sie die Filter für die Benachrichtigungen wie folgt fest:

      • Das Feld Präfix ist das Literalpräfix des Themas. Da das angewendete Muster Beginnt mit ist, kann es für mehrere Container, Ordner oder Blobs gelten. Platzhalter sind nicht zulässig.
        • Zum Definieren eines Filters für den Blobcontainer muss das Feld wie folgt festgelegt werden: /blobServices/default/containers/[container prefix].
        • Zum Definieren eines Filters für ein Blobpräfix (oder einen Ordner in Azure Data Lake Gen2) muss das Feld wie folgt festgelegt werden: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Das Feld Suffix ist das Literalsuffix des Blobs. Platzhalter sind nicht zulässig.
      • Mit dem Feld Groß-/Kleinschreibung beachten wird angegeben, ob bei den Präfix- und Suffixfiltern nach Groß-/Kleinschreibung unterschieden wird.

      Weitere Informationen zum Filtern von Ereignissen finden Sie unter Blob Storage-Ereignisse.

   2. Optional können Sie die Datenroutingeinstellungen gemäß den folgenden Informationen angeben. Sie müssen nicht alle Datenroutingeinstellungen angeben. Es ist auch zulässig, nur einen Teil der Einstellungen anzugeben.

      Einstellung	Empfohlener Wert	Feldbeschreibung
      Weiterleiten der Daten an andere Datenbanken zulassen (Datenverbindung mit mehreren Datenbanken)	Nicht zulassen	Aktivieren Sie diese Option, wenn Sie die Standardzieldatenbank überschreiben möchten, die der Datenverbindung zugeordnet ist. Weitere Informationen zum Datenbankrouting finden Sie unter Ereignisrouting.
      Tabellenname	TestTable	Die Tabelle, die Sie unter TestDatabase erstellt haben.
      Datenformat	JSON	Unterstützte Formate sind: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT und W3CLOG. Unterstützte Komprimierungsoptionen sind ZIP und Gzip.
      Zuordnungsname	TestTable_mapping	Die Zuordnung, die Sie in TestDatabase erstellt haben, um eingehende Daten den Spaltennamen und Datentypen von TestTable zuzuordnen. Wenn diese nicht angegeben ist, wird eine Identitätsdatenzuordnung, die aus dem Schema der Tabelle abgeleitet ist, automatisch generiert.
      Formatfehler ignorieren	Ignorieren	Aktivieren Sie diese Option, wenn Sie Formatfehler für das JSON-Datenformat ignorieren möchten.

      Hinweis

      Für Tabellen- und Zuordnungsnamen wird die Groß-/Kleinschreibung beachtet.

   3. Optional können Sie unter Erweiterte Einstellungen den verwalteten Identitätstyp angeben, der von Ihrer Datenverbindung verwendet wird. Standardmäßig ist Systemseitig zugewiesen ausgewählt.

      Wenn Sie Benutzerseitig zugewiesen auswählen, müssen Sie manuell eine verwaltete Identität zuweisen. Wenn Sie einen Benutzer auswählen, der Ihrem Cluster noch nicht zugewiesen ist, wird er automatisch zugewiesen. Weitere Informationen finden Sie unter Konfigurieren verwalteter Identitäten für Ihren Azure Data Explorer-Cluster.

      Wenn Sie Keinen auswählen, werden das Speicherkonto und der Event Hub über Verbindungszeichenfolgen authentifiziert. Diese Methode wird nicht empfohlen.

      

2. Klicken Sie auf Erstellen.

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage für das Hinzufügen einer Event Grid-Datenverbindung. Sie können die Vorlage im Azure-Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Im folgenden Codebeispiel wird das Azure Blob Storage SDK verwendet, um eine Datei in Azure Blob Storage hochzuladen. Der Upload löst die Ereignisrasterdatenverbindung aus, welche die Daten in Azure Data Explorer erfasst.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Im folgenden Codebeispiel wird das Azure Data Lake SDK verwendet, um eine Datei in Data Lake Storage Gen2 hochzuladen. Der Upload löst die Ereignisrasterdatenverbindung aus, welche die Daten in Azure Data Explorer erfasst.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Umbenennen von Blobs

In ADLSv2 können Verzeichnisse umbenannt werden. Es ist jedoch wichtig zu beachten, dass das Umbenennen eines Verzeichnisses keine Ereignisse zur Umbenennung von Blobs auslöst oder die Erfassung von Blobs in das Verzeichnis initiiert. Wenn Sie sicherstellen möchten, dass Blobs nach dem Umbenennen eines Verzeichnisses aufgenommen werden, sollten Sie die einzelnen Blobs im Verzeichnis direkt umbenennen.

Im folgenden Codebeispiel wird gezeigt, wie ein Blob in einem ADLSv2-Speicherkonto umbenannt wird.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);