Creación de una conexión de datos de Event Grid para Azure Data Explorer

1. Vaya al clúster de Azure Data Explorer en Azure Portal.

2. En Datos, seleccione Bases de datos>TestDatabase.

   

3. En Configuración, seleccione Conexiones de datos y, a continuación, seleccione Agregar conexión de datos>Event Grid (Blob Storage).

   

4. Rellene el formulario de conexión de datos de Event Grid con la siguiente información:

   

   Configuración	Valor sugerido	Descripción del campo
   Nombre de la conexión de datos	test-grid-connection	Nombre de la conexión que desea crear en Azure Data Explorer. Los nombres de conexiones de datos solo pueden contener caracteres alfanuméricos, guiones y puntos, y tener como máximo 40 caracteres.
   Suscripción de la cuenta de almacenamiento	Su Id. de suscripción	El identificador de la suscripción en la que reside la cuenta de almacenamiento.
   Tipo de evento	Blob creado o Blob con el nombre cambiado	Tipo de evento que desencadena la ingesta. El evento Blob con el nombre cambiado solo se admite para el almacenamiento de ADLSv2. Para cambiar el nombre de un blob, vaya al blob en Azure Portal, haga clic con el botón derecho en el blob y seleccione Cambiar nombre. Estos son los tipos que se admiten: Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
   Cuenta de almacenamiento	gridteststorage1	Nombre de la cuenta de almacenamiento que creó anteriormente.
   Creación de recursos	Automático	Activar la creación automática de recursos significa que Azure Data Explorer crea una suscripción a Event Grid, un espacio de nombres de Event Hubs y Event Hubs automáticamente. De lo contrario, deberá crear estos recursos manualmente para garantizar la creación de la conexión de datos. Consulte Creación manual de recursos para la ingesta de Event Grid

   1. Si lo desea, puede realizar un seguimiento de temas específicos de Event Grid. Establezca los filtros para las notificaciones de la manera siguiente:

      • El campo prefijo es el prefijo literal del asunto. Como el patrón que se aplica es comienza por, puede abarcar varios contenedores, carpetas o blobs. No se permiten comodines.
        • Para definir un filtro en el contenedor de blobs, el campo debe establecerse de la siguiente manera: /blobServices/default/containers/[container prefix].
        • Para definir un filtro en un prefijo de blob (o en una carpeta en Azure Data Lake Gen2), el campo debe establecerse de la siguiente manera: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • El campo sufijo es el sufijo literal del blob. No se permiten comodines.
      • El campo Distinguir mayúsculas de minúsculas indica si los filtros de prefijos y sufijos distinguen mayúsculas de minúsculas.

      Para obtener más información sobre el filtrado de eventos, consulte Eventos de Blob Storage.

   2. Si lo desea, puede especificar la configuración de enrutamiento de datos de acuerdo con la siguiente información. No es necesario especificar todos los valores de configuración de enrutamiento de datos. También se aceptan configuraciones parciales.

      Configuración	Valor sugerido	Descripción del campo
      Permite el enrutamiento de los datos a otras bases de datos (conexión de datos de varias bases de datos)	No permitir	Active esta opción si desea invalidar la base de datos de destino predeterminada asociada a la conexión de datos. Para más información acerca del enrutamiento de bases de datos, consulte Enrutamiento de eventos.
      Nombre de tabla	TestTable	La tabla que creó en TestDatabase.
      Formato de datos	JSON	Los formatos admitidos son APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT y W3CLOG. Las opciones de compresión admitidas son zip y gzip.
      Nombre de asignación	TestTable_mapping	La asignación que creó en TestDatabase, que asigna los datos entrantes a los nombres de columnas y tipos de datos de TestTable. Si no se especifica, se genera automáticamente una asignación de datos de identidad derivada del esquema de la tabla.
      Omitir errores de formato	Ignore	Active esta opción si desea omitir los errores de formato para el formato de datos JSON.

      Nota:

      Los nombres de tabla y de asignación distinguen mayúsculas de minúsculas.

   3. Si lo desea, en Configuración avanzada, puede especificar el tipo de identidad administrada que usa la conexión de datos. De forma predeterminada, se selecciona Asignada por el sistema.

      Si selecciona Asignada por el usuario, deberá asignar manualmente una identidad administrada. Si selecciona un usuario que aún no está asignado al clúster, se le asignará automáticamente. Para obtener más información, consulte Configuración de identidades administradas para el clúster de Azure Data Explorer.

      Si selecciona Ninguna, la cuenta de almacenamiento y el centro de eventos se autenticarán a través de cadenas de conexión. No se recomienda este método.

      

5. Seleccione Crear

1. Vaya a la cuenta de almacenamiento en Azure Portal.
2. Seleccione Eventos.
3. En la pestaña Introducción, seleccione la pestaña Azure Data Explorer.
4. En el icono Crear ingesta de datos continua, seleccione Crear.

Elegir el destino al que se enviarán los eventos

1. Seleccione un clúster en el que desea ingerir datos.
2. Selecciona una base de datos de destino.
3. Elija Seleccionar.

Crear conexión de datos

1. Rellene el formulario con la siguiente información:

   

   Configuración	Valor sugerido	Descripción del campo
   Nombre de la conexión de datos	test-grid-connection	Nombre de la conexión que desea crear en Azure Data Explorer.
   Suscripción de la cuenta de almacenamiento	Su Id. de suscripción	El identificador de la suscripción en la que reside la cuenta de almacenamiento.
   Tipo de evento	Blob creado o Blob con el nombre cambiado	Tipo de evento que desencadena la ingesta. El evento Blob con el nombre cambiado solo se admite para el almacenamiento de ADLSv2. Para cambiar el nombre de un blob, vaya al blob en Azure Portal, haga clic con el botón derecho en el blob y seleccione Cambiar nombre. Estos son los tipos que se admiten: Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
   Cuenta de almacenamiento	gridteststorage1	La cuenta de almacenamiento desde la que ha accedido a este asistente se rellena automáticamente.
   Creación de recursos	Automático	Activar la creación automática de recursos significa que Azure Data Explorer crea una suscripción a Event Grid, un espacio de nombres de Event Hubs y Event Hubs automáticamente. De lo contrario, deberá crear estos recursos manualmente para garantizar la creación de la conexión de datos. Consulte Creación manual de recursos para la ingesta de Event Grid

   1. Si lo desea, puede realizar un seguimiento de temas específicos de Event Grid. Establezca los filtros para las notificaciones de la manera siguiente:

      • El campo prefijo es el prefijo literal del asunto. Como el patrón que se aplica es comienza por, puede abarcar varios contenedores, carpetas o blobs. No se permiten comodines.
        • Para definir un filtro en el contenedor de blobs, el campo debe establecerse de la siguiente manera: /blobServices/default/containers/[container prefix].
        • Para definir un filtro en un prefijo de blob (o en una carpeta en Azure Data Lake Gen2), el campo debe establecerse de la siguiente manera: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • El campo sufijo es el sufijo literal del blob. No se permiten comodines.
      • El campo Distinguir mayúsculas de minúsculas indica si los filtros de prefijos y sufijos distinguen mayúsculas de minúsculas.

      Para obtener más información sobre el filtrado de eventos, consulte Eventos de Blob Storage.

   2. Si lo desea, puede especificar la configuración de enrutamiento de datos de acuerdo con la siguiente información. No es necesario especificar todos los valores de configuración de enrutamiento de datos. También se aceptan configuraciones parciales.

      Configuración	Valor sugerido	Descripción del campo
      Permite el enrutamiento de los datos a otras bases de datos (conexión de datos de varias bases de datos)	No permitir	Active esta opción si desea invalidar la base de datos de destino predeterminada asociada a la conexión de datos. Para más información acerca del enrutamiento de bases de datos, consulte Enrutamiento de eventos.
      Nombre de tabla	TestTable	La tabla que creó en TestDatabase.
      Formato de datos	JSON	Los formatos admitidos son APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT y W3CLOG. Las opciones de compresión admitidas son zip y gzip.
      Nombre de asignación	TestTable_mapping	La asignación que creó en TestDatabase, que asigna los datos entrantes a los nombres de columnas y tipos de datos de TestTable. Si no se especifica, se genera automáticamente una asignación de datos de identidad derivada del esquema de la tabla.
      Omitir errores de formato	Ignore	Active esta opción si desea omitir los errores de formato para el formato de datos JSON.

      Nota:

      Los nombres de tabla y de asignación distinguen mayúsculas de minúsculas.

   3. Si lo desea, en Configuración avanzada, puede especificar el tipo de identidad administrada que usa la conexión de datos. De forma predeterminada, se selecciona Asignada por el sistema.

      Si selecciona Asignada por el usuario, deberá asignar manualmente una identidad administrada. Si selecciona un usuario que aún no está asignado al clúster, se le asignará automáticamente. Para obtener más información, consulte Configuración de identidades administradas para el clúster de Azure Data Explorer.

      Si selecciona Ninguna, la cuenta de almacenamiento y el centro de eventos se autenticarán a través de cadenas de conexión. No se recomienda este método.

      

2. Seleccione Crear.

En el ejemplo siguiente se muestra una plantilla de Azure Resource Manager para agregar una conexión de datos de Event Grid. Puede editar e implementar la plantilla en Azure Portal mediante el formulario.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

En el ejemplo de código siguiente se usa el SDK de Azure Blob Storage para cargar un archivo en Azure Blob Storage. La carga desencadena la conexión de datos de Event Grid, que ingiere los datos en Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

En el ejemplo de código siguiente se usa el SDK de Azure Data Lake para cargar un archivo en Data Lake Storage Gen2. La carga desencadena la conexión de datos de Event Grid, que ingiere los datos en Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Cambio del nombre de los blobs

En ADLSv2, es posible cambiar el nombre de los directorios. Sin embargo, es importante tener en cuenta que cambiar el nombre de un directorio no desencadena eventos de cambio de nombre de blobs ni inicia la ingesta de blobs incluidos en el directorio. Si desea garantizar la ingesta de blobs tras cambiar el nombre de un directorio, deberá cambiar directamente el nombre de los blobs individuales dentro del directorio.

En el ejemplo de código siguiente se muestra cómo cambiar el nombre de un blob en una cuenta de almacenamiento de ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);