Создание подключения к данным сетки событий для Azure Data Explorer

Статья
02/29/2024

В этой статье вы узнаете, как принимать большие двоичные объекты из вашей учетной записи хранения в Azure Data Explorer с помощью подключения к данным Сетки событий. Вы создадите подключение к данным Сетки событий, которое задает подписку Сетка событий Azure. Подписка на сетку событий направляет события из вашей учетной записи хранения в Azure Data Explorer через Центры событий Azure.

Примечание.

Максимальный размер принимаемого файла составляет 6 ГБ. Для приема мы советуем файлы размером от 100 МБ до 1 ГБ.

Сведения о создании подключения с помощью пакетов SDK Kusto см. в статье "Создание подключения к данным сетки событий" с помощью пакетов SDK.

Общие сведения о передаче данных в Azure Data Explorer из сетки событий см. в разделе Подключение к сетке событий.

Примечание.

Чтобы обеспечить лучшую производительность при подключении сетки событий, задайте rawSizeBytes свойство приема с помощью метаданных большого двоичного объекта. Дополнительные сведения см. в свойствах приема.

Необходимые компоненты

Подписка Azure. Создайте бесплатную учетную запись Azure.
Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
Целевая таблица. Создайте таблицу или используйте существующую таблицу.
Сопоставление приема для таблицы.
Учетная запись хранения. Подписка на уведомление сетки событий может быть задана в учетных записях служба хранилища Azure для BlobStorageData Lake Storage 2-го поколения StorageV2или Data Lake Storage 2-го поколения.
Зарегистрирован поставщик ресурсов сетки событий.

Создание подключения к данным в Сетке событий

В этом разделе описано, как установить подключение между сеткой событий и таблицей Azure Data Explorer.

Перейдите к кластеру Azure Data Explorer в портал Azure.
В разделе "Данные" выберите Database>TestDatabase.
В разделе "Параметры" выберите подключения к данным и выберите "Добавить сетку событий подключения>к данным" (хранилище BLOB-объектов).

Заполните форму подключения к данным сетки событий следующими сведениями:

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-grid-connection	Имя создаваемого подключения в Azure Data Explorer. Имена подключений к данным могут содержать только буквенно-цифровые символы, тире и точки, а длина — до 40 символов.
Подписка учетной записи хранения	Ваш идентификатор подписки	Идентификатор подписки, в которой находится ваша учетная запись хранения.
Тип события	Созданный BLOB-объект или переименованный BLOB-объект	Тип события, запускающего загрузку. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2. Чтобы переименовать большой двоичный объект, перейдите к большому двоичному объекту в портал Azure, щелкните его правой кнопкой мыши и выберите "Переименовать". Поддерживаемые типы: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed.
Storage account	gridteststorage1	Имя созданной ранее учетной записи хранения.
Создание ресурсов	Автоматически	Включение автоматического создания ресурсов означает, что Azure Data Explorer создает подписку сетки событий, пространство имен Центров событий и центры событий для вас. В противном случае необходимо вручную создать эти ресурсы, чтобы обеспечить создание подключения к данным. См. статью "Создание ресурсов для приема сетки событий вручную"

При необходимости можно отслеживать определенные темы сетки событий. Настройте фильтры для получения уведомлений следующим образом:
- Поле Префикс — это буквальный префикс темы. По мере применения шаблона он может охватывать несколько контейнеров, папок или больших двоичных объектов. Подстановочные знаки не допускаются.
  - Чтобы определить фильтр для контейнера больших двоичных объектов, поле должно быть установлено следующим образом: /blobServices/default/containers/[container prefix].
  - Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake 2 поколения), поле должно быть установлено следующим образом: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Поле суффикс — это буквальный суффикс большого двоичного объекта. Подстановочные знаки не допускаются.
- Поле С учетом регистра указывает, учитываются ли фильтры префикса и суффикса.
Дополнительные сведения о фильтрации событий см. в разделе "События хранилища BLOB-объектов".

При необходимости можно указать параметры маршрутизации данных в соответствии со следующими сведениями. Вам не нужно указывать все параметры маршрутизации данных. Принимаются также частично заполненные параметры.

Параметр	Рекомендуемое значение	Описание поля
Разрешить маршрутизацию данных в другие базы данных (подключение данных к нескольким базам данных)	Не разрешать	Переключите этот параметр, если вы хотите переопределить целевую базу данных по умолчанию, связанную с подключением к данным. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.
Имя таблицы	TestTable	Таблица, созданная в базе данных TestDatabase.
Формат данных	JSON	Поддерживаемые форматы: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT и W3CLOG. Поддерживаемые параметры сжатия: zip и gzip.
Имя сопоставления	TestTable_mapping	Сопоставление, созданное в TestDatabase, которое сопоставляет входящие данные с именами столбцов и типами данных TestTable. Если это не указано, сопоставление данных удостоверений, полученное из схемы таблицы, автоматически создается.
Игнорировать ошибки формата	Игнорировать	Переключитесь на этот параметр, если вы хотите игнорировать ошибки формата для формата данных JSON.

Примечание.

Имена таблиц и сопоставлений чувствительны к регистру.

При необходимости в разделе "Дополнительные параметры" можно указать тип управляемого удостоверения, используемый подключением к данным. По умолчанию выбрана назначенная системой система .

При выборе назначаемого пользователем удостоверения необходимо вручную назначить управляемое удостоверение. Если вы выберете пользователя, который еще не назначен кластеру, он будет автоматически назначен. Дополнительные сведения см. в разделе "Настройка управляемых удостоверений" для кластера Azure Data Explorer.

Если выбрать None, учетная запись хранения и Концентратор событий проходят проверку подлинности с помощью строка подключения. Этот метод не рекомендуется.

Нажмите кнопку Создать

Перейдите к учетной записи хранения в портал Azure.
Выберите События.
На вкладке "Начало работы" выберите вкладку Azure Data Explorer .
На плитке "Создание непрерывного приема данных" нажмите кнопку "Создать".

Выбор назначения для маршрутизации событий в

Выберите кластер, в котором требуется прием данных.
Выберите целевую базу данных.
Выберите Выбрать.

Создание подключения к данным

Заполните форму, указав следующую информацию.

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-grid-connection	Имя создаваемого подключения в Azure Data Explorer.
Подписка учетной записи хранения	Ваш идентификатор подписки	Идентификатор подписки, в которой находится ваша учетная запись хранения.
Тип события	Созданный BLOB-объект или переименованный BLOB-объект	Тип события, запускающего загрузку. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2. Чтобы переименовать большой двоичный объект, перейдите к большому двоичному объекту в портал Azure, щелкните его правой кнопкой мыши и выберите "Переименовать". Поддерживаемые типы: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed.
Storage account	gridteststorage1	Учетная запись хранения, из которой вы обращаетесь к этому мастеру, автоматически заполняется.
Создание ресурсов	Автоматически	Включение автоматического создания ресурсов означает, что Azure Data Explorer создает подписку сетки событий, пространство имен Центров событий и центры событий для вас. В противном случае необходимо вручную создать эти ресурсы, чтобы обеспечить создание подключения к данным. См. статью "Создание ресурсов для приема сетки событий вручную"

При необходимости можно отслеживать определенные темы сетки событий. Настройте фильтры для получения уведомлений следующим образом:
- Поле Префикс — это буквальный префикс темы. По мере применения шаблона он может охватывать несколько контейнеров, папок или больших двоичных объектов. Подстановочные знаки не допускаются.
  - Чтобы определить фильтр для контейнера больших двоичных объектов, поле должно быть установлено следующим образом: /blobServices/default/containers/[container prefix].
  - Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake 2 поколения), поле должно быть установлено следующим образом: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Поле суффикс — это буквальный суффикс большого двоичного объекта. Подстановочные знаки не допускаются.
- Поле С учетом регистра указывает, учитываются ли фильтры префикса и суффикса.
Дополнительные сведения о фильтрации событий см. в разделе "События хранилища BLOB-объектов".

Параметр	Рекомендуемое значение	Описание поля
Разрешить маршрутизацию данных в другие базы данных (подключение данных к нескольким базам данных)	Не разрешать	Переключите этот параметр, если вы хотите переопределить целевую базу данных по умолчанию, связанную с подключением к данным. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.
Имя таблицы	TestTable	Таблица, созданная в базе данных TestDatabase.
Формат данных	JSON	Поддерживаемые форматы: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT и W3CLOG. Поддерживаемые параметры сжатия: zip и gzip.
Имя сопоставления	TestTable_mapping	Сопоставление, созданное в TestDatabase, которое сопоставляет входящие данные с именами столбцов и типами данных TestTable. Если это не указано, сопоставление данных удостоверений, полученное из схемы таблицы, автоматически создается.
Игнорировать ошибки формата	Игнорировать	Переключитесь на этот параметр, если вы хотите игнорировать ошибки формата для формата данных JSON.

Примечание.

Имена таблиц и сопоставлений чувствительны к регистру.

При необходимости в разделе "Дополнительные параметры" можно указать тип управляемого удостоверения, используемый подключением к данным. По умолчанию выбрана назначенная системой система .

При выборе назначаемого пользователем удостоверения необходимо вручную назначить управляемое удостоверение. Если вы выберете пользователя, который еще не назначен кластеру, он будет автоматически назначен. Дополнительные сведения см. в разделе "Настройка управляемых удостоверений" для кластера Azure Data Explorer.

Если выбрать None, учетная запись хранения и Концентратор событий проходят проверку подлинности с помощью строка подключения. Этот метод не рекомендуется.

Нажмите кнопку создания.

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Сетки событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Использование подключения к данным сетки событий

В этом разделе показано, как активировать прием из Хранилище BLOB-объектов Azure или Azure Data Lake 2-го поколения в кластер после создания или переименования BLOB-объектов.

Выберите соответствующую вкладку на основе типа пакета SDK хранилища, используемого для отправки БОЛЬШИХ двоичных объектов.

Хранилище BLOB-объектов Azure
Azure Data Lake

В следующем примере кода используется пакет SDK Хранилище BLOB-объектов Azure для отправки файла в Хранилище BLOB-объектов Azure. Отправка активирует подключение к данным сетки событий, которое отправляет данные в Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Примечание.

Azure Data Explorer не удаляет прием сообщений больших двоичных объектов. Храните большие двоичные объекты в течение трех-пяти дней, используя жизненный цикл хранилища BLOB-объектов Azure для управления удалением больших двоичных объектов.

В следующем примере кода используется пакет SDK Azure Data Lake для отправки файла в Data Lake Storage 2-го поколения. Отправка активирует подключение к данным сетки событий, которое отправляет данные в Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Примечание.

При отправке файла с помощью пакета SDK Azure Data Lake начальное событие создания файла имеет размер 0, который игнорируется Azure Data Explorer во время приема данных. Чтобы обеспечить правильное прием данных, задайте Close для параметра trueзначение . Этот параметр приводит к тому, что метод отправки активирует событие FlushAndClose , указывая на то, что окончательное обновление было сделано, а поток файлов закрыт.
Чтобы уменьшить трафик, поступающий из сетки событий и оптимизировать прием событий в Azure Data Explorer, рекомендуется фильтровать ключ data.api, чтобы исключить события CreateFile. Это гарантирует, что события создания файла с размером 0 отфильтровываются, предотвращая ошибки приема пустого файла. Дополнительные сведения о очистке см. в разделе Метод очистки Azure Data Lake.

Переименование BLOB-объектов

В ADLSv2 можно переименовать каталоги. Однако важно отметить, что переименование каталога не активирует переименованные события больших двоичных объектов или инициирует прием больших двоичных объектов, содержащихся в каталоге. Если вы хотите убедиться, что прием больших двоичных объектов после переименования каталога необходимо переименовывать отдельные BLOB-объекты в каталоге.

В следующем примере кода показано, как переименовать большой двоичный объект в учетной записи хранения ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Примечание.

Если вы определили фильтры для отслеживания определенных объектов при создании подключения к данным или при создании ресурсов Сетки событий вручную, эти фильтры применяются к пути к конечному файлу.

Примечание.

Активация приема после CopyBlob операции не поддерживается для учетных записей хранения, для которых включена функция иерархического пространства имен.

Внимание

Мы настоятельно рекомендуем создавать события хранилища из пользовательского кода и отправлять их в Центры событий. Если вы решили сделать это, убедитесь, что события, созданные строго, соответствуют соответствующей схеме событий хранилища и спецификациям формата JSON.

Удаление подключения к данным сетки событий

Чтобы удалить подключение сетки событий из портал Azure, сделайте следующее:

Перейдите в кластер. В меню слева выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным сетки событий.
В верхней строке меню нажмите кнопку "Удалить".

Обработка данных из концентратора событий с помощью Azure Stream Analytics

Поделиться через

Создание подключения к данным сетки событий для Azure Data Explorer

Необходимые компоненты

Создание подключения к данным в Сетке событий

Выбор назначения для маршрутизации событий в

Создание подключения к данным

Использование подключения к данным сетки событий

Переименование BLOB-объектов

Удаление подключения к данным сетки событий

Обратная связь

Дополнительные ресурсы

Поделиться через

Создание подключения к данным сетки событий для Azure Data Explorer

Необходимые компоненты

Создание подключения к данным в Сетке событий

Использование подключения к данным сетки событий

Удаление подключения к данным сетки событий

Связанный контент

Обратная связь

Дополнительные ресурсы