先决条件
获取数据
从左侧菜单中选择“查询”。
右键单击要在其中引入数据的数据库。 选择“获取数据”。
源
在 “获取数据 ”窗口中,选择了“ 源 ”选项卡。
从可用列表中选择数据源。 在此示例中,你将从 事件中心引入数据。
选择目标数据库和表。 如果要将数据引入新表,请选择“ + 新建表 ”并输入表名称。
注意
表名最多可以包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。
填写以下字段:
设置 |
字段说明 |
订阅 |
事件中心资源所在的订阅 ID。 |
事件中心命名空间 |
标识你的命名空间的名称。 |
事件中心 |
想要使用的事件中心 |
使用者组 |
事件中定义的使用者组 |
数据连接名称 |
标识你的数据连接的名称。 |
高级筛选器 |
|
压缩 |
事件中心消息有效负载的压缩类型。 |
事件系统属性 |
事件中心系统属性。 如果每个事件消息有多个记录,则系统属性将添加到第一个记录中。 添加系统属性时,创建或更新表架构和映射以包括所选属性。 |
事件检索开始日期 |
数据连接将检索在“事件检索开始日期”之后创建的事件中心事件。 只能检索按照事件中心保留期保留的事件。 如果未指定“事件检索开始日期”,则默认时间是创建数据连接的时间。 |
选择“下一步”
检查
此时会打开“ 检查 ”选项卡,其中包含数据的预览。
若要完成引入过程,请选择“ 完成”。
可选:
如果在预览窗口中看到的数据不完整,则可能需要更多数据来创建包含所有必要的数据字段的表。 使用以下命令从事件中心提取新数据:
放弃并提取新数据:放弃显示的数据并搜索新事件。
提取更多数据:除已找到的事件外,还搜索更多事件。
注意
若要查看数据的预览,事件中心必须正在发送事件。
选择 “命令查看器 ”,查看并复制从输入生成的自动命令。
使用 “架构定义文件 ”下拉列表更改从中推断架构的文件。
通过从下拉列表中选择所需的格式来更改自动推断的数据格式。 请参阅 Azure 数据资源管理器支持的数据格式进行引入。
编辑列。
浏览基于数据类型的高级选项。
编辑列
注意
- 对于 CSV、TSV、PSV) (表格格式,不能映射列两次。 若要映射到现有列,请先删除新列。
- 不能更改已有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。
以下参数决定了你可在表中进行的更改:
- 表类型为“新”或“现有”
- 映射类型为“新”或“现有”
表类型 |
映射类型 |
可用调整 |
新建表 |
新映射 |
重命名列,更改数据类型,更改数据源, 映射转换,添加列,删除列 |
现有表 |
新映射 |
添加列 (,然后可以更改数据类型、重命名和更新) |
现有表 |
现有映射 |
无 |
某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在 “编辑列” 窗口中创建或更新列。
映射转换可以针对类型为 string 或 datetime 的列执行,其数据类型为 int 或 long。 支持的映射转换为:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
基于数据类型的高级选项
表格 (CSV、TSV、PSV) :
JSON:
总结
在“数据准备”窗口中,当数据引入成功完成时,所有三个步骤都标有绿色检查标记。 可以查看用于每个步骤的命令,或选择卡来查询、可视化或删除引入的数据。
先决条件
ARM 模板
以下示例显示用于添加事件中心数据连接的 Azure 资源管理器模板。 可以使用此窗体在 Azure 门户中编辑和部署模板。
{
"$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"namespaces_eventhubns_name": {
"type": "string",
"defaultValue": "eventhubns",
"metadata": {
"description": "Specifies the Event Hubs Namespace name."
}
},
"EventHubs_eventhubdemo_name": {
"type": "string",
"defaultValue": "eventhubdemo",
"metadata": {
"description": "Specifies the event hub name."
}
},
"consumergroup_default_name": {
"type": "string",
"defaultValue": "$Default",
"metadata": {
"description": "Specifies the consumer group of the event hub."
}
},
"Clusters_kustocluster_name": {
"type": "string",
"defaultValue": "kustocluster",
"metadata": {
"description": "Specifies the name of the cluster"
}
},
"databases_kustodb_name": {
"type": "string",
"defaultValue": "kustodb",
"metadata": {
"description": "Specifies the name of the database"
}
},
"tables_kustotable_name": {
"type": "string",
"defaultValue": "kustotable",
"metadata": {
"description": "Specifies the name of the table"
}
},
"mapping_kustomapping_name": {
"type": "string",
"defaultValue": "kustomapping",
"metadata": {
"description": "Specifies the name of the mapping rule"
}
},
"dataformat_type": {
"type": "string",
"defaultValue": "csv",
"metadata": {
"description": "Specifies the data format"
}
},
"databaseRouting_type": {
"type": "string",
"defaultValue": "Single",
"metadata": {
"description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
}
},
"dataconnections_kustodc_name": {
"type": "string",
"defaultValue": "kustodc",
"metadata": {
"description": "Name of the data connection to create"
}
},
"subscriptionId": {
"type": "string",
"defaultValue": "[subscription().subscriptionId]",
"metadata": {
"description": "Specifies the subscriptionId of the event hub"
}
},
"resourceGroup": {
"type": "string",
"defaultValue": "[resourceGroup().name]",
"metadata": {
"description": "Specifies the resourceGroup of the event hub"
}
},
"location": {
"type": "string",
"defaultValue": "[resourceGroup().location]",
"metadata": {
"description": "Location for all resources."
}
}
},
"variables": {
},
"resources": [{
"type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
"apiVersion": "2022-02-01",
"name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
"location": "[parameters('location')]",
"kind": "EventHub",
"properties": {
"managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
"eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
"consumerGroup": "[parameters('consumergroup_default_name')]",
"tableName": "[parameters('tables_kustotable_name')]",
"mappingRuleName": "[parameters('mapping_kustomapping_name')]",
"dataFormat": "[parameters('dataformat_type')]",
"databaseRouting": "[parameters('databaseRouting_type')]"
}
}
]
}