从实时中心获取数据(预览版)

本文介绍如何将事件从实时中心获取到新表或现有表中。

重要

此功能目前为预览版

注意

实时中心当前仅支持 Eventstream 作为源。 实时中心当前处于预览状态。

先决条件

Source

要从实时中心获取数据,需要从实时数据中心选择实时流作为数据源。 可通过以下方式选择实时中心:

在 KQL 数据库的下部功能区上,可以:

  • 在“获取数据”下拉菜单中的“连续”下,选择“实时中心(预览版)”

  • 选择“获取数据”,然后在“获取数据”窗口中,从“实时中心”部分选择流。

    屏幕截图,其中显示了选取了“源”选项卡的“获取数据”窗口。

  • 从实时中心流列表中选择数据流。

配置

  1. 选择目标表。 如果要将数据引入新表,请选择“+ 新建表”并输入表名称

    注意

    表名称最多可包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。

  2. 在“配置数据源”下,使用下表中的信息填写设置。 某些设置信息会自动从 Eventstream 中进行填充。

    屏幕截图,其中显示了已输入新表并选择了一个示例数据文件的“配置”选项卡。

    设置 描述
    工作区 Eventstream 工作区位置。 工作区名称将自动填充。
    Eventstream 名称 你的 Eventstream 名称。 Eventstream 名称将自动填充。
    数据连接名称 用于引用和管理工作区中数据连接的名称。 数据连接名称将自动填充。 也可以输入新名称。 该名称只能包含字母数字、破折号和点字符,并且长度最多为 40 个字符。
    在 Eventstream 中引入前先进行事件处理 此选项允许在将数据引入目标表之前配置数据处理。 如果此选项已选中,请继续在 Eventstream 中执行数据引入流程。 有关详细信息,请参阅在 Eventstream 中引入前先进行事件处理
    高级筛选器
    压缩 事件的数据压缩,如同来自中心。 选项为“无”(默认)或 Gzip 压缩。
    事件系统属性 如果每个事件消息有多个记录,则系统属性将添加到第一个记录中。 有关详细信息,请参阅事件系统属性
    事件检索开始日期 数据连接检索自事件检索开始日期以来创建的现有事件。 只能根据保持期来检索中心保留的事件。 时区为 UTC。 如果未指定时间,则默认时间是创建数据连接的时间。
  3. 选择下一个

在 Eventstream 中引入前先进行事件处理

使用“在 Eventstream 中引入前先进行事件处理”选项,可以在将数据引入目标表中之前对其进行处理。 选择此选项,获取数据流程将继续在 Eventstream 中无缝执行,并自动填充目标表和数据源详细信息。

若要在 Eventstream 中引入前先进行事件处理,请执行以下操作:

  1. 在“配置”选项卡上,选择“在 Eventstream 中引入前先进行事件处理”。

  2. 在“在 Eventstream 中处理事件”对话框中,选择“在 Eventstream 中继续”。

    重要

    选择“在 Eventstream 中继续”将结束 Real-Time Intelligence 中的获取数据流程,在 Eventstream 中继续,并自动填充目标表和数据源详细信息。

    屏幕截图,其中显示了“Eventstream”对话框中的“流程事件”。

  3. 在 Eventstream 中,选择 KQL 数据库目标节点,然后在“KQL 数据库”窗格中验证是否选择了“在引入前先进行事件处理”以及目标详细信息是否正确。

    屏幕截图,其中显示了“Eventstream”页面中的“流程事件”。

  4. 选择“打开事件处理程序”以配置数据处理,然后选择“保存”。 有关更多信息,请参阅使用事件处理程序编辑器处理事件数据

  5. 返回“KQL 数据库”窗格,选择“添加”以完成 KQL 数据库目标节点设置。

  6. 验证数据是否引入到目标表中。

注意

“在 Eventstream 中引入前先进行事件处理”流程已完成,本文中的其余步骤不是必需的。

检查

此时会打开“检查”选项卡,其中包含数据的预览

要完成引入过程,请选择“完成”

屏幕截图,其中显示了“检查”选项卡。

可选:

  • 选择“命令查看器”以查看和复制基于输入生成的自动命令
  • 通过从下拉列表中选择所需格式来更改自动推断的数据格式。 将以 EventData 对象的形式从中心读取数据。 支持的格式为 Avro、Apache Avro、CSV、JSON、ORC、Parquet、PSV、RAW、SCsv、SOHsv、TSV、TXT 和 TSVE。
  • 编辑列
  • 浏览基于数据类型的高级选项

编辑列

注意

  • 对于表格格式(CSV、TSV、PSV),无法将列映射两次。 若要映射到现有列,请先删除新列。
  • 不能更改已有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。

以下参数决定了你可在表中进行的更改:

  • 表类型为“新”或“现有”
  • 映射类型为“新”或“现有”
表类型 映射类型 可用调整
新建表 新映射 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列
现有表 新映射 新建列(随后可在其上更改数据类型、进行重命名和更新)
现有表 现有映射

屏幕截图,其中显示了打开以供编辑的列。

映射转换

某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在“编辑列”窗口中创建或更新列

可对具有 string 或 datetime 类型且源的数据类型为 int 或 long 的列执行映射转换。 支持的映射转换为:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

基于数据类型的高级选项

表格(CSV、TSV、PSV)

表格数据不一定要包括用于将源数据映射到现有列的列名称。 要将第一行用作列名,请打开“首行是列标题”

屏幕截图,其中显示了“首行是列标题”开关。

JSON

要确定 JSON 数据的列划分,请选择“高级”>“嵌套级别”,从 1 到 100

屏幕截图,其中显示了嵌套级别 JSON 选项。

总结

如果数据引入成功完成,则“数据准备”窗口中的所有三个步骤都会带有绿色的对勾标记。 可以选择要查询、删除已引入数据的卡或查看引入摘要的仪表板。 选择“关闭”以关闭窗口。

屏幕截图,其中显示了已成功完成数据引入的摘要页面。