查询和分析增量更新

可通过创建、更新和删除事务持续更改 Microsoft Dataverse 数据。 Dataverse 的 Synapse Link 提供增量文件夹,帮助您查询和分析在用户指定的时间间隔内对 Dataverse 数据进行的增量更新。 拥有大型数据集的组织可以分析增量更新数据并:

  • 删除过时和陈旧的数据以节省数据存储成本。 
  • 在用户指定的时间段内跟踪数据更改。

创建 Azure Synapse Link for Dataverse 时,您可以启用增量更新功能来创建一系列带时间戳的文件夹,其中仅包含在用户指定的时间间隔内对 Dataverse 数据进行的更改。 在每个时间戳文件夹中,每个导出的表存储在单独的 DataverseTableName 文件夹下。

重要

只有在用户指定的时间间隔内有数据更新时,才会创建时间戳和表文件夹。

此功能将应用于 Azure Synapse Link for Dataverse 内的所有选定表,默认情况下,所有选定的表将被分配仅追加模式和增量更新。

该功能无法通过以下选项启用:连接到您的 Azure Synapse workspace。 对于需要访问 Azure Synapse analytics 的客户,请按照以下说明设置链接:使用 Azure Synapse Workspace 创建 Azure Synapse Link for Dataverse

此功能旨在与 Azure 数据工厂或 Synapse 管道配合使用,将数据从 Azure Data Lake Storage Gen2 复制到 Azure SQL 数据库。 详细信息:将 Dataverse 数据复制到 Azure SQL

先决条件

Azure Synapse Link for Dataverse。 本指南假定您已经满足创建 Azure Synapse Link 的先决条件。 详细信息:使用 Azure Data Lake 创建 Azure Synapse Link for Dataverse

将 Dataverse 连接到启用增量文件夹的 Synapse Workspace

  1. 登录  Power Apps ,选择您的环境。

  2. 在左侧导航窗格中,选择 Azure Synapse Link。 如果项目不在侧面板窗格中,请选择 …更多,然后选择所需项目。

  3. 在命令栏上选择  + 新建链接

  4. 选择 订阅、 资源组和 存储帐户。 选择 下一步。 

  5. 添加要导出的表,然后选择 高级。 

  6. 打开显示高级配置设置启用增量更新文件夹结构

  7. 输入捕获增量更新的频率间隔(以分钟为单位),然后选择保存。 

    添加表设置

备注

最小时间间隔为 5 分钟。 这意味着增量更新文件夹每五分钟创建一次,并包含在时间间隔内发生的更改。 创建链接后也可以通过管理表来配置此设置

确保未在设置的第一页中选中连接到您的 Azure Synapse workspace Azure Synapse workspace

查看 Microsoft Azure 存储中的增量文件夹

  1. 选择所需的 Azure Synapse Link,然后在命令栏上选择转到 Azure Data Lake

  2. 选择数据存储下的容器

  3. 选择 dataverse-environmentName-organizationUniqueName。 增量更新文件夹以 UTC 时区的创建时间戳 ("yyyy-MM-dd'T'HH:mm:ss.SSSz") 命名。

    Azure Synapse 中的增量文件夹

备注

由于重试机制特性的缘故,可能会在用户指定的时间间隔内创建一个额外的空时间戳文件夹。

另请参见

什么是 Azure Synapse Link for Dataverse?