查询和分析增量更新
可通过创建、更新和删除事务持续更改 Microsoft Dataverse 数据。 Dataverse 的 Synapse Link 提供增量文件夹,帮助您查询和分析在用户指定的时间间隔内对 Dataverse 数据进行的增量更新。 拥有大型数据集的组织可以分析增量更新数据并:
- 删除过时和陈旧的数据以节省数据存储成本。
- 在用户指定的时间段内跟踪数据更改。
创建 Azure Synapse Link for Dataverse 时,您可以启用增量更新功能来创建一系列带时间戳的文件夹,其中仅包含在用户指定的时间间隔内对 Dataverse 数据进行的更改。 在每个时间戳文件夹中,每个导出的表存储在单独的 DataverseTableName 文件夹下。
重要
只有在用户指定的时间间隔内有数据更新时,才会创建时间戳和表文件夹。
此功能将应用于 Azure Synapse Link for Dataverse 内的所有选定表,默认情况下,所有选定的表将被分配仅追加模式和增量更新。
该功能无法通过以下选项启用:连接到您的 Azure Synapse workspace。 对于需要访问 Azure Synapse analytics 的客户,请按照以下说明设置链接:使用 Azure Synapse Workspace 创建 Azure Synapse Link for Dataverse
此功能旨在与 Azure 数据工厂或 Synapse 管道配合使用,将数据从 Azure Data Lake Storage Gen2 复制到 Azure SQL 数据库。 详细信息:将 Dataverse 数据复制到 Azure SQL
先决条件
Azure Synapse Link for Dataverse。 本指南假定您已经满足创建 Azure Synapse Link 的先决条件。 详细信息:使用 Azure Data Lake 创建 Azure Synapse Link for Dataverse
将 Dataverse 连接到启用增量文件夹的 Synapse Workspace
登录 Power Apps ,选择您的环境。
在左侧导航窗格中,选择 Azure Synapse Link。 如果项目不在侧面板窗格中,请选择 …更多,然后选择所需项目。
在命令栏上选择 + 新建链接。
选择 订阅、 资源组和 存储帐户。 选择 下一步。
添加要导出的表,然后选择 高级。
打开显示高级配置设置和启用增量更新文件夹结构。
输入捕获增量更新的频率间隔(以分钟为单位),然后选择保存。
备注
最小时间间隔为 5 分钟。 这意味着增量更新文件夹每五分钟创建一次,并包含在时间间隔内发生的更改。 创建链接后也可以通过管理表来配置此设置
确保未在设置的第一页中选中连接到您的 Azure Synapse workspace Azure Synapse workspace。
查看 Microsoft Azure 存储中的增量文件夹
选择所需的 Azure Synapse Link,然后在命令栏上选择转到 Azure Data Lake。
选择数据存储下的容器。
选择 dataverse-environmentName-organizationUniqueName。 增量更新文件夹以 UTC 时区的创建时间戳 ("yyyy-MM-dd'T'HH:mm:ss.SSSz") 命名。
备注
由于重试机制特性的缘故,可能会在用户指定的时间间隔内创建一个额外的空时间戳文件夹。