Eseguire query e analizzare gli aggiornamenti incrementali

I dati di Microsoft Dataverse (inclusi i dati delle app Dynamics 365 e per la finanza e le operazioni) possono cambiare continuamente tramite transazioni di creazione, aggiornamento ed eliminazione. Con l'opzione di aggiornamento incrementale, è possibile creare pipeline di dati incrementali che applicano queste modifiche ai sistemi e ai database downstream. Collegamento a Synapse per Dataverse esporta dati incrementali in cartelle con timestamp contenenti modifiche ai dati effettuate entro intervalli di tempo specificati dall'utente.

È possibile sfruttare la funzionalità di aggiornamento incrementale per diversi scenari:

• Aggiornare un datastore downstream o un data warehouse. Potrebbe essere necessario applicare modifiche dai tuoi dati Power Apps e Dynamics 365 in un archivio dati downstream. L'aggiornamento incrementale è una funzionalità standard nella maggior parte degli strumenti di trasformazione dei dati, ad esempio Azure Data Factory. Tuttavia, affinché la funzionalità di aggiornamento incrementale funzioni, è necessario identificare i record modificati nelle tabelle di origine. La funzionalità di aggiornamento incrementale fornisce i dati modificati come un set di file, in modo che non sia necessario rilevare le modifiche confrontando le immagini delle tabelle prima e dopo.

• Analizza le modifiche in set di dati di grandi dimensioni. Se è necessario analizzare le modifiche in set di dati di grandi dimensioni, la funzionalità di aggiornamento incrementale fornisce un flusso continuo di dati in piccoli lotti, evitando così di dover archiviare tutti i dati. Con questa opzione è possibile eliminare dati obsoleti e stagnanti per risparmiare sui costi di archiviazione dei dati e tenere traccia delle modifiche dei dati rilevanti per un periodo di tempo specificato dall'utente.

Azure Synapse Link for Dataverse offre anche la possibilità di esportare e gestire una replica delle tabelle nell'archivio di Azure Data Lake (Gen 2). Puoi configurare Azure Synapse Link per esportare dati incrementali oltre all'esportazione di una replica delle tabelle. Ogni configurazione (nota come "profilo Collegamento a Synapse") può esportare tabelle o dati incrementali. Sebbene sia possibile creare più profili, non è possibile configurare sia le tabelle sia gli aggiornamenti incrementali all'interno dello stesso profilo.

Prerequisiti

Questa guida presuppone che i prerequisiti per creare un Azure Synapse Link siano stati soddisfatti. Altre informazioni: Creare un Azure Synapse Link for Dataverse con Azure Data Lake

Crea un profilo Synapse Link per esportare dati incrementali

1. Accedi a Power Apps e seleziona il tuo ambiente.

2. Nel riquadro di spostamento sinistro seleziona Azure Synapse Link. Se l'elemento non si trova nel riquadro del pannello laterale, seleziona …Altro, quindi l'elemento desiderato.

3. Nella barra dei comandi seleziona + Nuovo collegamento.

4. Seleziona Sottoscrizione, Gruppo di risorse e Account di archiviazione. Seleziona Avanti.

5. Non selezionare l'opzione Connettiti ad Azure Synapse workspace. Se si sceglie questa opzione, la funzionalità di aggiornamento incrementale è disattivata.

6. Aggiungi le tabelle che desideri esportare. Se il tuo ambiente Dataverse è collegato alle app per la finanza e le operazioni, puoi anche selezionare le tabelle dalle app per la finanza e le operazioni.

7. Selezionare Avanzate.

8. Attiva Mostra le impostazioni di configurazione avanzate e Abilita la struttura delle cartelle di aggiornamento incrementale.

9. Immetti l'intervallo di tempo (in minuti) per la frequenza di acquisizione degli aggiornamenti incrementali, quindi seleziona Salva. 

   

Visualizza cartella incrementale nell'archiviazione Microsoft Azure

Quando si crea un profilo Collegamento a Synapse con dati incrementali, il sistema esegue una copia iniziale di tutte le tabelle e la memorizza nella prima cartella di aggiornamento incrementale. Una volta creata la copia iniziale, il sistema crea le cartelle di aggiornamento successive con i dati modificati. Se non ci sono modifiche in nessuna delle tabelle selezionate, non verranno visualizzate le cartelle di dati incrementali.

Per visualizzare le cartelle di dati incrementali nell'account di archiviazione:

1. Select il Azure Synapse Link desiderato, quindi seleziona Go to Azure data lake sulla barra dei comandi.

2. Seleziona i Contenitori in Archivio dati.

3. Selezionare dataverse-environmentName-organizationUniqueName. Le cartelle degli aggiornamenti incrementali sono denominate in base al timestamp di creazione ("yyyy-MM-dd'T'HH:mm:ss.SSSz") in UTC. Nota che la differenza oraria tra le cartelle con timestamp è l'intervallo di tempo che hai specificato nelle impostazioni avanzate.

4. All'interno di ogni cartella con marca temporale sono presenti cartelle per ciascuna tabella. Non tutte le tabelle scelte potrebbero essere state modificate durante l'intervallo di tempo e vedi solo le cartelle corrispondenti alle tabelle i cui dati sono stati modificati.

   

Consumare dati incrementali

Puoi copiare dati incrementali in un database SQL di Azure o in un data warehouse utilizzando strumenti di integrazione dei dati quali pipeline Azure Data Factory o Azure Synapse Analytics. Forniamo una pipeline di dati di esempio che può essere utilizzata a questo scopo. Per ulteriori informazioni, vedi Copiare i dati Dataverse in Azure SQL.

Se sei un cliente delle app per la finanza e le operazioni di Dynamics 365 che sta passando dalla funzionalità dei feed di modifica, puoi utilizzare strumenti di esempio per l'integrazione dei dati forniti in GitHub per aggiornare le pipeline di dati esistenti utilizzate con la funzionalità dei feed di modifica.

È anche possibile creare una propria pipeline di dati per consumare dati incrementali. Tuttavia, quando progetti una tua pipeline, devi tenere in considerazione le seguenti procedure consigliate:

• Utilizza solo i dati delle cartelle con timestamp precedente: in questo modo puoi evitare conflitti di lettura-scrittura con il servizio Synapse Link, che potrebbe aggiornare continuamente i dati nella cartella corrente. Puoi trovare la cartella corrente visualizzando il file Changelog/changelog.info . Questo file è un file di sola lettura che contiene una singola riga con il nome della cartella attualmente aggiornata. Non dovresti aggiornare questo file perché potrebbe causare instabilità del sistema.
• Puoi visualizzare il file model.json presente in ogni cartella con timestamp per leggere metadati quali nomi di colonne per i dati contenuti nelle cartelle delle tabelle. Nota che ogni file model.json nella cartella all'interno delle cartelle con timestamp contiene metadati per tutte le tabelle, non solo per le tabelle contenute nella cartella con timestamp.
• Evitare di utilizzare altri file di registro come il file Synapse.log. Questo file viene utilizzato per scopi interni e potrebbe non contenere dati accurati.
• Una volta completata l'elaborazione, valuta l'eliminazione delle cartelle incrementali obsolete dal tuo Azure Data Lake. Attualmente, Collegamento a Synapse mantiene un leasing su questi file in Archiviazione di Azure per ripristinare eventuali errori. Dopo un po' di tempo il sistema potrebbe rilasciare il leasing.

Vedi anche

Che cos'è Azure Synapse Link for Dataverse?