Panoramica delle risorse Change Data Capture

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

L'adattamento all'ambiente dei Big Data cloud-first può essere estremamente complesso per i data engineer responsabili della creazione di pipeline ETL e di integrazione dei dati complesse.

Azure Data Factory introduce un nuovo meccanismo per semplificare la vita dei data engineer.

Rilevando automaticamente le modifiche ai dati nell'origine senza richiedere una progettazione o una codifica complesse, ADF rende un'operazione semplice ridimensionare questi processi. Change Data Capture sarà ora disponibile come nuova risorsa nativa di primo livello nello studio di Azure Data Factory in cui i data engineer possono configurare rapidamente processi in esecuzione in modo continuo per elaborare Big Data su larga scala con un'efficienza estrema.

La nuova risorsa Change Data Capture in Azure Data Capture consente un'acquisizione completa e affidabile dei dati che viene eseguita in modo continuo quasi in tempo reale tramite un'esperienza di configurazione guidata.

Screenshot della nuova risorsa di primo livello nel pannello Risorse di Factory.

Nota

La risorsa Change Data Capture in Azure Data Factory è attualmente in anteprima pubblica

Origini dati supportate

  • Avro
  • Azure Cosmos DB (API SQL)
  • database SQL di Azure
  • Istanza gestita di SQL di Azure
  • Testo delimitato
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Destinazioni supportate

  • Avro
  • Database SQL di Azure
  • Istanza gestita di SQL
  • Testo delimitato
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Limitazioni note

  • Attualmente, quando si creano mappature di origine/destinazione, ogni origine e destinazione può essere usata una sola volta.
  • I tipi complessi non sono attualmente supportati.
  • Il runtime di integrazione self-hosted non è attualmente supportato.

Per altre informazioni sulle limitazioni note e sull'assistenza per la risoluzione dei problemi, vedere questa guida alla risoluzione dei problemi.

Azure Synapse Analytics come destinazione

Quando si usa Azure Synapse Analytics come destinazione, le impostazioni di gestione temporanea sono disponibili nell'area di disegno della tabella principale. L'abilitazione della gestione temporanea è obbligatoria quando si seleziona Azure Synapse Analytics come destinazione. Ciò migliora significativamente le prestazioni di scrittura usando funzionalità di caricamento in blocco efficienti, ad esempio il comando COPY INTO. Le impostazioni di gestione temporanea possono essere configurate in due modi: usando impostazioni di factory o scegliendo impostazioni personalizzate. Le impostazioni di factory si applicano a livello di factory. Per la prima volta, se queste impostazioni non sono configurate, si verrà indirizzati alla sezione delle impostazioni di gestione temporanea globale per la configurazione. Una volta impostate, tutte le risorse CDC di livello superiore adotteranno questa configurazione. Le impostazioni personalizzate hanno come ambito solo la risorsa CDC per la quale sono configurate ed eseguono l'override delle impostazioni di factory.

Nota

Poiché si usa il comando COPY INTO per trasferire i dati dal percorso di gestione temporanea ad Azure Synapse Analytics, è consigliabile assicurarsi che tutte le autorizzazioni necessarie siano preconfigurate all'interno di Azure Synapse Analytics.

Nota

Quando si avvia un CDC, si usa sempre l'ultima configurazione pubblicata. Per l'esecuzione di CDC, durante l'elaborazione dei dati, verranno fatturati 4 v-core dei flussi di dati per utilizzo generico.