Eventi
Ottieni gratuitamente la certificazione in Microsoft Fabric.
19 nov, 23 - 10 dic, 23
Per un periodo di tempo limitato, il team della community di Microsoft Fabric offre buoni per esami DP-600 gratuiti.
Prepara oraQuesto browser non è più supportato.
Esegui l'aggiornamento a Microsoft Edge per sfruttare i vantaggi di funzionalità più recenti, aggiornamenti della sicurezza e supporto tecnico.
Questo articolo illustra cos'è un aggiornamento in una pipeline Delta Live Tables e come eseguirlo.
Dopo aver creato una pipeline e averla pronta per l'esecuzione, si avvia un aggiornamento. Un aggiornamento della pipeline esegue le operazioni seguenti:
Usando un aggiornamento convalidato, è possibile verificare la presenza di problemi nel codice sorgente di una pipeline senza attendere la creazione o l'aggiornamento delle tabelle. Questa funzionalità è utile quando si sviluppano o si testano pipeline perché consente di trovare e correggere rapidamente gli errori nella pipeline, ad esempio nomi di tabella o colonna non corretti.
Per informazioni su come creare una pipeline, vedere Configurare una pipeline di tabelle live Delta.
È possibile orchestrare gli aggiornamenti della pipeline con i processi di Databricks o altri strumenti. Vedere Eseguire una pipeline di tabelle live Delta in un flusso di lavoro.
Azure Databricks offre diverse opzioni per avviare gli aggiornamenti della pipeline, tra cui:
Nota
Il comportamento predefinito per gli aggiornamenti delle pipeline attivati manualmente usando uno di questi metodi consiste nell'aggiornare tutti.
Le tabelle e le viste aggiornate e le modalità di aggiornamento di tali tabelle e viste dipendono dal tipo di aggiornamento:
refresh selection
è identico a refresh all
ma consente di aggiornare solo le tabelle selezionate. Le tabelle selezionate vengono aggiornate in modo da riflettere lo stato corrente delle origini dati di input. Per le tabelle di streaming, le nuove righe vengono aggiunte alla tabella.full refresh selection
è identico a full refresh all
ma consente di eseguire un aggiornamento completo solo delle tabelle selezionate. Le tabelle selezionate vengono aggiornate in modo da riflettere lo stato corrente delle origini dati di input. Per le tabelle di streaming, le tabelle Live Delta tentano di cancellare tutti i dati da ogni tabella e quindi caricare tutti i dati dall'origine di streaming.Per le viste materializzate esistenti, un aggiornamento ha lo stesso comportamento di SQL REFRESH
in una vista materializzata. Per le nuove viste materializzate, il comportamento è identico a quello di un'operazione CREATE
SQL.
Facoltativamente, è possibile rielaborare i dati solo per le tabelle selezionate nella pipeline. Durante lo sviluppo, ad esempio, si modifica una singola tabella e si vuole ridurre il tempo di test oppure un aggiornamento della pipeline non riesce e si vogliono aggiornare solo le tabelle non riuscite.
Nota
È possibile usare l'aggiornamento selettivo solo con pipeline attivate.
Per avviare un aggiornamento che aggiorna solo le tabelle selezionate, nella pagina Dettagli pipeline:
Fare clic su Seleziona tabelle per l'aggiornamento. Verrà visualizzata la finestra di dialogo Seleziona tabelle per l'aggiornamento.
Se non viene visualizzato il pulsante Seleziona tabelle per l'aggiornamento , verificare che nella pagina Dettagli pipeline sia visualizzato l'aggiornamento più recente e che l'aggiornamento sia stato completato. Se non viene visualizzato un daG per l'aggiornamento più recente, ad esempio perché l'aggiornamento non è riuscito, il pulsante Seleziona tabelle per l'aggiornamento non viene visualizzato.
Per selezionare le tabelle da aggiornare, fare clic su ogni tabella. Le tabelle selezionate sono evidenziate ed etichettate. Per rimuovere una tabella dall'aggiornamento, fare di nuovo clic sulla tabella.
Fare clic su Aggiorna selezione.
Nota
Il pulsante Aggiorna selezione mostra il numero di tabelle selezionate tra parentesi.
Per rielaborare i dati già inseriti per le tabelle selezionate, fare clic accanto al pulsante Aggiorna selezione e fare clic su Aggiorna selezione completa.
Se l’aggiornamento di una pipeline ha esito negativo a causa di errori in una o più tabelle nel grafico della pipeline, è possibile avviare un aggiornamento delle sole tabelle non riuscite e di eventuali dipendenze downstream.
Nota
Le tabelle escluse non vengono aggiornate, anche se dipendono da una tabella non riuscita.
Per aggiornare le tabelle non riuscite, nella pagina Dettagli pipeline fare clic su Aggiorna tabelle non riuscite.
Per aggiornare le sole tabelle non riuscite selezionate:
Fare clic su accanto al pulsante Aggiorna tabelle non riuscite e fare clic su Seleziona tabelle per l'aggiornamento. Verrà visualizzata la finestra di dialogo Seleziona tabelle per l'aggiornamento.
Per selezionare le tabelle da aggiornare, fare clic su ogni tabella. Le tabelle selezionate sono evidenziate ed etichettate. Per rimuovere una tabella dall'aggiornamento, fare di nuovo clic sulla tabella.
Fare clic su Aggiorna selezione.
Nota
Il pulsante Aggiorna selezione mostra il numero di tabelle selezionate tra parentesi.
Per rielaborare i dati già inseriti per le tabelle selezionate, fare clic accanto al pulsante Aggiorna selezione e fare clic su Aggiorna selezione completa.
Importante
La funzionalità di aggiornamento Validate
di Delta Live Tables è disponibile in anteprima pubblica.
Per verificare se il codice sorgente di una pipeline è valido senza eseguire un aggiornamento completo, usare Convalida. Un aggiornamento Validate
risolve le definizioni di set di dati e flussi definiti nella pipeline, ma non materializza né pubblica alcun set di dati. Gli errori rilevati durante la convalida, ad esempio nomi di tabella o colonna non corretti, vengono segnalati nell'interfaccia utente.
Per eseguire un Validate
aggiornamento, fare clic sulla pagina dei dettagli della pipeline accanto a Avvia e fare clic su Convalida.
Al termine dell'aggiornamento Validate
, il registro eventi mostra gli eventi correlati solo all'aggiornamento Validate
e non vengono visualizzate metriche nel dag. Se vengono rilevati errori, i dettagli sono disponibili nel registro eventi.
È possibile visualizzare i risultati solo per l'aggiornamento Validate
più recente. Se l'aggiornamento Validate
era l'aggiornamento eseguito più di recente, è possibile visualizzare i risultati selezionandolo nella cronologia degli aggiornamenti. Se un altro aggiornamento viene eseguito dopo l'aggiornamento Validate
, i risultati non sono più disponibili nell'interfaccia utente.
Una pipeline Delta Live Tables può elaborare gli aggiornamenti di una singola tabella, di molte tabelle con relazioni dipendenti, di molte tabelle senza relazioni o di più flussi indipendenti di tabelle con relazioni dipendenti. Questa sezione contiene considerazioni utili per determinare come suddividere le pipeline.
Le pipeline delta live tables di dimensioni maggiori offrono diversi vantaggi. Di seguito sono elencate le quattro opzioni disponibili.
Di seguito sono riportate alcune raccomandazioni comuni su come suddividere le pipeline di elaborazione:
È possibile ottimizzare l'esecuzione della pipeline passando dalla modalità di sviluppo a quella di produzione. Usare i pulsanti nell'interfaccia utente pipeline per passare da una modalità all'altra. Per impostazione predefinita, le pipeline vengono eseguite in modalità di sviluppo.
Quando si esegue la pipeline in modalità di sviluppo, il sistema Delta Live Tables esegue le operazioni seguenti:
pipelines.clusterShutdown.delay
in Configurare le risorse di calcolo per una pipeline di tabelle live Delta.In modalità di produzione, il sistema Delta Live Tables esegue le operazioni seguenti:
Nota
Il passaggio dalla modalità di sviluppo a quella di produzione controlla solo il comportamento di esecuzione del cluster e della pipeline. I percorsi di archiviazione e gli schemi di destinazione nel catalogo per la pubblicazione di tabelle devono essere configurati nelle impostazioni della pipeline e non sono interessati quando si passa da una modalità all'altra.
È possibile avviare una pipeline attivata manualmente o eseguire la pipeline in base a una pianificazione con un processo di Azure Databricks. È possibile creare e pianificare un processo con una singola attività della pipeline direttamente nell'interfaccia utente di Delta Live Tables o aggiungere un'attività della pipeline a un flusso di lavoro con più attività nell'interfaccia utente dei processi. Vedere Attività pipeline Delta Live Tables per i processi.
Per creare un processo a singola attività e una pianificazione per il processo nell'interfaccia utente di Delta Live Tables:
Eventi
Ottieni gratuitamente la certificazione in Microsoft Fabric.
19 nov, 23 - 10 dic, 23
Per un periodo di tempo limitato, il team della community di Microsoft Fabric offre buoni per esami DP-600 gratuiti.
Prepara ora