Konfigurera en serverlös Delta Live Tables-pipeline

I den här artikeln beskrivs konfigurationer för serverlösa Delta Live Tables-pipelines.

Databricks rekommenderar att du utvecklar nya pipelines med hjälp av serverlös. Vissa arbetsbelastningar kan kräva att du konfigurerar klassisk beräkning eller arbetar med det äldre Hive-metaarkivet. Se Konfigurera beräkning för en Delta Live Tables-pipeline och Använd Delta Live Tables-pipelines med äldre Hive-metaarkiv.

Krav

• Din arbetsyta måste ha Unity Catalog aktiverat för att kunna använda serverlösa pipelines.

• Arbetsytan måste vara i en serverlös aktiverad region.

Rekommenderad konfiguration för serverlösa pipelines

Serverlösa pipelines tar bort de flesta konfigurationsalternativ eftersom Azure Databricks hanterar all infrastruktur. Gör följande för att konfigurera en serverlös pipeline:

1. Klicka på Delta Live Tables (Delta Live Tables ) i sidofältet.
2. Klicka på Skapa pipeline.
3. Ange ett unikt pipelinenamn.
4. Markera kryssrutan bredvid Serverlös.
5. Använd filväljaren för att konfigurera notebook-filer och arbetsytefiler som källkod.
   • Du måste lägga till minst en källkodstillgång.
   • Använd knappen Lägg till källkod för att lägga till ytterligare källkodstillgångar.
6. Välj en katalog för att publicera data.
7. Välj ett schema i katalogen. Alla strömmande tabeller och materialiserade vyer som definierats i pipelinen skapas i det här schemat.
8. Klicka på Skapa.

Dessa rekommenderade konfigurationer skapar en ny pipeline som är konfigurerad att köras i utlöst läge och den aktuella kanalen. Den här konfigurationen rekommenderas för många användningsfall, inklusive utveckling och testning, och passar bra för produktionsarbetsbelastningar som ska köras enligt ett schema. Mer information om hur du schemalägger pipelines finns i Delta Live Tables pipeline task for jobs (Delta Live Tables pipeline task for jobs).

Du kan också konvertera befintliga pipelines som konfigurerats med Unity Catalog för att använda serverlösa. Se Konvertera en befintlig pipeline för att använda serverlös.

Andra konfigurationsöverväganden

Följande konfigurationsalternativ är också tillgängliga för serverlösa pipelines:

• Du kan välja att använda läget Kontinuerlig pipeline när du kör pipelines i produktion. Se Utlöses jämfört med kontinuerligt pipelineläge.
• Lägg till meddelanden för e-postuppdateringar baserat på framgångs- eller felvillkor. Se Lägga till e-postaviseringar för pipelinehändelser.
• Använd fältet Konfiguration för att ange nyckel/värde-par för pipelinen. Dessa konfigurationer har två syften:
  • Ange godtyckliga parametrar som du kan referera till i källkoden. Se Använda parametrar med Delta Live Tables-pipelines.
  • Konfigurera pipelineinställningar och Spark-konfigurationer. Se Egenskaper för Delta Live Tables.
• Använd förhandsgranskningskanalen för att testa din pipeline mot väntande Delta Live Tables-körningsändringar och testa nya funktioner.

Serverlösa pipelinefunktioner

Förutom att förenkla konfigurationen har serverlösa pipelines följande funktioner:

• Inkrementell uppdatering för materialiserade vyer: Uppdateringar för materialiserade vyer uppdateras stegvis när det är möjligt. Inkrementell uppdatering har samma resultat som fullständig omkomputation. Uppdateringen använder en fullständig uppdatering om resultatet inte kan beräknas stegvis. Se Uppdatera åtgärder för materialiserade vyer.
• Stream pipelining: För att förbättra användningen, dataflödet och svarstiden för strömmande dataarbetsbelastningar, till exempel datainmatning, pipelines mikrobatcher. Med andra ord, i stället för att köra mikrobatcher sekventiellt som Standard Spark Structured Streaming, kör serverlösa DLT-pipelines mikrobatcher samtidigt, vilket förbättrar användningen av beräkningsresurser. Stream pipelining är aktiverat som standard i serverlösa DLT-pipelines.
• Lodrät autoskalning: Serverlösa DLT-pipelines lägger till den horisontella autoskalning som tillhandahålls av Databricks förbättrad autoskalning genom att automatiskt allokera de mest kostnadseffektiva instanstyperna som kan köra din Delta Live Tables-pipeline utan att misslyckas på grund av minnesfel. Se Vad är lodrät autoskalning?

Vad är lodrät autoskalning?

Lodrät automatisk skalning av serverlösa DLT-pipelines allokerar automatiskt de mest kostnadseffektiva tillgängliga instanstyperna för att köra dina Delta Live Tables-pipelineuppdateringar utan att misslyckas på grund av minnesfel. Lodrät autoskalning skalas upp när större instanstyper krävs för att köra en pipelineuppdatering och skalas även ned när den fastställer att uppdateringen kan köras med mindre instanstyper. Lodrät autoskalning avgör om drivrutinsnoder, arbetsnoder eller både drivrutins- och arbetsnoder ska skalas upp eller ned.

Lodrät autoskalning används för alla serverlösa DLT-pipelines, inklusive pipelines som används av Databricks SQL-materialiserade vyer och strömmande tabeller.

Lodrät autoskalning fungerar genom att identifiera pipelineuppdateringar som har misslyckats på grund av minnesfel. Lodrät autoskalning allokerar större instanstyper när dessa fel identifieras baserat på minnesutdata som samlats in från den misslyckade uppdateringen. I produktionsläge startas en ny uppdatering som använder de nya beräkningsresurserna automatiskt. I utvecklingsläge används de nya beräkningsresurserna när du startar en ny uppdatering manuellt.

Om lodrät autoskalning upptäcker att minnet för de allokerade instanserna är konsekvent underutnyttat, kommer instanstyperna att skalas ned som ska användas i nästa pipelineuppdatering.

Konvertera en befintlig pipeline till att använda serverlös

Du kan konvertera befintliga pipelines som konfigurerats med Unity Catalog till serverlösa pipelines. Slutför följande steg:

1. Klicka på Delta Live Tables (Delta Live Tables ) i sidofältet.
2. Klicka på namnet på den önskade pipelinen i listan.
3. Klicka på Inställningar.
4. Markera kryssrutan bredvid Serverlös.
5. Klicka på Spara och starta.

Hur hittar jag DBU-användningen av en serverlös pipeline?

Du hittar DBU-användningen av serverlösa DLT-pipelines genom att fråga den fakturerbara användningstabellen, som är en del av Azure Databricks-systemtabellerna. Se Vad är DBU-förbrukningen för en serverlös DLT-pipeline?.