Konfigurera Lakehouse i en kopieringsaktivitet

Den här artikeln beskriver hur du använder kopieringsaktiviteten i en datapipeline för att kopiera data från och till Fabric Lakehouse. Som standard skrivs data till Lakehouse Table i V-Order och du kan gå till Delta Lake-tabelloptimering och V-Order för mer information.

Format som stöds

Lakehouse stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Konfiguration som stöds

För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.

• Allmänt
• Source
• Mål
• Kartläggning
• Inställningar

Allmänt

För flikkonfigurationen Allmänt går du till Allmänt.

Källa

Följande egenskaper stöds för Lakehouse under fliken Källa i en kopieringsaktivitet.

Följande egenskaper krävs:

• Anslutning: Välj en Lakehouse-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Lakehouse-anslutning genom att välja Mer längst ned i anslutningslistan. Om du använder Använd dynamiskt innehåll för att ange lakehouse lägger du till en parameter och anger Lakehouse-objekt-ID som parametervärde. Om du vill hämta ditt Lakehouse-objekt-ID öppnar du Lakehouse på din arbetsyta och ID:t är efter /lakehouses/i url:en.

  

• Rotmapp: Välj Tabeller eller filer, vilket anger den virtuella vyn för det hanterade eller ohanterade området i din sjö. Mer information finns i Lakehouse-introduktionen.

  • Om du väljer Tabeller:

    • Tabellnamn: Välj en befintlig tabell i tabelllistan eller ange ett tabellnamn som källa. Eller så kan du välja Ny för att skapa en ny tabell.

      

    • Tabell: När du använder Lakehouse med scheman i anslutningen väljer du en befintlig tabell med ett schema i tabelllistan eller anger en tabell med ett schema som källa. Eller så kan du välja Ny för att skapa en ny tabell med ett schema. Om du inte anger något schemanamn använder tjänsten dbo som standardschema.

      

    • Under Avancerat kan du ange följande fält:

      • Tidsstämpel: Ange för att köra frågor mot en äldre ögonblicksbild efter tidsstämpel.
      • Version: Ange om du vill köra frågor mot en äldre ögonblicksbild efter version.
      • Ytterligare kolumner: Lägg till ytterligare datakolumner i lagringskällans relativa sökväg eller statiska värde. Uttrycket stöds för det senare.

    Läsarversion 1 stöds. Du hittar motsvarande Delta Lake-funktioner som stöds i den här artikeln.

  • Om du väljer Filer:

    • Filsökvägstyp: Du kan välja Filsökväg, Sökväg till jokertecken eller Lista över filer som filsökvägstyp. I följande lista beskrivs konfigurationen för varje inställning:

      

      • Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.

      • Sökväg till jokerteckenfil: Ange mappen eller filsökvägen med jokertecken under ditt angivna ohanterade lakehouse-område (under Filer) för att filtrera källmappar eller -filer. Tillåtna jokertecken är: * (matchar noll eller fler tecken) och ? (matchar noll eller enskilt tecken). Använd ^ för att fly om mappen eller filnamnet har jokertecken eller det här escape-tecknet inuti.

        • Sökväg till jokerteckenmapp: Sökvägen till mappen under den angivna containern. Om du vill använda ett jokertecken för att filtrera mappen hoppar du över den här inställningen och anger den informationen i inställningarna för aktivitetskällan.

        • Namn på jokerteckenfil: Filnamnet under det angivna ohanterade området i Lakehouse (under Filer) och mappsökvägen.

          

      • Lista över filer: Anger att en angiven filuppsättning ska kopieras.

        • Mappsökväg: Pekar på en mapp som innehåller filer som du vill kopiera.
        • Sökväg till fillista: Pekar på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till den konfigurerade filsökvägen.

        

    • Rekursivt: Anger om data läse rekursivt från undermapparna eller endast från den angivna mappen. Om det är aktiverat bearbetas alla filer i indatamappen och dess undermappar rekursivt. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

    • Filformat: Välj filformatet i listrutan. Välj knappen Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

    • Under Avancerat kan du ange följande fält:

      • Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.
        • Starttid: Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
        • Sluttid: Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.
      • Aktivera partitionsidentifiering: För filer som är partitionerade anger du om du vill parsa partitionerna från filsökvägen och lägga till dem som extra källkolumner.
        • Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.
      • Maximalt antal samtidiga anslutningar: Anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

Mål

Följande egenskaper stöds för Lakehouse under fliken Mål för en kopieringsaktivitet.

Följande egenskaper krävs:

• Anslutning: Välj en Lakehouse-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Lakehouse-anslutning genom att välja Mer längst ned i anslutningslistan. Om du använder Använd dynamiskt innehåll för att ange lakehouse lägger du till en parameter och anger Lakehouse-objekt-ID som parametervärde. Om du vill hämta ditt Lakehouse-objekt-ID öppnar du Lakehouse på din arbetsyta och ID:t är efter /lakehouses/i url:en.

  

• Rotmapp: Välj Tabeller eller filer, vilket anger den virtuella vyn för det hanterade eller ohanterade området i din sjö. Mer information finns i Lakehouse-introduktionen.

  • Om du väljer Tabeller:

    • Tabellnamn: Välj en befintlig tabell i tabelllistan eller ange ett tabellnamn som mål. Eller så kan du välja Ny för att skapa en ny tabell.

      

    • Tabell: När du använder Lakehouse med scheman i anslutningen väljer du en befintlig tabell med ett schema i tabelllistan eller anger en tabell med ett schema som mål. Eller så kan du välja Ny för att skapa en ny tabell med ett schema. Om du inte anger något schemanamn använder tjänsten dbo som standardschema.

      

    • Under Avancerat kan du ange följande fält:

      • Tabellåtgärder: Ange åtgärden mot den valda tabellen.

        • Lägg till: Lägg till nya värden i en befintlig tabell.

          • Aktivera partition: Med det här valet kan du skapa partitioner i en mappstruktur baserat på en eller flera kolumner. Varje distinkt kolumnvärde (par) är en ny partition. Till exempel "year=2000/month=01/file".
            • Partitionskolumnnamn: Välj från målkolumnerna i schemamappningen när du lägger till data i en ny tabell. När du lägger till data i en befintlig tabell som redan har partitioner härleds partitionskolumnerna automatiskt från den befintliga tabellen. Datatyper som stöds är sträng, heltal, booleskt värde och datetime. Formatet respekterar typkonverteringsinställningarna under fliken Mappning .

        • Skriv över: Skriv över befintliga data och scheman i tabellen med hjälp av de nya värdena. Om den här åtgärden har valts kan du aktivera partitionen i måltabellen:

          • Aktivera partition: Med det här valet kan du skapa partitioner i en mappstruktur baserat på en eller flera kolumner. Varje distinkt kolumnvärde (par) är en ny partition. Till exempel "year=2000/month=01/file".
            • Partitionskolumnnamn: Välj från målkolumnerna i schemamappningen. Datatyper som stöds är sträng, heltal, booleskt värde och datetime. Formatet respekterar typkonverteringsinställningarna under fliken Mappning .

          Det stöder Delta Lake-tidsresor. Den överskrivna tabellen har deltaloggar för de tidigare versionerna, som du kan komma åt i Lakehouse. Du kan också kopiera den tidigare versionstabellen från Lakehouse genom att ange Version i kopieringsaktivitetskällan.

      • Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

    Skrivversion 2 stöds. Du hittar motsvarande Delta Lake-funktioner som stöds i den här artikeln.

  • Om du väljer Filer:

    • Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.

      

    • Filformat: Välj filformatet i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

    • Under Avancerat kan du ange följande fält:

      • Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja Platta ut hierarki, Sammanfoga filer, Bevara hierarki eller Lägg till dynamiskt innehåll som kopieringsbeteende. Konfigurationen av varje inställning är:

        • Platta ut hierarki: Alla filer från källmappen är på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.

        • Sammanfoga filer: Sammanfogar alla filer från källmappen till en fil. Om filnamnet anges är det kopplade filnamnet det angivna namnet. Annars är det ett automatiskt genererat filnamn.

        • Bevara hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för en källfil till källmappen är identisk med den relativa sökvägen för en målfil till målmappen.

        • Lägg till dynamiskt innehåll: Om du vill ange ett uttryck för ett egenskapsvärde väljer du Lägg till dynamiskt innehåll. Det här fältet öppnar uttrycksverktyget där du kan skapa uttryck från systemvariabler som stöds, aktivitetsutdata, funktioner och användardefinierade variabler eller parametrar. Mer information om uttrycksspråket finns i Uttryck och funktioner.

          

      • Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

      • Blockstorlek (MB): Ange blockstorleken i MB när du skriver data till Lakehouse. Det tillåtna värdet är mellan 4 MB och 100 MB.

      • Metadata: Ange anpassade metadata när du kopierar till måldatalagret. Varje objekt under matrisen metadata representerar en extra kolumn. name Definierar namnet på metadatanyckeln value och anger nyckelns datavärde. Om funktionen bevara attribut används kommer angivna metadata att kopplas/skrivas över med källfilens metadata. De tillåtna datavärdena är:

        • $$LASTMODIFIED: en reserverad variabel anger att källfilerna senast ändrades. Gäller endast för en filbaserad källa med binärt format.

        • Uttryck

        • Statiskt värde

          

Mappning

Om du inte använder Lakehouse-tabellen som måldatalager går du till Mappning för flikkonfigurationen Mappning.

Om du använder Lakehouse-tabellen som måldatalager, förutom konfigurationen i Mappning, kan du redigera typen för målkolumnerna. När du har valt Importera scheman kan du ange kolumntypen i målet.

Till exempel är typen för PersonID-kolumnen i källan int och du kan ändra den till strängtyp vid mappning till målkolumn.

Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

För fliken Inställningar går du till Inställningar.

Tabellsammanfattning

Följande tabeller innehåller mer information om en kopieringsaktivitet i Lakehouse.

Källinformation

Målinformation

Relaterat innehåll

• Översikt över Lakehouse-anslutningsappen