Filformat och komprimeringskodceringar som stöds i Azure Data Factory och Synapse Analytics (äldre)

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln gäller för följande anslutningsappar: Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP och SFTP.

Textformat (äldre)

Om du vill läsa från en textfil eller skriva till en textfil anger du type egenskapen i format avsnittet i datamängden till TextFormat. Du kan också ange följande valfria egenskaper i avsnittet format. Konfigurationsinformation finns i avsnittet med TextFormat-exempel.

TextFormat-exempel

I följande JSON-definition för en datauppsättning anges några av de valfria egenskaperna.

"typeProperties":
{
    "folderPath": "mycontainer/myfolder",
    "fileName": "myblobname",
    "format":
    {
        "type": "TextFormat",
        "columnDelimiter": ",",
        "rowDelimiter": ";",
        "quoteChar": "\"",
        "NullValue": "NaN",
        "firstRowAsHeader": true,
        "skipLineCount": 0,
        "treatEmptyAsNull": true
    }
},

Om du vill använda ett escapeChar i stället för quoteChar ersätter du raden med quoteChar med följande escapeChar:

"escapeChar": "$",

Användningsscenarier för firstRowAsHeader och skipLineCount

• Du kopierar från en källa som inte är filbaserad till en textfil och vill lägga till en rubrikrad som innehåller schemametadata (till exempel: SQL-schema). Ange firstRowAsHeader som true i utdatauppsättningen för det här scenariot.
• Du kopierar från en textfil som innehåller en rubrikrad till en mottagare som inte är filbaserad och vill ignorera raden. Ange firstRowAsHeader som true i indatauppsättningen.
• Du kopierar från en textfil och vill hoppa över några rader i början som antingen inte innehåller några data eller som innehåller rubrikinformation. Ange skipLineCount för att ange antalet rader som ska hoppas över. Om resten av filen innehåller en rubrikrad kan du också ange firstRowAsHeader. Om både skipLineCount och firstRowAsHeader anges hoppas raderna över först, varefter rubrikinformationen läses från indatafilen

JSON-format (äldre)

Information om hur du importerar/exporterar en JSON-fil som den är till/från Azure Cosmos DB finns i avsnittet Importera/exportera JSON-dokument i artikeln Flytta data till/från Azure Cosmos DB .

Om du vill parsa JSON-filerna eller skriva data i JSON-format anger du type egenskapen i format avsnittet till JsonFormat. Du kan också ange följande valfria egenskaper i avsnittet format. Konfigurationsinformation finns i avsnittet med JsonFormat-exempel.

JSON-filmönster

aktiviteten Kopiera kan parsa följande mönster för JSON-filer:

• Typ I: setOfObjects

  Varje fil som innehåller ett enskilt objekt eller flera radavgränsade/sammanfogade objekt. När det här alternativet väljs i en utdatauppsättning genererar kopieringsaktiviteten en enskild JSON-fil med ett objekt per rad (radavgränsade).

  • Exempel på JSON med enskilda objekt

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    

  • Exempel med radavgränsad JSON

    {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
    {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
    {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
    

  • Exempel med sammanfogad JSON

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    {
        "time": "2015-04-29T07:13:21.0220000Z",
        "callingimsi": "466922202613463",
        "callingnum1": "123436380",
        "callingnum2": "789037573",
        "switch1": "US",
        "switch2": "UK"
    }
    {
        "time": "2015-04-29T07:13:21.4370000Z",
        "callingimsi": "466923101048691",
        "callingnum1": "678901578",
        "callingnum2": "345626404",
        "switch1": "Germany",
        "switch2": "UK"
    }
    

• Typ II: arrayOfObjects

  Varje fil innehåller en matris med objekt.

  [
      {
          "time": "2015-04-29T07:12:20.9100000Z",
          "callingimsi": "466920403025604",
          "callingnum1": "678948008",
          "callingnum2": "567834760",
          "switch1": "China",
          "switch2": "Germany"
      },
      {
          "time": "2015-04-29T07:13:21.0220000Z",
          "callingimsi": "466922202613463",
          "callingnum1": "123436380",
          "callingnum2": "789037573",
          "switch1": "US",
          "switch2": "UK"
      },
      {
          "time": "2015-04-29T07:13:21.4370000Z",
          "callingimsi": "466923101048691",
          "callingnum1": "678901578",
          "callingnum2": "345626404",
          "switch1": "Germany",
          "switch2": "UK"
      }
  ]
  

JsonFormat-exempel

Fall 1: Kopiera data från JSON-filer

Exempel 1: hämta data från objektet och matrisen

I det här exemplet mappas ett JSON-rotobjekt till en enskild post i tabellformat. Om du har en JSON-fil med följande innehåll:

{
    "id": "ed0e4960-d9c5-11e6-85dc-d7996816aad3",
    "context": {
        "device": {
            "type": "PC"
        },
        "custom": {
            "dimensions": [
                {
                    "TargetResourceType": "Microsoft.Compute/virtualMachines"
                },
                {
                    "ResourceManagementProcessRunId": "827f8aaa-ab72-437c-ba48-d8917a7336a3"
                },
                {
                    "OccurrenceTime": "1/13/2017 11:24:37 AM"
                }
            ]
        }
    }
}

och du vill kopiera den till en Azure SQL-tabell i följande format, genom att extrahera data från både objekten och matrisen:

Indatauppsättningen med typen JsonFormat definieras så här: (partiell definition med endast de relevanta delarna). Mer specifikt:

• Avsnittet structure definierar de anpassade kolumnnamnen och den motsvarande datatypen vid konverteringen till data i tabellformat. Det här avsnittet är valfritt såvida inte kolumnmappning krävs. Mer information finns i Mappa källdatauppsättningskolumner till måldatauppsättningskolumner.
• jsonPathDefinition anger JSON-sökvägen för varje kolumn och anger var data ska extraheras från. Om du vill kopiera data från matrisen kan du använda array[x].property för att extrahera värdet för den angivna egenskapen från xth objektet, eller så kan du använda array[*].property för att hitta värdet från alla objekt som innehåller den här egenskapen.

"properties": {
    "structure": [
        {
            "name": "id",
            "type": "String"
        },
        {
            "name": "deviceType",
            "type": "String"
        },
        {
            "name": "targetResourceType",
            "type": "String"
        },
        {
            "name": "resourceManagementProcessRunId",
            "type": "String"
        },
        {
            "name": "occurrenceTime",
            "type": "DateTime"
        }
    ],
    "typeProperties": {
        "folderPath": "mycontainer/myfolder",
        "format": {
            "type": "JsonFormat",
            "filePattern": "setOfObjects",
            "jsonPathDefinition": {"id": "$.id", "deviceType": "$.context.device.type", "targetResourceType": "$.context.custom.dimensions[0].TargetResourceType", "resourceManagementProcessRunId": "$.context.custom.dimensions[1].ResourceManagementProcessRunId", "occurrenceTime": " $.context.custom.dimensions[2].OccurrenceTime"}
        }
    }
}

Exempel 2: korstillämpa flera objekt med samma mönster från en matris

I det här exemplet omvandlas ett JSON-rotobjekt till flera poster i tabellform. Om du har en JSON-fil med följande innehåll:

{
    "ordernumber": "01",
    "orderdate": "20170122",
    "orderlines": [
        {
            "prod": "p1",
            "price": 23
        },
        {
            "prod": "p2",
            "price": 13
        },
        {
            "prod": "p3",
            "price": 231
        }
    ],
    "city": [ { "sanmateo": "No 1" } ]
}

som du vill kopiera till en Azure SQL-tabell i följande format genom att förenkla data i matrisen och korskoppla med den gemensamma rotinformationen:

Indatauppsättningen med typen JsonFormat definieras så här: (partiell definition med endast de relevanta delarna). Mer specifikt:

• Avsnittet structure definierar de anpassade kolumnnamnen och den motsvarande datatypen vid konverteringen till data i tabellformat. Det här avsnittet är valfritt såvida inte kolumnmappning krävs. Mer information finns i Mappa källdatauppsättningskolumner till måldatauppsättningskolumner.
• jsonNodeReference anger att iterera och extrahera data från objekten med samma mönster under matrisen orderlines.
• jsonPathDefinition anger JSON-sökvägen för varje kolumn och anger var data ska extraheras från. I det här exemplet ordernumberär , orderdateoch city under rotobjektet med JSON-sökvägen som börjar med $., medan order_pd och order_price definieras med sökvägen härledd från matriselementet utan $..

"properties": {
    "structure": [
        {
            "name": "ordernumber",
            "type": "String"
        },
        {
            "name": "orderdate",
            "type": "String"
        },
        {
            "name": "order_pd",
            "type": "String"
        },
        {
            "name": "order_price",
            "type": "Int64"
        },
        {
            "name": "city",
            "type": "String"
        }
    ],
    "typeProperties": {
        "folderPath": "mycontainer/myfolder",
        "format": {
            "type": "JsonFormat",
            "filePattern": "setOfObjects",
            "jsonNodeReference": "$.orderlines",
            "jsonPathDefinition": {"ordernumber": "$.ordernumber", "orderdate": "$.orderdate", "order_pd": "prod", "order_price": "price", "city": " $.city"}
        }
    }
}

Observera följande:

• structure Om och jsonPathDefinition inte definieras i datauppsättningen identifierar kopieringsaktiviteten schemat från det första objektet och platta ut hela objektet.
• Om JSON-indata har en matris konverterar kopieringsaktiviteten som standard hela matrisvärdet till en sträng. Du kan välja att extrahera data från den med hjälp av jsonNodeReference och/eller jsonPathDefinition, eller hoppa över det genom att inte ange den i jsonPathDefinition.
• Om det finns dubblettnamn på samma nivå väljer kopieringsaktiviteten det sista.
• Egenskapsnamn är skiftlägeskänsliga. Två egenskaper med samma namn men med olika skiftlägen behandlas som två olika egenskaper.

Fall 2: Skriva data till JSON-fil

Om du har följande tabell i SQL Database:

och för varje post förväntar du dig att skriva till ett JSON-objekt i följande format:

{
    "id": "1",
    "order": {
        "date": "20170119",
        "price": 2000,
        "customer": "David"
    }
}

Utdatauppsättningen med typen JsonFormat definieras så här: (partiell definition med endast de relevanta delarna). Mer specifikt structure definierar avsnittet de anpassade egenskapsnamnen i målfilen nestingSeparator (standardvärdet är ".") används för att identifiera kapslingsskiktet från namnet. Det här avsnittet är valfritt såvida du inte vill ändra egenskapsnamnet som jämförs med källkolumnnamnet, eller kapsla vissa av egenskaperna.

"properties": {
    "structure": [
        {
            "name": "id",
            "type": "String"
        },
        {
            "name": "order.date",
            "type": "String"
        },
        {
            "name": "order.price",
            "type": "Int64"
        },
        {
            "name": "order.customer",
            "type": "String"
        }
    ],
    "typeProperties": {
        "folderPath": "mycontainer/myfolder",
        "format": {
            "type": "JsonFormat"
        }
    }
}

Parquet-format (äldre)

Om du vill parsa Parquet-filerna eller skriva data i Parquet-format anger du format type egenskapen till ParquetFormat. Du behöver inte ange några egenskaper i avsnittet Format i avsnittet typeProperties. Exempel:

"format":
{
    "type": "ParquetFormat"
}

Observera följande:

• Komplexa datatyper stöds inte (MAP, LIST).
• Tomt utrymme i kolumnnamnet stöds inte.
• Parquet-filer har följande komprimeringsrelaterade alternativ: NONE, SNAPPY, GZIP och LZO. Tjänsten stöder läsning av data från Parquet-filen i något av dessa komprimerade format förutom LZO – den använder komprimeringskodc i metadata för att läsa data. Men när du skriver till en Parquet-fil väljer tjänsten SNAPPY, vilket är standard för Parquet-format. För närvarande finns det inget alternativ för att åsidosätta det här beteendet.

För kopiering som körs på lokalt installerad IR med Parquet-filserialisering/deserialisering letar tjänsten upp Java-körningen genom att först kontrollera registret (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) för JRE, om det inte hittas, för det andra genom att kontrollera systemvariabeln JAVA_HOME för OpenJDK.

• För att kunna använda JRE: 64-bitars IR kräver 64-bitars JRE. Du hittar den härifrån.
• Så här använder du OpenJDK: det stöds sedan IR version 3.13. Paketera jvm.dll med alla andra nödvändiga sammansättningar av OpenJDK till en lokalt installerad IR-dator och ange JAVA_HOME i enlighet med detta.

Exempel: ange variabel med _JAVA_OPTIONS värdet -Xms256m -Xmx16g. Flaggan Xms anger den första minnesallokeringspoolen för en virtuell Java-dator (JVM) och Xmx anger den maximala minnesallokeringspoolen. Det innebär att JVM startas med Xms mycket minne och kan använda maximalt Xmx mycket minne. Som standard använder tjänsten min 64MB och max 1G.

Datatypsmappning för Parquet-filer

ORC-format (äldre)

Om du vill parsa ORC-filerna eller skriva data i ORC-format anger du format type egenskapen till OrcFormat. Du behöver inte ange några egenskaper i avsnittet Format i avsnittet typeProperties. Exempel:

"format":
{
    "type": "OrcFormat"
}

Observera följande:

• Komplexa datatyper stöds inte (STRUCT, MAP, LIST, UNION).
• Tomt utrymme i kolumnnamnet stöds inte.
• ORC-filen har tre komprimeringsrelaterade alternativ: NONE, ZLIB och SNAPPY. Tjänsten stöder läsning av data från ORC-filen i något av dessa komprimerade format. Data Factory använder komprimerings-codec i metadata för att läsa data. När du skriver till en ORC-fil väljer tjänsten dock ZLIB, vilket är standardvärdet för ORC. För närvarande finns det inget alternativ för att åsidosätta det här beteendet.

För kopiering som körs på lokalt installerad IR med ORC-filserialisering/deserialisering letar tjänsten upp Java-körningen genom att först kontrollera registret (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) för JRE, om det inte hittas, för det andra genom att kontrollera systemvariabeln JAVA_HOME för OpenJDK.

• För att kunna använda JRE: 64-bitars IR kräver 64-bitars JRE. Du hittar den härifrån.
• Så här använder du OpenJDK: det stöds sedan IR version 3.13. Paketera jvm.dll med alla andra nödvändiga sammansättningar av OpenJDK till en lokalt installerad IR-dator och ange JAVA_HOME i enlighet med detta.

Datatypsmappning för ORC-filer

AVRO-format (äldre)

Om du vill parsa Avro-filerna eller skriva data i Avro-format anger du format type egenskapen till AvroFormat. Du behöver inte ange några egenskaper i avsnittet Format i avsnittet typeProperties. Exempel:

"format":
{
    "type": "AvroFormat",
}

Om du vill använda Avro-format i en Hive-tabell kan du läsa Apache Hive-självstudien.

Observera följande:

• Komplexa datatyper stöds inte (poster, uppräkningar, matriser, kartor, fackföreningar och fasta).

Stöd för komprimering (äldre)

Tjänsten stöder komprimera/dekomprimera data under kopieringen. När du anger compression egenskapen i en indatauppsättning läser kopieringsaktiviteten komprimerade data från källan och dekomprimeras. När du anger egenskapen i en utdatauppsättning komprimeras kopieringsaktiviteten och skriver sedan data till mottagaren. Här följer några exempelscenarier:

• Läs GZIP-komprimerade data från en Azure-blob, dekomprimera dem och skriv resultatdata till Azure SQL Database. Du definierar indata för Azure Blob-datauppsättningen compression type med egenskapen som GZIP.
• Läs data från en oformaterad fil från det lokala filsystemet, komprimera dem med GZip-format och skriv komprimerade data till en Azure-blob. Du definierar en Azure Blob-datauppsättning med utdata med compression type egenskapen som GZip.
• Läs .zip fil från FTP-servern, dekomprimera den för att hämta filerna inuti och landa filerna i Azure Data Lake Store. Du definierar en FTP-indatauppsättning med compression type egenskapen som ZipDeflate.
• Läs en GZIP-komprimerad data från en Azure-blob, dekomprimera den, komprimera den med BZIP2 och skriv resultatdata till en Azure-blob. Du definierar indatauppsättningen för Azure Blob med compression type inställd på GZIP och utdatauppsättningen med compression type inställd på BZIP2.

Om du vill ange komprimering för en datauppsättning använder du komprimeringsegenskapen i datauppsättningens JSON som i följande exempel:

{
    "name": "AzureBlobDataSet",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "StorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "fileName": "pagecounts.csv.gz",
            "folderPath": "compression/file/",
            "format": {
                "type": "TextFormat"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Komprimeringsavsnittet har två egenskaper:

• Typ: komprimeringskodcen, som kan vara GZIP, Deflate, BZIP2 eller ZipDeflate. Observera att när du använder kopieringsaktivitet för att dekomprimera ZipDeflate-filer och skriva till filbaserat datalager för mottagare, extraheras filerna till mappen: <path specified in dataset>/<folder named as source zip file>/.

• Nivå: komprimeringsförhållandet, som kan vara optimalt eller snabbast.

  • Snabbast: Komprimeringsåtgärden bör slutföras så snabbt som möjligt, även om den resulterande filen inte komprimeras optimalt.

  • Optimal: Komprimeringsåtgärden bör komprimeras optimalt, även om åtgärden tar längre tid att slutföra.

    Mer information finns i avsnittet Komprimeringsnivå .

Filtyper och komprimeringsformat som inte stöds

Du kan använda utökningsbarhetsfunktionerna för att transformera filer som inte stöds. Två alternativ är Azure Functions och anpassade uppgifter med hjälp av Azure Batch.

Du kan se ett exempel som använder en Azure-funktion för att extrahera innehållet i en tar-fil. Mer information finns i Azure Functions-aktivitet.

Du kan också skapa den här funktionen med hjälp av en anpassad dotnet-aktivitet. Mer information finns här

Relaterat innehåll

Lär dig de senaste filformat och komprimeringar som stöds från filformat och komprimering som stöds.