Kopiera data från Amazon S3 Compatible Storage med hjälp av Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du kopierar data från Amazon Simple Storage Service (Amazon S3) Compatible Storage. Mer information finns i introduktionsartiklarna för Azure Data Factory och Synapse Analytics.

Funktioner som stöds

Den här Amazon S3-kompatibla lagringsanslutningen stöds för följande funktioner:

(1) Azure Integration Runtime (2) Lokalt installerad integrationskörning

Mer specifikt stöder den här Amazon S3-kompatibla lagringsanslutningsappen kopiering av filer som är eller parsning av filer med de filformat och komprimeringskodex som stöds. Anslutningsappen använder AWS Signature Version 4 för att autentisera begäranden till S3. Du kan använda den här Amazon S3-kompatibla lagringsanslutningsappen för att kopiera data från valfri S3-kompatibel lagringsprovider. Ange motsvarande tjänst-URL i den länkade tjänstkonfigurationen.

Behörigheter som krävs

Om du vill kopiera data från Amazon S3 Compatible Storage kontrollerar du att du har beviljats följande behörigheter för Amazon S3-objektåtgärder: s3:GetObject och s3:GetObjectVersion.

Om du använder användargränssnittet för att skapa krävs ytterligare s3:ListAllMyBuckets behörigheter och s3:ListBucket/s3:GetBucketLocation behörigheter för åtgärder som att testa anslutningen till den länkade tjänsten och bläddra från roten. Om du inte vill bevilja dessa behörigheter kan du välja "Testa anslutning till filsökväg" eller "Bläddra från angiven sökväg" från användargränssnittet.

Den fullständiga listan över Amazon S3-behörigheter finns i Ange behörigheter i en princip på AWS-webbplatsen.

Komma igång

Om du vill utföra kopieringsaktiviteten med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Verktyget Kopiera data
• Azure-portalen
• The .NET SDK
• The Python SDK
• Azure PowerShell
• REST-API:et
• Azure Resource Manager-mallen

Skapa en länkad tjänst till Amazon S3 Compatible Storage med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Amazon S3 Compatible Storage i azure-portalens användargränssnitt.

1. Bläddra till fliken Hantera i Din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och klicka sedan på Ny:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter Amazon och välj anslutningsappen Amazon S3 Compatible Storage.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutningsprogram

Följande avsnitt innehåller information om egenskaper som används för att definiera entiteter som är specifika för Amazon S3 Compatible Storage.

Länkade tjänstegenskaper

Följande egenskaper stöds för en Amazon S3-kompatibel länkad tjänst:

Exempel:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datauppsättning

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar .

Azure Data Factory stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för Amazon S3 Compatible under location inställningar i en formatbaserad datauppsättning:

Exempel:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som Amazon S3 Compatible Storage-källan stöder.

Amazon S3-kompatibel lagring som källtyp

Azure Data Factory stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för Amazon S3 Compatible Storage under storeSettings inställningar i en formatbaserad kopieringskälla:

Exempel:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exempel på mapp- och filfilter

I det här avsnittet beskrivs det resulterande beteendet för mappsökvägen och filnamnet med jokerteckenfilter.

Exempel på fillista

I det här avsnittet beskrivs det resulterande beteendet med att använda en fillistesökväg i en kopieringsaktivitetskälla.

Anta att du har följande källmappstruktur och vill kopiera filerna i fetstil:

Egenskaper för uppslagsaktivitet

Mer information om egenskaperna finns i Sökningsaktivitet.

Egenskaper för GetMetadata-aktivitet

Mer information om egenskaperna finns i GetMetadata-aktiviteten.

Ta bort aktivitetsegenskaper

Information om egenskaperna finns i Ta bort aktivitet.

Relaterat innehåll

En lista över datalager som kopieringsaktiviteten stöder som källor och mottagare finns i Datalager som stöds.