Kopiera data från Amazon RDS för Oracle med hjälp av Azure Data Factory eller Azure Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du använder kopieringsaktiviteten i Azure Data Factory för att kopiera data från en Amazon RDS för Oracle-databas. Den bygger på översikten över kopieringsaktiviteten.

Funktioner som stöds

Den här Amazon RDS för Oracle-anslutningsprogrammet stöds för följande funktioner:

(1) Azure Integration Runtime (2) Lokalt installerad integrationskörning

En lista över datalager som stöds som källor eller mottagare av kopieringsaktiviteten finns i tabellen Datalager som stöds.

Mer specifikt stöder den här Amazon RDS för Oracle-anslutningsprogrammet:

• Följande versioner av en Amazon RDS för Oracle-databas:
  • Amazon RDS för Oracle 19c R1 (19.1) och senare
  • Amazon RDS för Oracle 18c R1 (18.1) och senare
  • Amazon RDS för Oracle 12c R1 (12.1) och senare
  • Amazon RDS för Oracle 11g R1 (11.1) och senare
• Parallell kopiering från en Amazon RDS för Oracle-källa. Mer information finns i avsnittet Parallellkopia från Amazon RDS för Oracle .

Förutsättningar

Om ditt datalager finns i ett lokalt nätverk, ett virtuellt Azure-nätverk eller Amazon Virtual Private Cloud måste du konfigurera en lokalt installerad integrationskörning för att ansluta till det.

Om ditt datalager är en hanterad molndatatjänst kan du använda Azure Integration Runtime. Om åtkomsten är begränsad till IP-adresser som är godkända i brandväggsreglerna kan du lägga till Azure Integration Runtime-IP-adresser i listan över tillåtna.

Du kan också använda funktionen för integrering av hanterade virtuella nätverk i Azure Data Factory för att få åtkomst till det lokala nätverket utan att installera och konfigurera en lokalt installerad integrationskörning.

Mer information om de nätverkssäkerhetsmekanismer och alternativ som stöds av Data Factory finns i Strategier för dataåtkomst.

Integreringskörningen tillhandahåller en inbyggd Amazon RDS för Oracle-drivrutin. Därför behöver du inte installera en drivrutin manuellt när du kopierar data från Amazon RDS för Oracle.

Kom igång

Om du vill utföra kopieringsaktiviteten med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Verktyget Kopiera data
• Azure-portalen
• The .NET SDK
• The Python SDK
• Azure PowerShell
• REST-API:et
• Azure Resource Manager-mallen

Skapa en länkad tjänst till Amazon RDS för Oracle med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Amazon RDS för Oracle i azure-portalens användargränssnitt.

1. Bläddra till fliken Hantera i Din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och klicka sedan på Ny:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter Amazon RDS för Oracle och välj Amazon RDS för Oracle-anslutningsprogrammet.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutningsprogram

Följande avsnitt innehåller information om egenskaper som används för att definiera entiteter som är specifika för Amazon RDS för Oracle-anslutningstjänsten.

Länkade tjänstegenskaper

Amazon RDS för den länkade tjänsten Oracle har stöd för följande egenskaper:

Om du har flera Amazon RDS för Oracle-instanser för redundansscenario kan du skapa Amazon RDS för oracle-länkad tjänst och fylla i den primära värden, porten, användarnamnet, lösenordet osv., och lägga till en ny "Ytterligare anslutningsegenskaper" med egenskapsnamn som AlternateServers och värde som (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) – missa inte hakparenteserna och var uppmärksam på kolonen (:) som avgränsare. Till exempel definierar följande värde för alternativa servrar två alternativa databasservrar för redundans vid anslutning: (HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Fler anslutningsegenskaper som du kan ange i niska veze per ditt ärende:

Om du vill aktivera kryptering på Amazon RDS för Oracle-anslutning har du två alternativ:

• Om du vill använda Triple-DES Encryption (3DES) och Advanced Encryption Standard (AES) går du till Oracle Advanced Security (OAS) på Amazon RDS för Oracle-serversidan och konfigurerar krypteringsinställningarna. Mer information finns i den här Oracle-dokumentationen. ADF-anslutningsappen (Amazon RDS for Oracle Application Development Framework) förhandlar automatiskt om krypteringsmetoden för att använda den som du konfigurerar i OAS när du upprättar en anslutning till Amazon RDS för Oracle.

• Så här använder du TLS:

  1. Hämta TLS/SSL-certifikatinformationen. Hämta den unika kodningsreglerna (DER)-kodad certifikatinformation för ditt TLS/SSL-certifikat och spara utdata (----- Begin Certificate ... Slutcertifikatet -----) som en textfil.

     openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
     

     Exempel: Extrahera certifikatinformation från DERcert.cer och spara sedan utdata i cert.txt.

     openssl x509 -inform DER -in DERcert.cer -text
     Output:
     -----BEGIN CERTIFICATE-----
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXX
     -----END CERTIFICATE-----
     

  2. keystore Skapa eller truststore. Följande kommando skapar truststore filen, med eller utan lösenord, i PKCS-12-format.

     openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
     

     Exempel: Skapa en PKCS12-fil truststore med namnet MyTrustStoreFile med ett lösenord.

     openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
     

  3. truststore Placera filen på den lokalt installerade IR-datorn. Placera till exempel filen på C:\MyTrustStoreFile.

  4. I tjänsten konfigurerar du Amazon RDS för Oracle niska veze med EncryptionMethod=1 och motsvarande TrustStore/TrustStorePasswordvärde. Till exempel Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Exempel:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: Lagra lösenord i Azure Key Vault

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datauppsättning

Det här avsnittet innehåller en lista över egenskaper som stöds av Amazon RDS för Oracle-datauppsättningen. En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i Datauppsättningar.

Om du vill kopiera data från Amazon RDS för Oracle anger du datamängdens typegenskap till AmazonRdsForOracleTable. Följande egenskaper stöds.

Exempel:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopiera egenskaper för aktivitet

Det här avsnittet innehåller en lista över egenskaper som stöds av Amazon RDS för Oracle-källan. En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i Pipelines.

Amazon RDS för Oracle som källa

Om du vill kopiera data från Amazon RDS för Oracle anger du källtypen i kopieringsaktiviteten till AmazonRdsForOracleSource. Följande egenskaper stöds i avsnittet kopieringsaktivitetskälla.

Exempel: kopiera data med hjälp av en grundläggande fråga utan partition

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Parallell kopia från Amazon RDS för Oracle

Amazon RDS för Oracle-anslutningsprogrammet tillhandahåller inbyggd datapartitionering för att kopiera data från Amazon RDS för Oracle parallellt. Du hittar alternativ för datapartitionering på fliken Källa i kopieringsaktiviteten.

När du aktiverar partitionerad kopia kör tjänsten parallella frågor mot din Amazon RDS för Oracle-källa för att läsa in data efter partitioner. Den parallella graden styrs av parallelCopies inställningen för kopieringsaktiviteten. Om du till exempel anger parallelCopies till fyra genererar och kör tjänsten samtidigt fyra frågor baserat på det angivna partitionsalternativet och inställningarna, och varje fråga hämtar en del data från Amazon RDS för Oracle-databasen.

Du rekommenderas att aktivera parallell kopiering med datapartitionering, särskilt när du läser in stora mängder data från Amazon RDS för Oracle-databasen. Följande är föreslagna konfigurationer för olika scenarier. När du kopierar data till filbaserat datalager är det dags att skriva till en mapp som flera filer (ange endast mappnamn), i vilket fall prestandan är bättre än att skriva till en enda fil.

Exempel: fråga med fysisk partition

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Exempel: fråga med partition för dynamiskt intervall

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Egenskaper för uppslagsaktivitet

Mer information om egenskaperna finns i Sökningsaktivitet.

Relaterat innehåll

En lista över datalager som stöds som källor och mottagare av kopieringsaktiviteten finns i Datalager som stöds.