Azure Data Factory veya Azure Synapse Analytics kullanarak SQL Server için Amazon RDS'den veri kopyalama

Bu makalede, SQL Server için Amazon RDS veritabanından veri kopyalamak için Azure Data Factory ve Azure Synapse işlem hatlarında kopyalama etkinliğinin nasıl kullanılacağı özetlenmiştir. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun.

Desteklenen özellikler

Bu SQL Server için Amazon RDS bağlayıcısı aşağıdaki özellikler için desteklenir:

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kopyalama etkinliği tarafından kaynak veya havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Özellikle bu SQL Server için Amazon RDS bağlayıcısı şunları destekler:

• SQL Server sürüm 2005 ve üzeri.
• SQL veya Windows kimlik doğrulamasını kullanarak veri kopyalama.
• Kaynak olarak, SQL sorgusu veya saklı yordam kullanarak veri alma. Sql Server kaynağı için Amazon RDS'den paralel kopyalamayı da seçebilirsiniz. Ayrıntılar için SQL veritabanından paralel kopyalama bölümüne bakın.

SQL Server Express LocalDB desteklenmez.

Önkoşullar

Veri deponuz bir şirket içi ağ, Azure sanal ağı veya Amazon Sanal Özel Bulut içinde bulunuyorsa, şirket içinde barındırılan tümleştirme çalışma zamanını buna bağlanmak için yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa Azure Integration Runtime IP'lerini izin verme listesine ekleyebilirsiniz.

Şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan şirket içi ağa erişmek için Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak SQL Server bağlı hizmeti için Amazon RDS oluşturma

Azure portalı kullanıcı arabiriminde SQL Server için Amazon RDS bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   • Azure Data Factory
   • Azure Synapse

   

2. SQL server için Amazon RDS'yi arayın ve SQL Server için Amazon RDS bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, SQL Server için Amazon RDS veritabanı bağlayıcısına özgü Data Factory ve Synapse işlem hattı varlıklarını tanımlamak için kullanılan özellikler hakkında ayrıntılar sağlanır.

Bağlı hizmet özellikleri

SQL Server için Amazon RDS bağlayıcısı Önerilen sürümü TLS 1.3'i destekler. SQL Server için Amazon RDS bağlayıcı sürümünüzü Eski sürümden yükseltmek için bu bölüme bakın. Özellik ayrıntıları için ilgili bölümlere bakın.

• Önerilen sürüm
• Eski sürüm

Önerilen sürüm

Bu genel özellikler, Önerilen sürümü uyguladığınızda SQL Server bağlı hizmeti için Amazon RDS için desteklenir:

Ek bağlantı özellikleri için aşağıdaki tabloya bakın:

SQL kimlik doğrulaması

SQL kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Örnek: SQL kimlik doğrulaması kullanma

{
    "name": "AmazonSqlLinkedService",
    "properties": {
        "type": "AmazonRdsForSqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Azure Key Vault'ta sql kimlik doğrulamasını parolayla kullanma

{
    "name": "AmazonSqlLinkedService",
    "properties": {
        "type": "AmazonRdsForSqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Always Encrypted kullanma

{
    "name": "AmazonSqlLinkedService",
    "properties": {
        "type": "AmazonRdsForSqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "alwaysEncryptedSettings": {
                "alwaysEncryptedAkvAuthType": "ServicePrincipal",
                "servicePrincipalId": "<service principal id>",
                "servicePrincipalKey": {
                    "type": "SecureString",
                    "value": "<service principal key>"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Windows kimlik doğrulması

Windows kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Örnek: Windows kimlik doğrulamayı kullanma

{
    "name": "AmazonSqlLinkedService",
    "properties": {
        "type": "AmazonRdsForSqlServer",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "Windows",
            "userName": "<domain\\username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eski sürüm

Bu genel özellikler, Eski sürümü uyguladığınızda SQL Server bağlı hizmeti için Amazon RDS için desteklenir:

Bu SQL Server için Amazon RDS bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın.

• Eski sürüm için SQL kimlik doğrulaması
• Eski sürüm için Windows kimlik doğrulaması

Eski sürüm için SQL kimlik doğrulaması

SQL kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Eski sürüm için Windows kimlik doğrulaması

Windows kimlik doğrulamasını kullanmak için, önceki bölümde açıklanan genel özelliklere ek olarak aşağıdaki özellikleri belirtin:

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için veri kümeleri makalesine bakın. Bu bölümde, SQL Server veri kümesi için Amazon RDS tarafından desteklenen özelliklerin listesi sağlanır.

SQL Server için Amazon RDS veritabanından veri kopyalamak için aşağıdaki özellikler desteklenir:

Örnek

{
    "name": "AmazonRdsForSQLServerDataset",
    "properties":
    {
        "type": "AmazonRdsForSqlServerTable",
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for SQL Server linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için İşlem Hatları makalesine bakın. Bu bölümde, SQL Server kaynağı için Amazon RDS tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak SQL Server için Amazon RDS

SQL Server için Amazon RDS'den veri kopyalamak için kopyalama etkinliğindeki kaynak türünü AmazonRdsForSqlServerSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Aşağıdaki noktalara dikkat edin:

• AmazonRdsForSqlServerSource için sqlReaderQuery belirtilirse, kopyalama etkinliği verileri almak üzere SQL Server kaynağı için Amazon RDS'de bu sorguyu çalıştırır. Saklı yordam parametre alıyorsa sqlReaderStoredProcedureName ve storedProcedureParameters belirterek de saklı yordam belirtebilirsiniz.
• Verileri almak için kaynakta saklı yordamı kullanırken, saklı yordamınızın farklı parametre değeri geçirildiğinde farklı şema döndürme olarak tasarlanıp tasarlanmadiğini, kullanıcı arabiriminden şema içeri aktarılırken veya otomatik tablo oluşturma özelliğiyle SQL veritabanına veri kopyalarken hatayla karşılaşabileceğinizi veya beklenmeyen bir sonuçla karşılaşabileceğinizi unutmayın.

Örnek: SQL sorgusu kullanma

"activities":[
    {
        "name": "CopyFromAmazonRdsForSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for SQL Server input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForSqlServerSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek: Saklı yordam kullanma

"activities":[
    {
        "name": "CopyFromAmazonRdsForSQLServer",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for SQL Server input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForSqlServerSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Saklı yordam tanımı

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

SQL veritabanından paralel kopyalama

Kopyalama etkinliğindeki SQL Server için Amazon RDS bağlayıcısı, verileri paralel olarak kopyalamak için yerleşik veri bölümleme sağlar. Veri bölümleme seçeneklerini kopyalama etkinliğinin Kaynak sekmesinde bulabilirsiniz.

Bölümlenmiş kopyalamayı etkinleştirdiğinizde kopyalama etkinliği, SQL Server kaynağının bölümlere göre veri yüklemesi için Amazon RDS'nizde paralel sorgular çalıştırır. Paralel derece, kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenilir. Örneğin, dört olarak ayarlarsanız parallelCopies hizmet, belirtilen bölüm seçeneğinize ve ayarlarınıza göre aynı anda dört sorgu oluşturur ve çalıştırır ve her sorgu SQL Server için Amazon RDS'nizden verilerin bir bölümünü alır.

Özellikle SQL Server için Amazon RDS'nizden büyük miktarda veri yüklediğinizde veri bölümleme ile paralel kopyalamayı etkinleştirmeniz önerilir. Farklı senaryolar için önerilen yapılandırmalar aşağıdadır. Verileri dosya tabanlı veri deposuna kopyalarken, bir klasöre birden çok dosya olarak yazmanız önerilir (yalnızca klasör adını belirtin), bu durumda performans tek bir dosyaya yazmaktan daha iyidir.

Bölüm seçeneğiyle veri yüklemek için en iyi yöntemler:

1. Veri dengesizliği önlemek için bölüm sütunu (birincil anahtar veya benzersiz anahtar gibi) olarak ayırt edici sütunu seçin.
2. Tabloda yerleşik bölüm varsa, daha iyi performans elde etmek için "Tablonun fiziksel bölümleri" bölüm seçeneğini kullanın.
3. Verileri kopyalamak için Azure Integration Runtime kullanıyorsanız, daha fazla bilgi işlem kaynağı kullanmak için daha büyük "Veri Entegrasyonu Birimleri (DIU)" (>4) ayarlayabilirsiniz. İlgili senaryoları burada kontrol edin.
4. "Kopyalama paralelliği derecesi" bölüm numaralarını denetler, bu sayıyı bazen çok büyük ayarlamak performansı düşürür, bu sayıyı (ŞIRKET içinde barındırılan IR düğümlerinin DIU veya sayısı) * (2 - 4) olarak ayarlamanızı öneririz.

Örnek: Fiziksel bölümleri olan büyük tablodan tam yük

"source": {
    "type": "AmazonRdsForSqlServerSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Örnek: dinamik aralık bölümü olan sorgu

"source": {
    "type": "AmazonRdsForSqlServerSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Fiziksel bölümü denetlemek için örnek sorgu

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Tabloda fiziksel bölüm varsa, "HasPartition" öğesini aşağıdaki gibi "evet" olarak görürsünüz.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Always Encrypted kullanma

Always Encrypted ile SQL Server için Amazon RDS'den/Amazon RDS'ye veri kopyaladığınızda aşağıdaki adımları izleyin:

1. Sütun Ana Anahtarı'nı (CMK) bir Azure Key Vault'ta depolayın. Azure Key Vault kullanarak Always Encrypted'ı yapılandırma hakkında daha fazla bilgi edinin

2. Sütun Ana Anahtarı'nın (CMK) depolandığı anahtar kasasına erişim izni verildiğinden emin olun. Gerekli izinler için bu makaleye bakın.

3. SQL veritabanınıza bağlanmak için bağlı hizmet oluşturun ve yönetilen kimlik veya hizmet sorumlusu kullanarak 'Always Encrypted' işlevini etkinleştirin.

Bağlantı sorunlarını giderme

1. Sql Server örneği için Amazon RDS'nizi uzak bağlantıları kabul etmek üzere yapılandırın. SQL Server Management Studio için Amazon RDS'yi başlatın, sunucuya sağ tıklayın ve Özellikler'i seçin. Listeden Bağlantılar'ı seçin ve Bu sunucuya uzak bağlantılara izin ver onay kutusunu seçin.

   

   Ayrıntılı adımlar için bkz . Uzaktan erişim sunucusu yapılandırma seçeneğini yapılandırma.

2. SQL Server Yapılandırma Yöneticisi için Amazon RDS'i başlatın. İstediğiniz örnek için SQL Server Ağ Yapılandırması için Amazon RDS'yi genişletin ve MSSQLSERVER protokolleri'ni seçin. Protokoller sağ bölmede görünür. TCP/IP'ye sağ tıklayıp Etkinleştir'i seçerek TCP/IP'yi etkinleştirin.

   

   TCP/IP protokolünün etkinleştirilmesinin alternatif yolları ve daha fazla bilgi için bkz . Sunucu ağ protokollerini etkinleştirme veya devre dışı bırakma.

3. Aynı pencerede TCP/IP Özellikleri penceresini başlatmak için TCP/IP'ye çift tıklayın.

4. IP Adresleri sekmesine geçin. IPAll bölümünü görmek için aşağı kaydırın. TCP Bağlantı Noktasını not edin. Varsayılan değer 1433'dür.

5. Bu bağlantı noktası üzerinden gelen trafiğe izin vermek için makinede Windows Güvenlik Duvarı için bir kural oluşturun.

6. Bağlantıyı doğrulama: Tam adı kullanarak SQL Server için Amazon RDS'ye bağlanmak için farklı bir makineden SQL Server Management Studio için Amazon RDS kullanın. "<machine>.<domain>.corp.<company>.com,1433" bunun bir örneğidir.

SQL Server için Amazon RDS sürümünü yükseltme

SQL Server için Amazon RDS sürümünü yükseltmek için Bağlı hizmeti düzenle sayfasında, Sürüm altında Önerilen'i seçin ve önerilen sürüm için Bağlı hizmet özelliklerine başvurarak bağlı hizmeti yapılandırın.

Önerilen ve eski sürüm arasındaki farklar

Aşağıdaki tabloda, önerilen ve eski sürümü kullanan SQL Server için Amazon RDS arasındaki farklar gösterilmektedir.

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.