Azure Data Factory veya Synapse Analytics kullanarak Azure Veri Gezgini'a veya Azure'dan veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede Azure Data Factory ve Synapse Analytics işlem hatlarındaki kopyalama etkinliğini kullanarak Azure Veri Gezgini'a veya Azure'dan veri kopyalama işleminin nasıl kullanılacağı açıklanır. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

Bu Azure Veri Gezgini bağlayıcısı aşağıdaki özellikler için desteklenir:

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Desteklenen herhangi bir kaynak veri deposundaki verileri Azure Veri Gezgini'a kopyalayabilirsiniz. Ayrıca Azure Veri Gezgini'dan desteklenen herhangi bir havuz veri deposuna da veri kopyalayabilirsiniz. Kopyalama etkinliğinin kaynak veya havuz olarak desteklediği veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Azure Veri Gezgini bağlayıcısı ile aşağıdakileri yapabilirsiniz:

• Hizmet sorumlusuyla Microsoft Entra uygulama belirteci kimlik doğrulamayı kullanarak verileri kopyalayın.
• Kaynak olarak, KQL (Kusto) sorgusu kullanarak verileri alın.
• Havuz olarak, hedef tabloya veri ekleme.

Başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Azure Veri Gezgini bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Azure Veri Gezgini bağlı hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   • Azure Data Factory
   • Azure Synapse

   

2. Gezgin'i arayın ve Azure Veri Gezgini (Kusto) bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Azure Veri Gezgini bağlayıcısına özgü varlıkları tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Azure Veri Gezgini bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:

• Hizmet sorumlusu kimlik doğrulaması
• Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması
• Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için, bir hizmet sorumlusu almak ve izinler vermek için şu adımları izleyin:

1. Bir uygulamayı Microsoft kimlik platformu kaydedin. Nasıl yapılacağını öğrenmek için bkz. Hızlı Başlangıç: uygulamayı Microsoft kimlik platformu kaydetme. Bağlı hizmeti tanımlamak için kullandığınız şu değerleri not edin:

   • Uygulama Kimliği
   • Uygulama anahtarı
   • Kiracı kimliği

2. Hizmet sorumlusuna Azure Veri Gezgini'da doğru izinleri verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza en azından Veritabanı görüntüleyici rolü verin
   • Havuz olarak veritabanınıza en azından Veritabanı kullanıcı rolü verin

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz . Azure kaynakları için yönetilen kimlikler.

Sistem tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyerek izinler verin:

1. Fabrikanız veya Synapse çalışma alanınızla birlikte oluşturulan yönetilen kimlik nesne kimliğinin değerini kopyalayarak yönetilen kimlik bilgilerini alın.

2. Yönetilen kimliğe Azure Veri Gezgini'de doğru izinleri verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza Veritabanı görüntüleyici rolü verin.
   • Havuz olarak Veritabanı alıcısı ve Veritabanı görüntüleyicisi rollerini veritabanınıza verin.

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Örnek: sistem tarafından atanan yönetilen kimlik kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz. Azure kaynakları için yönetilen kimlikler

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyin:

1. Azure Veri Gezgini'de kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve izin verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza en azından Veritabanı görüntüleyici rolü verin
   • Havuz olarak veritabanınıza en azından Veritabanı alma rolü verin

2. Veri fabrikanıza veya Synapse çalışma alanınıza kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik atayın ve kullanıcı tarafından atanan her bir yönetilen kimlik için kimlik bilgileri oluşturun.

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Örnek: kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . Veri kümeleri. Bu bölümde Azure Veri Gezgini veri kümesinin desteklediği özellikler listelenir.

Verileri Azure Veri Gezgini kopyalamak için veri kümesinin tür özelliğini AzureDataExplorerTable olarak ayarlayın.

Aşağıdaki özellikler desteklenir:

Veri kümesi özellikleri örneği:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . İşlem hatları ve etkinlikler. Bu bölümde, Azure Veri Gezgini kaynaklarının ve havuzlarının desteklediği özelliklerin listesi sağlanır.

Kaynak olarak Azure Veri Gezgini

Azure Veri Gezgini'dan veri kopyalamak için Kopyalama etkinliği kaynağındaki tür özelliğini AzureDataExplorerSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Havuz olarak Azure Veri Gezgini

Verileri Azure Veri Gezgini kopyalamak için kopyalama etkinliği havuzundaki type özelliğini AzureDataExplorerSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Eşleme veri akışı özellikleri

Eşleme veri akışındaki verileri dönüştürürken, Azure Veri Gezgini'da tablolardan okuyup tablolara yazabilirsiniz. Daha fazla bilgi için bkz . Eşleme veri akışlarında kaynak dönüştürme ve havuz dönüşümü . Kaynak ve havuz türü olarak Azure Veri Gezgini veri kümesini veya satır içi veri kümesini kullanmayı seçebilirsiniz.

Kaynak dönüştürme

Aşağıdaki tabloda Azure Veri Gezgini kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Azure Veri Gezgini kaynak betiği örnekleri

Kaynak türü olarak Azure Veri Gezgini veri kümesini kullandığınızda, ilişkili veri akışı betiği şöyledir:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Satır içi veri kümesi kullanıyorsanız, ilişkili veri akışı betiği şu şekildedir:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Havuz dönüşümü

Aşağıdaki tabloda Azure Veri Gezgini havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz. Satır içi veri kümesini kullanırken, veri kümesi özellikleri bölümünde açıklanan özelliklerle aynı olan ek ayarlar görürsünüz.

Azure Veri Gezgini havuz betiği örnekleri

Havuz türü olarak Azure Veri Gezgini veri kümesini kullandığınızda, ilişkili veri akışı betiği şöyledir:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Satır içi veri kümesi kullanıyorsanız, ilişkili veri akışı betiği şu şekildedir:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Arama etkinliği özellikleri

Özellikler hakkında daha fazla bilgi için bkz . Arama etkinliği.

İlgili içerik

• Kopyalama etkinliğinin kaynak ve havuz olarak desteklediği veri depolarının listesi için bkz . desteklenen veri depoları.

• Azure Data Factory ve Synapse Analytics'ten Azure Veri Gezgini'a veri kopyalama hakkında daha fazla bilgi edinin.