Kopírování dat do Azure Data Exploreru nebo z Azure Data Exploreru pomocí služby Azure Data Factory nebo Synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tento článek popisuje, jak pomocí aktivity kopírování v kanálech Azure Data Factory a Synapse Analytics kopírovat data do Azure Data Exploreru nebo z Azure Data Exploreru. Vychází z článku s přehledem aktivity kopírování, který nabízí obecný přehled aktivity kopírování.

Podporované funkce

Tento konektor Azure Data Exploreru je podporovaný pro následující funkce:

(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime

Do Azure Data Exploreru můžete kopírovat data z libovolného podporovaného zdrojového úložiště dat. Data z Azure Data Exploreru můžete také zkopírovat do libovolného podporovaného úložiště dat jímky. Seznam úložišť dat, která aktivita kopírování podporuje jako zdroje nebo jímky, najdete v tabulce Podporované úložiště dat.

Pomocí konektoru Azure Data Exploreru můžete provést následující akce:

• Kopírování dat pomocí ověřování tokenu aplikace Microsoft Entra s instančním objektem
• Jako zdroj načtěte data pomocí dotazu KQL (Kusto).
• Jako jímku připojte data k cílové tabulce.

Začínáme

K provedení aktivita Copy s kanálem můžete použít jeden z následujících nástrojů nebo sad SDK:

• Nástroj pro kopírování dat
• Azure Portal
• Sada .NET SDK
• Sada Python SDK
• Azure PowerShell
• Rozhraní REST API
• Šablona Azure Resource Manageru

Vytvoření propojené služby do Azure Data Exploreru pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s Azure Data Explorerem v uživatelském rozhraní webu Azure Portal.

1. Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak klikněte na Nový:

   • Azure Data Factory
   • Azure Synapse

   

2. Vyhledejte Průzkumníka a vyberte konektor Azure Data Exploreru (Kusto).

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit specifických pro konektor Azure Data Exploreru.

Vlastnosti propojené služby

Konektor Azure Data Exploreru podporuje následující typy ověřování. Podrobnosti najdete v odpovídajících částech:

• Ověřování instančních objektů
• Ověřování spravované identity přiřazené systémem
• Ověřování spravované identity přiřazené uživatelem

Ověřování instančního objektu

Pokud chcete použít ověřování instančního objektu, získejte instanční objekt pomocí následujícího postupu a udělte oprávnění:

1. Zaregistrujte aplikaci na platformě Microsoft Identity Platform. Postup najdete v tématu Rychlý start: Registrace aplikace na platformě Microsoft Identity Platform. Poznamenejte si tyto hodnoty, které použijete k definování propojené služby:

   • ID aplikace
   • Klíč aplikace
   • ID tenanta

2. Udělte instančnímu objektu správná oprávnění v Azure Data Exploreru. Podrobné informace o rolích a oprávněních a o správě oprávnění najdete v tématu Správa databázových oprávnění Azure Data Exploreru. Obecně platí, že musíte:

   • Jako zdroj udělte databázi alespoň roli prohlížeče databáze.
   • Jako jímku udělte databázi alespoň roli uživatele databáze.

Propojená služba Azure Data Explorer podporuje následující vlastnosti:

Příklad: Použití ověřování pomocí instančního klíče

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Ověřování spravované identity přiřazené systémem

Další informace o spravovaných identitách pro prostředky Azure najdete v tématu Spravované identity pro prostředky Azure.

Pokud chcete použít ověřování spravované identity přiřazené systémem, přidělte oprávnění následujícím postupem:

1. Načtěte informace o spravované identitě zkopírováním hodnoty ID objektu spravované identity vygenerovaného společně s pracovním prostorem objektu pro vytváření nebo Synapse.

2. Udělte spravované identitě správná oprávnění v Azure Data Exploreru. Podrobné informace o rolích a oprávněních a o správě oprávnění najdete v tématu Správa databázových oprávnění Azure Data Exploreru. Obecně platí, že musíte:

   • Jako zdroj udělte vaší databázi roli Čtenář databáze.
   • Jako jímku udělte databázovému ingestoru a databázovému prohlížeči role pro vaši databázi.

Propojená služba Azure Data Explorer podporuje následující vlastnosti:

Příklad: Použití ověřování spravované identity přiřazené systémem

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Ověřování spravované identity přiřazené uživatelem

Další informace o spravovaných identitách pro prostředky Azure najdete v tématu Spravované identity pro prostředky Azure.

Pokud chcete použít ověřování spravované identity přiřazené uživatelem, postupujte takto:

1. Vytvořte jednu nebo více spravovaných identit přiřazených uživatelem a udělte oprávnění v Azure Data Exploreru. Podrobné informace o rolích a oprávněních a o správě oprávnění najdete v tématu Správa databázových oprávnění Azure Data Exploreru. Obecně platí, že musíte:

   • Jako zdroj udělte databázi alespoň roli prohlížeče databáze.
   • Jako jímku udělte databázi alespoň roli databázového ingestoru .

2. Přiřaďte jedné nebo více spravovaných identit přiřazených uživatelem k pracovnímu prostoru datové továrny nebo Synapse a vytvořte přihlašovací údaje pro každou spravovanou identitu přiřazenou uživatelem.

Propojená služba Azure Data Explorer podporuje následující vlastnosti:

Příklad: Použití ověřování spravované identity přiřazené uživatelem

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v tématu Datové sady. Tato část obsahuje seznam vlastností, které datová sada Azure Data Exploreru podporuje.

Pokud chcete kopírovat data do Azure Data Exploreru, nastavte vlastnost typu datové sady na AzureDataExplorerTable.

Podporují se následující vlastnosti:

Příklad vlastností datové sady:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Vlastnosti aktivity kopírování

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v tématu Kanály a aktivity. Tato část obsahuje seznam vlastností, které podporují zdroje a jímky Azure Data Exploreru.

Azure Data Explorer jako zdroj

Pokud chcete kopírovat data z Azure Data Exploreru, nastavte vlastnost typu ve zdroji aktivita Copy na AzureDataExplorerSource. Ve zdrojové části aktivity kopírování jsou podporovány následující vlastnosti:

Příklad:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer jako jímka

Pokud chcete kopírovat data do Azure Data Exploreru, nastavte vlastnost typu v jímce aktivity kopírování na AzureDataExplorerSink. V části jímky aktivity kopírování jsou podporovány následující vlastnosti:

Příklad:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Mapování vlastností toku dat

Při transformaci dat při mapování toku dat můžete číst a zapisovat do tabulek v Azure Data Exploreru. Další informace najdete v tématu transformace zdroje a transformace jímky v mapování toků dat. Jako typ zdroje a jímky můžete použít datovou sadu Azure Data Exploreru nebo vloženou datovou sadu .

Transformace zdroje

Následující tabulka uvádí vlastnosti podporované zdrojem Azure Data Exploreru. Tyto vlastnosti můžete upravit na kartě Možnosti zdroje.

Příklady zdrojového skriptu Azure Data Exploreru

Pokud jako typ zdroje použijete datovou sadu Azure Data Exploreru, přidružený skript toku dat:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Pokud používáte vloženou datovou sadu, přidružený skript toku dat je:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Transformace jímky

Následující tabulka uvádí vlastnosti podporované jímkou Azure Data Exploreru. Tyto vlastnosti můžete upravit na kartě Nastavení . Při použití vložené datové sady se zobrazí další nastavení, která jsou stejná jako vlastnosti popsané v části vlastností datové sady.

Příklady skriptů jímky Azure Data Exploreru

Pokud jako typ jímky použijete datovou sadu Azure Data Exploreru, přidružený skript toku dat:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Pokud používáte vloženou datovou sadu, přidružený skript toku dat je:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Vlastnosti aktivity vyhledávání

Další informace ovlastnostech

Související obsah

• Seznam úložišť dat, která aktivita kopírování podporuje jako zdroje a jímky, najdete v podporovaných úložištích dat.

• Přečtěte si další informace o kopírování dat z Azure Data Factory a Synapse Analytics do Azure Data Exploreru.