Копирование данных в табличное хранилище Azure и обратно с помощью Фабрики данных Azure и Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия копирования в конвейерах Фабрики данных Azure и Azure Synapse Analytics копировать данные в табличное хранилище Azure и обратно. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Этот соединитель Хранилища таблиц Azure поддерживается для следующих возможностей.

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Можно копировать данные из любого поддерживаемого исходного хранилища данных в службу "Хранилище таблиц". Вы можете скопировать данные из службы "Хранилище таблиц" в любое хранилище данных, поддерживаемое в качестве приемника. Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

В частности, соединитель таблиц Azure поддерживает копирование данных с использованием проверки подлинности на основе ключа учетной записи и подписанного URL-адреса (SAS) уровня службы.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы хранилища таблиц Azure с помощью пользовательского интерфейса

Следуйте приведенным ниже инструкциям, чтобы создать связанную службу хранилища таблиц Azure с помощью пользовательского интерфейса портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите таблицу Azure и выберите соединитель хранилища таблиц Azure.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах детально описываются свойства, которые используются для определения сущностей, характерных для хранилища таблиц Azure.

Свойства связанной службы

Этот соединитель хранилища таблиц Azure поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах.

• Проверка подлинности на основе ключа учетной записи
• Аутентификация SAS
• Проверка подлинности с помощью назначенного системой управляемого удостоверения
• Проверка подлинности с помощью назначаемого пользователем управляемого удостоверения

Проверка подлинности на основе ключа учетной записи

Вы можете создать связанную службу хранилища Azure с помощью ключа учетной записи. Она предоставляет службе глобальный доступ к хранилищу. Поддерживаются следующие свойства.

Пример:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: ключ учетной записи хранения в Azure Key Vault

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Аутентификация SAS

Вы также можете создать связанную службу хранилища с помощью подписанного URL-адреса. В этом случае служба получает ограниченный или привязанный ко времени доступ ко всем или отдельным ресурсам в хранилище.

Подпись общего доступа обеспечивает делегированный доступ к ресурсам в вашей учетной записи хранения. Вы можете использовать ее, чтобы предоставить ограниченное право на работу с объектами в вашей учетной записи хранения на определенный период и с определенным набором разрешений. Не нужно предоставлять совместный доступ к ключам доступа для учетной записи. Подписанный URL-адрес — это универсальный код ресурса (URI), который в своих параметрах запроса содержит все сведения, необходимые для доступа к ресурсу хранилища с прохождением аутентификации. Для доступа к ресурсам хранилища с помощью подписанного URL-адреса клиенту достаточно передать SAS в соответствующий конструктор или метод. Дополнительные сведения о подписанном URL-адресе см. в статье Использование подписанных URL-адресов (SAS).

При использовании аутентификации SAS поддерживаются следующие свойства.

Пример:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<account>.table.core.windows.net/<table>?sv=<storage version>&amp;st=<start time>&amp;se=<expire time>&amp;sr=<resource>&amp;sp=<permissions>&amp;sip=<ip range>&amp;spr=<protocol>&amp;sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: ключ учетной записи хранения в Azure Key Vault

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<account>.table.core.windows.net/<table>>"
            },
            "sasToken": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

При создании URI подписанного URL-адреса необходимо учитывать следующее.

• Задайте для объектов соответствующие разрешения на чтение или запись. Они устанавливаются с учетом назначения связанной службы (чтение, запись, чтение и запись).
• Задайте время окончания срока действия соответствующим образом. Убедитесь, что срок действия доступа к объектам хранилища не истекает в период активности конвейера.
• В зависимости от потребности URI следует создать на нужном уровне таблицы.

Проверка подлинности с помощью назначенного системой управляемого удостоверения

Фабрику данных Azure или конвейер Synapse можно связать с назначаемым системой управляемым удостоверением для ресурсов Azure, которое представляет этот ресурс для проверки подлинности в других службах Azure. Это управляемое удостоверение, назначаемое системой, можно использовать для проверки подлинности хранилища таблиц Azure. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Управляемые удостоверения для ресурсов Azure.

Чтобы использовать проверку подлинности управляемого удостоверения, назначаемого системой, выполните следующие действия.

1. Получите сведения о назначаемом системой управляемом удостоверении, скопировав значение идентификатора объекта назначаемого системой управляемого удостоверения, созданного вместе с рабочей областью Фабрики данных Azure или Synapse.

2. Предоставьте управляемому удостоверению разрешение в хранилище таблиц Azure. Дополнительные сведения о ролях см. в этой статье.

   • В качестве источника в элементе управления доступом (IAM) предоставьте по крайней мере роль чтения данных таблицы хранилища.
   • В качестве приемника в элементе управления доступом (IAM) предоставьте по крайней мере роль участника данных таблицы хранилища.

Эти свойства поддерживаются для связанной службы хранилища таблиц Azure:

Пример:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.table.core.windows.net/"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Проверка подлинности с помощью назначаемого пользователем управляемого удостоверения

Фабрике данных может быть назначено одно или несколько управляемых удостоверений, назначаемых пользователем. Это управляемое удостоверение, назначаемое пользователем, можно использовать для проверки подлинности хранилища таблиц Azure, которая позволяет получать доступ к данным и копировать данные из хранилища таблиц Azure или в нее. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Управляемые удостоверения для ресурсов Azure.

Для использования проверки подлинности с помощью управляемого удостоверения, назначаемого пользователем, выполните приведенные ниже действия.

1. Создайте одно или несколько управляемых удостоверений, назначаемых пользователем, и предоставьте разрешение в хранилище таблиц Azure. Дополнительные сведения о ролях см. в этой статье.

   • В качестве источника в элементе управления доступом (IAM) предоставьте по крайней мере роль чтения данных таблицы хранилища.
   • В качестве приемника в элементе управления доступом (IAM) предоставьте по крайней мере роль участника данных таблицы хранилища.

2. Присвойте одно или несколько управляемых удостоверений, назначаемых пользователем, фабрике данных и создайте учетные данные для каждого подобного удостоверения.

Эти свойства поддерживаются для связанной службы хранилища таблиц Azure:

Пример:

{
    "name": "AzureTableStorageLinkedService",
    "properties": {
        "type": "AzureTableStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.table.core.windows.net/",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. Этот раздел содержит список свойств, поддерживаемых набором данных таблицы Azure.

Чтобы скопировать данные в таблицу Azure или обратно, установите тип свойства набора данных AzureTable. Поддерживаются следующие свойства.

Пример:

{
    "name": "AzureTableDataset",
    "properties":
    {
        "type": "AzureTable",
        "typeProperties": {
            "tableName": "MyTable"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Table storage linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Определение схемы службой

Для хранилищ данных без схемы, таких как таблица Azure, служба определяет схему одним из следующих способов.

• Если указать сопоставление столбцов в действии копирования, служба будет использовать список столбцов на стороне источника для получения данных. В этом случае, если строка не содержит значение столбца, ему присваивается значение NULL.
• Если сопоставление столбцов не указано в действии копирования, то служба определяет схему, используя первую строку данных. В этом случае, если первая строка не содержит полную схему (например, некоторые столбцы содержат значение NULL), после операции копирования некоторые столбцы будут отсутствовать.

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. Этот раздел содержит список свойств, поддерживаемых источником и приемником таблицы Azure.

Таблица Azure в качестве типа источника

Чтобы копировать данные из таблицы Azure, установите тип источника AzureTableSource в действии копирования. В разделе source действия копирования поддерживаются следующие свойства:

Примеры azureTableSourceQuery

Если нужно отфильтровать данные по столбцу даты и времени, см. следующий пример:

"azureTableSourceQuery": "LastModifiedTime gt datetime'2017-10-01T00:00:00' and LastModifiedTime le datetime'2017-10-02T00:00:00'"

Если нужно отфильтровать данные по столбцу строкового типа, см. следующий пример:

"azureTableSourceQuery": "LastModifiedTime ge '201710010000_0000' and LastModifiedTime le '201710010000_9999'"

При использовании параметра конвейера приведите значение даты и времени в правильный формат в соответствии с предыдущими примерами.

Таблица Azure в качестве типа приемника

Чтобы копировать данные в таблицу Azure, установите тип приемника AzureTableSink в действии копирования. В разделе sink действия Copy поддерживаются следующие свойства.

Пример:

"activities":[
    {
        "name": "CopyToAzureTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureTableSink",
                "azureTablePartitionKeyName": "<column name>",
                "azureTableRowKeyName": "<column name>"
            }
        }
    }
]

azureTablePartitionKeyName

Чтобы вы могли использовать целевой столбец как azureTablePartitionKeyName, необходимо сопоставить исходный столбец с целевым столбцом с помощью свойства translator.

В следующем примере исходный столбец DivisionID сопоставляется с целевым столбцом: DivisionID.

"translator": {
    "type": "TabularTranslator",
    "columnMappings": "DivisionID: DivisionID, FirstName: FirstName, LastName: LastName"
}

DivisionID указывается в качестве ключа раздела.

"sink": {
    "type": "AzureTableSink",
    "azureTablePartitionKeyName": "DivisionID"
}

Сопоставление типов данных для таблиц Azure

При копировании данных в таблицу Azure и из нее используются следующие сопоставления типов данных таблицы Azure с промежуточными типами данных службы. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и типы данных для приемника, см. в статье Сопоставление схем в действии копирования.

При перемещении данных в таблицу Azure или из нее выполняется преобразование типов OData таблиц Azure в тип .NET (и наоборот) на основе указанных ниже сопоставлений, определенных таблицей Azure.

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.