Копирование и преобразование данных в Базе данных Azure для MySQL с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описано, как использовать действие Copy в конвейерах Фабрики данных Azure или Synapse Analytics для копирования данных в Базу данных Azure для MySQL и из нее, а также как использовать Поток данных для преобразования данных в Базе данных Azure для MySQL. Дополнительные сведения см. в вводных статьях о Фабрике данных Azure и Synapse Analytics.

Этот соединитель специально создан для следующих сценариев:

• Отдельный сервер Базы данных Azure для MySQL
• База данных Azure для MySQL (гибкий сервер)

Чтобы скопировать данные из универсальной базы данных MySQL, расположенной в локальной среде или в облаке, используйте соединитель MySQL.

Необходимые компоненты

В контексте этого краткого руководства в качестве отправной точки используются следующие ресурсы и конфигурация:

• Существующая база данных Azure для отдельного сервера MySQL или гибкого сервера MySQL с общедоступным доступом или частной конечной точкой.
• Выберите Разрешить общий доступ из любой службы Azure в Azure к этому серверу на странице сетевых параметров сервера MySQL. Это позволит использовать студию Фабрики данных.

Поддерживаемые возможности

Этот соединитель Базы данных Azure для MySQL поддерживается для следующих возможностей.

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы, относящейся к Базе данных Azure для MySQL, с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать с помощью пользовательского интерфейса портала Azure связанную службу, относящуюся к Базе данных Azure для MySQL.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск MySQL и выберите соединитель Базы данных Azure для MySQL.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, характерных для соединителя базы данных Azure для MySQL.

Свойства связанной службы

Для связанной службы базы данных Azure для MySQL поддерживаются следующие свойства:

Типичная строка подключения — Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. Дополнительные свойства, которые вы можете установить в вашем случае:

Пример:

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. Этот раздел содержит список свойств, поддерживаемых набором данных базы данных Azure для MySQL.

Чтобы скопировать данные из базы данных Azure для MySQL, задайте для свойства type набора данных значение AzureMySqlTable. Поддерживаются следующие свойства:

Пример

{
    "name": "AzureMySQLDataset",
    "properties": {
        "type": "AzureMySqlTable",
        "linkedServiceName": {
            "referenceName": "<Azure MySQL linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. Этот раздел содержит список свойств, поддерживаемых источником и приемником Базы данных Azure для MySQL.

База данных Azure для MySQL в качестве источника

Для копирования данных из Базы данных Azure для MySQL в разделе source для действия Copy поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureMySqlSource",
                "query": "<custom query e.g. SELECT * FROM MyTable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

База данных Azure для MySQL в качестве приемника

Для копирования данных в Базу данных Azure для MySQL в разделе sink для действия Copy поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyToAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure MySQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureMySqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeBatchSize": 100000
            }
        }
    }
]

Свойства потока данных для сопоставления

При преобразовании данных в потоке данных для сопоставления можно выполнять операции чтения и записи в таблицах из Базы данных Azure для MySQL. Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления. Можно выбрать использование набора данных Базы данных Azure для MySQL или встроенного набора данных в качестве типа источника и приемника.

Преобразование источника

В таблице ниже перечислены свойства, поддерживаемые источником Базы данных Azure для MySQL. Изменить эти свойства можно на вкладке Source options (Параметры источника).

Пример сценария источника Базы данных Azure для MySQL

При использовании Базы данных Azure для MySQL в качестве типа источника связанным сценарием потока данных будет:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzureMySQLSource

Преобразование приемника

В таблице ниже перечислены свойства, поддерживаемые приемником Базы данных Azure для MySQL. Эти свойства можно изменить на вкладке Параметры приемника.

• Включить добавочное извлечение. Используйте этот параметр, чтобы ADF обрабатывала только строки, которые изменились с момента последнего выполнения конвейера.

• Добавочный столбец. При использовании функции добавочного извлечения необходимо выбрать дату и время или числовый столбец, который вы хотите использовать в качестве подложки в исходной таблице.

• Начать чтение с самого начала. При установке этого параметра вместе с добавочным извлечением ADF будет считывать все строки при первом выполнении конвейера с включенным добавочным извлечением.

Пример сценария приемника Базы данных Azure для MySQL

При использовании Базы данных Azure для MySQL в качестве типа приемника связанным сценарием потока данных будет:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureMySQLSink

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Сопоставление типов данных для базы данных Azure для MySQL

При копировании данных из базы данных Azure для MySQL следующие сопоставления используются из типов данных MySQL в промежуточные типы данных, используемые службой внутренним образом. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и типы данных для приемника, см. в статье Сопоставление схем в действии копирования.

Связанный контент

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.