Копирование данных из Vertica с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия копирования в Фабрике данных Azure и конвейерах Azure Synapse Analytics копировать данные из Vertica. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Vertica поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Для версии 2.0 (предварительная версия) необходимо вручную установить драйвер Vertica ODBC. Для версии 1.0 служба предоставляет встроенный драйвер для включения подключения, поэтому вам не нужно вручную устанавливать драйвер.

Необходимые компоненты

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции. При использовании версии 2.0 (предварительная версия) локальная версия среды выполнения интеграции должна быть 5.44.8984.1 или более поздней.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Для версии 1.0

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ ограничен IP-адресами, утвержденными в правилах брандмауэра, можно добавить IP-адреса среды выполнения интеграции Azure в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Установите драйвер ODBC Vertica для версии 2.0 (предварительная версия)

Чтобы использовать соединитель Vertica с версией 2.0 (предварительная версия), установите драйвер Vertica ODBC на компьютере, на котором запущена локальная среда выполнения интеграции, выполнив следующие действия:

1. Скачайте настройку клиента Vertica для драйвера ODBC из клиентских драйверов | OpenText™ Vertica™. Пример настройки системы Windows:

   

2. Откройте скачанный .exe, чтобы начать процесс установки. 

   

3. Выберите драйвер ODBC в списке компонентов Vertica, а затем нажмите кнопку "Далее ", чтобы начать установку.

   

4. После успешного завершения процесса установки можно перейти к началу —> администратор источника данных ODBC, чтобы подтвердить успешную установку.

   

Начало работы

Вы можете создать конвейер с помощью операции копирования, используя пакет SDK для .NET, пакет SDK для Python, Azure PowerShell, API REST или шаблон Azure Resource Manager. Пошаговые инструкции по созданию конвейера с действием копирования см. в руководстве по действию копирования.

Создание связанной службы для Vertica с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для Vertica с помощью пользовательского интерфейса на портале Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск Vertica и выберите соединитель Vertica.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Vertica.

Свойства связанной службы

Если вы используете версию 2.0 (предварительная версия), для связанной службы Vertica поддерживаются следующие свойства:

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

При использовании версии 1.0 поддерживаются следующие свойства:

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Vertica.

Чтобы скопировать данные из Vertica, установите свойство type набора данных VerticaTable. Поддерживаются следующие свойства:

Пример

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе содержится список свойств, поддерживаемых Vertica как источником.

Vertica в качестве источника

Чтобы копировать данные из Vertica, установите тип источника VerticaSource в действии копирования. В разделе source действия копирования поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление версии Vertica

Ниже приведены шаги, которые помогут вам обновить версию Vertica:

1. Установите драйвер ODBC Vertica, выполнив действия, описанные в предварительных требованиях.
2. На странице "Изменить связанную службу" выберите 2.0 (предварительная версия) в разделе "Версия" и настройте связанную службу, указав свойства связанной службы.
3. Примените локальную среду выполнения интеграции с версией 5.44.8984.1 или более поздней. Среда выполнения интеграции Azure не поддерживается версией 2.0 (предварительная версия).

Связанный контент

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.