Начало работы с Azure Synapse Link для SQL Server 2022

  • Статья

В этой статье описано пошаговое руководство по началу работы с Azure Synapse Link для SQL Server 2022. Общие сведения см. в статье Azure Synapse Link для SQL Server 2022.

Необходимые компоненты

  • Перед началом работы см. статью "Создание новой рабочей области Azure Synapse", чтобы получить Azure Synapse Link для SQL. В этом руководстве описано, как создать Azure Synapse Link для SQL в общедоступной сети. В этой статье предполагается, что вы выбрали отключить управляемую виртуальную сеть и разрешить подключения со всех IP-адресов при создании рабочей области Azure Synapse. Если вы хотите настроить Azure Synapse Link для SQL Server 2022 с сетевой безопасностью, см. также статью "Настройка Azure Synapse Link для SQL Server 2022 с сетевой безопасностью".

  • Создайте учетную запись Azure Data Lake Storage 2-го поколения, которая отличается от учетной записи, создаваемой с помощью рабочей области Azure Synapse Analytics. Эта учетная запись будет использоваться в качестве целевой зоны для этапа данных, отправленных SQL Server 2022. Дополнительные сведения см. в статье "Создание учетной записи Azure Data Lake Storage 2-го поколения".

  • Убедитесь, что база данных SQL Server 2022 создана главным ключом.

    CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<a new password>'

Создание целевого выделенного пула AZURE Synapse SQL

  1. Откройте Synapse Studio.

  2. Откройте центр управления, перейдите в пулы SQL и нажмите кнопку "Создать".

    Снимок экрана: создание выделенного пула Azure Synapse SQL из Synapse Studio.

  3. Введите уникальное имя пула, используйте параметры по умолчанию и создайте выделенный пул.

  4. В центре данных в разделе "Рабочая область" новая база данных SQL Azure Synapse должна быть указана в разделе "Базы данных". В новой базе данных SQL Azure Synapse выберите новый скрипт SQL, а затем выберите пустой скрипт.

    Снимок экрана: создание пустого скрипта SQL из Synapse Studio.

  5. Чтобы создать главный ключ для целевой базы данных SQL Azure Synapse, вставьте следующий скрипт и нажмите кнопку "Выполнить".

    CREATE MASTER KEY

Создание связанной службы для исходной базы данных SQL Server 2022

  1. Нажмите кнопку "Управление концентратором" и выберите "Связанные службы".

    Перейдите к связанным службам из Synapse Studio.

  2. Нажмите кнопку "Создать", выберите SQL Server и нажмите кнопку "Продолжить".

    Снимок экрана: создание связанной службы SQL Server.

  3. В поле "Имя" введите имя связанной службы SQL Server 2022.

    Снимок экрана, на котором показано, где нужно ввести имена серверов и баз данных для подключения.

    Примечание.

    Поддерживается только связанная служба в устаревшей версии.

  4. При выборе среды выполнения интеграции выберите локальную среду выполнения интеграции. Если в рабочей области Azure Synapse нет доступной локальной среды выполнения интеграции, создайте ее.

  5. (Необязательно) Чтобы создать локальную среду выполнения интеграции для подключения к исходному SQL Server 2022, выполните следующие действия:

    a. Выберите Создать.

    Снимок экрана: создание локальной среды выполнения интеграции.

    b. Выберите "Локальный" и нажмите кнопку "Продолжить".

    c. В поле "Имя" введите имя локальной среды выполнения интеграции и нажмите кнопку "Создать".

    Снимок экрана, на котором показано, где ввести имя локальной среды выполнения интеграции.

    Локальная среда выполнения интеграции теперь доступна в рабочей области Azure Synapse.

    d. Следуйте инструкциям, чтобы скачать, установить и использовать ключ для регистрации агента среды выполнения интеграции на компьютере Windows, который имеет прямой доступ к экземпляру SQL Server 2022. Дополнительные сведения см. в статье "Создание локальной среды выполнения интеграции" Фабрика данных Azure и Azure Synapse.

    Снимок экрана: место загрузки, установки и регистрации среды выполнения интеграции.

    д) Выберите Закрыть.

    Получение состояния среды выполнения интеграции

    f. Перейдите на страницу мониторинга и убедитесь, что локальная среда выполнения интеграции запущена, выбрав "Обновить ", чтобы получить последнее состояние среды выполнения интеграции.

  6. Продолжайте вводить оставшиеся сведения для связанной службы, включая имя SQL Server, имя базы данных, тип проверки подлинности, имя пользователя и пароль для подключения к экземпляру SQL Server 2022.

    Примечание.

    Для этого подключения рекомендуется включить шифрование. Для этого добавьте Encrypt свойство со значением true дополнительного свойства подключения. Также задайте Trust Server Certificate для свойства true значение или falseв зависимости от конфигурации сервера. Дополнительные сведения см. в разделе "Включение зашифрованных подключений к ядру СУБД".

  7. Выберите "Проверить подключение", чтобы убедиться, что локальная среда выполнения интеграции может получить доступ к экземпляру SQL Server.

  8. Нажмите кнопку создания.

    Новая связанная служба будет подключена к экземпляру SQL Server 2022, доступному в рабочей области.

    Снимок экрана, на котором показано, где можно просмотреть подключение связанной службы.

    Примечание.

    Связанная служба, созданная здесь, не предназначена для Azure Synapse Link для SQL. Его можно использовать любым пользователем рабочей области, у которого есть соответствующие разрешения. Получите время, чтобы понять область действия пользователей, которые могут иметь доступ к этой связанной службе и ее учетным данным. Дополнительные сведения о разрешениях в рабочих областях Azure Synapse см. в обзоре управления доступом к рабочей области Azure Synapse — Azure Synapse Analytics.

Создание связанной службы для подключения к целевой зоне на Azure Data Lake Storage 2-го поколения

  1. Перейдите к созданной учетной записи Azure Data Lake Storage 2-го поколения, выберите контроль доступа (IAM), нажмите кнопку "Добавить", а затем выберите "Добавить назначение ролей".

    Снимок экрана: панель

  2. Выберите участник данных BLOB-объектов хранилища для выбранной роли, выберите управляемое удостоверение , а затем в разделе "Участники" выберите рабочую область Azure Synapse. Добавление этого назначения роли может занять несколько минут.

    Снимок экрана: добавление назначения ролей.

    Примечание.

    Убедитесь, что вы предоставили разрешения на управляемое удостоверение рабочей области Azure Synapse учетной записи хранения Azure Data Lake Storage 2-го поколения, которая используется в качестве целевой зоны. Дополнительные сведения см. в статье Предоставление разрешений управляемому удостоверению в рабочей области Azure Synapse — Azure Synapse Analytics.

  3. Откройте центр управления в рабочей области Azure Synapse и перейдите в связанные службы.

    Снимок экрана, на котором показано, как перейти к связанной службе.

  4. Нажмите кнопку "Создать", а затем выберите Azure Data Lake Storage 2-го поколения.

  5. Выполните следующие действия.

    a. В поле "Имя" введите имя связанной службы для целевой зоны.

    b. Для метода проверки подлинности введите управляемое удостоверение.

    c. Выберите имя учетной записи хранения, которая уже создана.

  6. Выберите "Проверить подключение", чтобы убедиться, что вы можете получить доступ к учетной записи Azure Data Lake Storage 2-го поколения.

  7. Нажмите кнопку создания.

    Новая связанная служба будет подключена к учетной записи Azure Data Lake Storage 2-го поколения.

    Снимок экрана: новая связанная служба для Azure Data Lake Storage 2-го поколения.

    Примечание.

    Связанная служба, созданная здесь, не предназначена для Azure Synapse Link для SQL. Его можно использовать любым пользователем рабочей области, у которого есть соответствующие разрешения. Получите время, чтобы понять область действия пользователей, которые могут иметь доступ к этой связанной службе и ее учетным данным. Дополнительные сведения о разрешениях в рабочих областях Azure Synapse см. в обзоре управления доступом к рабочей области Azure Synapse — Azure Synapse Analytics.

  1. В Synapse Studio откройте центр интеграции .

  2. На панели "Интеграция" выберите знак плюса (+), а затем выберите "Связать подключение".

    Снимок экрана: кнопка

  3. Введите исходную базу данных:

    a. Для типа источника выберите SQL Server.

    B. Для исходной связанной службы выберите службу, которая подключается к экземпляру SQL Server 2022.

    c. Для имен таблиц выберите имена из экземпляра SQL Server для репликации в пул SQL Azure Synapse SQL.

    d. Выберите Продолжить.

    Снимок экрана, на котором показано, где ввести сведения о исходной базе данных.

  4. В выделенных пулах SQL Synapse выберите имя целевой базы данных.

  5. Выберите Продолжить.

  6. Введите параметры подключения ссылки:

    a. В поле "Ссылка" введите имя подключения.

    b. В поле "Число ядер" для вычисления соединения связи введите число ядер. С помощью этих ядер данные будут перемещаться из источника в целевой объект. Рекомендуется начать с небольшого числа и увеличить количество по мере необходимости.

    c. Для связанной службы выберите службу, которая будет подключаться к целевой зоне.

    d. Введите имя контейнера Azure Data Lake Storage 2-го поколения или имя контейнера или папки в качестве пути к папке целевой зоны для промежуточного хранения данных. Сначала необходимо создать контейнер.

    д) Введите Azure Data Lake Storage 2-го поколения маркер подписанного URL-адреса. Маркер необходим для доступа к целевой зоне канала изменений SQL. Если у вашей учетной записи Azure Data Lake Storage 2-го поколения нет маркера подписанного URL-адреса, его можно создать, выбрав "Создать маркер".

    f. Нажмите ОК.

    Снимок экрана, на котором показано, где ввести параметры подключения ссылки.

    Примечание.

    Количество ядер, которые вы выбираете здесь, выделяется службе приема для обработки загрузки и изменения данных. Они не влияют на конференц-связь выделенного пула SQL. Если вы не можете подключиться к целевой зоне с помощью созданного маркера SAS из-за ограничений из хранилища, можно также попытаться использовать маркер SAS делегирования для подключения к целевой зоне.

  7. При открытии нового подключения Azure Synapse Link теперь можно обновить имя целевой таблицы, тип распространения и тип структуры.

    Примечание.

    • Рекомендуется использовать таблицу кучи для типа структуры, если данные содержат varchar(max), nvarchar(max) и varbinary(max).
    • Убедитесь, что схема в выделенном пуле Azure Synapse SQL уже создана перед началом подключения к ссылке. Azure Synapse Link для SQL автоматически создает таблицы под схемой в пуле SQL Azure Synapse.

  8. В раскрывающемся списке "Действие для существующей целевой таблицы" выберите вариант, наиболее подходящий для вашего сценария, если таблица уже существует в назначении.

    • Удаление и повторное создание таблицы: существующая целевая таблица будет удалена и воссоздана.
    • Сбой непустой таблицы: если целевая таблица содержит данные, соединение связи для данной таблицы завершится ошибкой.
    • Слияние с существующими данными: данные будут объединены в существующую таблицу.

    Примечание.

    Если вы хотите объединить несколько источников в одно место назначения, выбрав "Объединить с существующими данными", убедитесь, что источники содержат разные данные, чтобы избежать конфликтов и непредвиденных результатов.

  9. Укажите, следует ли включить согласованность транзакций в таблицах.

    • Если этот параметр включен, транзакция по нескольким таблицам в исходной базе данных всегда реплицируется в целевую базу данных в одной транзакции. Но это приведет к повышению затрат на общую пропускную способность репликации.
    • Если этот параметр отключен, каждая таблица будет реплицировать изменения в место назначения в отдельной транзакции, используя параллельные подключения, что повышает общую пропускную способность репликации.

    Примечание.

    Если вы хотите включить согласованность транзакций в таблицах, убедитесь, что в выделенном пуле SQL Synapse заданы уровни изоляции транзакций READ COMMITTED SNAPSHOT ISOLATION.

  10. Выберите команду Опубликовать все, чтобы сохранить новое подключение по каналу к службе.

Нажмите кнопку "Пуск", а затем подождите несколько минут, пока данные будут реплицированы.

Примечание.

Соединение со ссылкой начинается с полной начальной загрузки из исходной базы данных, а затем добавочных каналов изменений с помощью функции канала изменений в SQL Server 2022. Дополнительные сведения см. в статье Канал изменений Azure Synapse Link для SQL.

Вы можете отслеживать состояние подключения Azure Synapse Link, просмотреть, какие таблицы изначально копируются (моментальные снимки) и увидеть, какие таблицы находятся в режиме непрерывной репликации (репликация).

  1. Перейдите в центр мониторинга рабочей области Azure Synapse и выберите "Связать подключения".

  2. Откройте запущенное подключение по ссылке и просмотрите состояние каждой таблицы.

  3. Выберите команду Обновить в представлении мониторинга для подключения, чтобы отслеживать обновления состояния.

    Мониторинг подключения по каналу.

Запрос реплицированных данных

Подождите несколько минут, а затем убедитесь, что целевая база данных имеет ожидаемую таблицу и данные. Просмотрите данные, доступные в хранилище назначения выделенного пула SQL Azure Synapse. Теперь вы можете изучить реплицированные таблицы в целевом выделенном пуле SQL Azure Synapse.

  1. В центре данных в разделе "Рабочая область" откройте целевую базу данных.

  2. В разделе "Таблицы" щелкните правой кнопкой мыши одну из целевых таблиц.

  3. Выберите новый скрипт SQL и выберите верхние 100 строк.

  4. Выполните этот запрос, чтобы просмотреть реплицированные данные в целевом пуле Azure Synapse SQL.

  5. Вы также можете запросить целевую базу данных с помощью Microsoft SQL Server Management Studio (SSMS) или других средств. Используйте выделенную конечную точку SQL для рабочей области в качестве имени сервера. Обычно это имя <workspacename>.sql.azuresynapse.net. Добавьте Database=databasename@poolname в качестве дополнительного параметра строка подключения при подключении через SSMS или другие средства.

Чтобы добавить или удалить таблицы в Synapse Studio, сделайте следующее:

  1. В рабочей области Azure Synapse откройте центр интеграции .

  2. Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.

  3. Выполните одно из приведенных ниже действий.

    • Чтобы добавить таблицу, выберите "Создать таблицу".
    • Чтобы удалить таблицу, щелкните значок корзины рядом с ним.

    Снимок экрана: панель подключения ссылки для добавления или удаления таблиц.

    Примечание.

    Вы можете добавлять или удалять таблицы при наличии активного подключения по каналу.

Чтобы остановить подключение Azure Synapse Link в Synapse Studio, сделайте следующее:

  1. В рабочей области Azure Synapse откройте центр интеграции .

  2. Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.

  3. Нажмите кнопку Остановить, чтобы остановить подключение по каналу. Репликация данных будет прекращена.

    Снимок экрана: панель остановки подключения по ссылке.

    Примечание.

    • Если перезапустить соединение после остановки, он начнется с полной начальной загрузки из исходной базы данных, а добавочные каналы изменений будут следовать.
    • Если вы выберете "Объединить с существующими данными" в качестве действия в существующей целевой таблице, при остановке подключения к ссылке и перезапуске ее удаление записей в источнике в течение этого периода не будет удалено в назначении. В таком случае, чтобы обеспечить согласованность данных, рекомендуется использовать приостановку и возобновление вместо остановки и запуска или очистку целевых таблиц перед перезапуском соединения связи.

Смена маркера подписанного URL-адреса для целевой зоны

Маркер подписанного URL-адреса необходим для веб-канала изменений SQL, чтобы получить доступ к целевой зоне и отправить данные там. Он имеет дату окончания срока действия, поэтому необходимо повернуть маркер до этой даты. В противном случае Azure Synapse Link не сможет реплицировать данные из экземпляра SQL Server в выделенный пул Azure Synapse SQL.

  1. В рабочей области Azure Synapse откройте центр интеграции .

  2. Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.

  3. Выберите Сменить маркер.

    Снимок экрана, на котором показано, где повернуть маркер подписанного URL-адреса.

  4. Чтобы получить новый маркер подписанного URL-адреса, нажмите кнопку "Создать автоматически " или "Ввод" вручную, а затем нажмите кнопку "ОК".

    Снимок экрана: получение нового маркера подписанного URL-адреса.

    Примечание.

    Если вы не можете подключиться к целевой зоне с помощью созданного маркера SAS из-за ограничений из хранилища, можно также попытаться использовать маркер SAS делегирования для подключения к целевой зоне.

Следующие шаги

Если вы используете базу данных, отличной от SQL Server 2022, см. следующие статьи: