Добавление источника POSTgre База данных SQL CDC в поток событий (предварительная версия)

  • Статья

В этой статье показано, как добавить источник Postgre База данных SQL Изменение записи данных (CDC) в поток событий.

Соединитель источника отслеживания измененных данных (CDC) Postgre База данных SQL для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке событий вы можете обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Внимание

Расширенные возможности потоков событий Fabric в настоящее время находятся в предварительной версии.

Примечание.

Этот источник не поддерживается в следующих регионах емкости рабочей области: западная часть США 3, Западная Швейцария.

Необходимые компоненты

  • Доступ к рабочей области Fabric premium с разрешениями участника или более высокого уровня.

  • Зарегистрированный доступ пользователей в базе данных PostgreSQL.

  • База данных PostgreSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.

  • CDC включен в базе данных и таблицах PostgreSQL.

    Если у вас есть База данных Azure для PostgreSQL, выполните действия, описанные в следующем разделе, чтобы включить CDC. Подробные сведения см. в разделе "Логическая репликация и логическое декодирование" — База данных Azure для PostgreSQL — гибкий сервер.

    Дополнительные сведения о других базах данных PostgreSQL см. в документации по Debezium connector for PostgreSQL :: Debezium.

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Включение CDC в База данных Azure для PostgreSQL

Чтобы включить CDC в База данных Azure для PostgreSQL гибкий сервер, выполните следующие действия.

  1. На странице База данных Azure для PostgreSQL гибкого сервера в портал Azure выберите параметры сервера в меню навигации.

  2. На странице параметров сервера:

    • Задайте для wal_level логический параметр.
    • Обновите max_worker_processes до не менее 16.

    Снимок экрана: включение CDC для гибкого развертывания сервера.

  3. Сохраните изменения и перезапустите сервер.

  4. Убедитесь, что экземпляр гибкого сервера База данных Azure для PostgreSQL разрешает общедоступный сетевой трафик.

  5. Предоставьте администраторам разрешения на репликацию, выполнив следующую инструкцию SQL. Если вы хотите использовать другую учетную запись пользователя для подключения базы данных PostgreSQL для получения CDC, убедитесь, что пользователь является владельцем таблицы.

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

Добавление База данных Azure для PostgreSQL CDC в качестве источника

  1. Выберите eventstream , чтобы создать новый поток событий. Убедитесь, что включен параметр расширенных возможностей (предварительная версия ).

    Снимок экрана: создание нового потока событий.

  2. На следующем экране выберите "Добавить внешний источник".

    Снимок экрана: выбор

Настройка и подключение к База данных Azure для PostgreSQL CDC

  1. На экране выбора источника данных выберите Базу данных Azure для PostgreSQL (CDC).

    Снимок экрана: выбор базы данных PostgreSQL (CDC).

  2. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: страница

  3. В разделе "Параметры подключения" введите следующие сведения.

    • Сервер: адрес сервера базы данных PostgreSQL, например my-pgsql-server.postgres.database.azure.com.

    • База данных: имя базы данных, например my_database.

      Снимок экрана: раздел параметров подключения для соединителя базы данных Azure PostgreSQL.

  4. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения.

    2. Для типа проверки подлинности выберите "Базовый".

      Примечание.

      В настоящее время потоки событий Fabric поддерживают только обычную проверку подлинности.

    3. Введите имя пользователя и пароль для базы данных.

    4. Нажмите Подключиться.

      Снимок экрана: раздел учетных данных подключения для соединителя базы данных Azure PostgreSQL.

  5. Теперь на странице "Подключение" выполните следующие действия:

    1. Для таблицы введите имя таблицы.

    2. Для порта введите номер порта или оставьте значение по умолчанию: 5432.

    3. Выберите Далее в нижней части страницы.

      Снимок экрана: страница подключения, заполненная для соединителя базы данных Azure PostgreSQL.

  6. На экране "Рецензирование" и "Создать" просмотрите сводку и нажмите кнопку "Добавить".

    Снимок экрана: страница

Вы можете увидеть источник Postgre База данных SQL CDC, добавленный в поток событий в режиме редактирования.

Снимок экрана: источник CDC для потоковой передачи PostgreSQL DB в режиме редактирования.

Чтобы реализовать новый добавленный источник CDC базы данных PostgreSQL, выберите "Опубликовать". После выполнения этих действий источник CDC базы данных PostgreSQL доступен для визуализации в режиме реального времени.

Снимок экрана: источник CDC для потоковой передачи PostgreSQL в режиме реального времени.

Связанный контент

Другие соединители: