Добавление Postgre База данных SQL CDC в качестве источника в концентраторе реального времени (предварительная версия)

В этой статье описывается, как добавить Postgre База данных SQL Запись измененных данных (CDC) в качестве источника событий в Концентраторе реального времени Fabric.

Соединитель источника отслеживания измененных данных (CDC) Postgre База данных SQL для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.

Необходимые компоненты

• Получите доступ к рабочей области Fabric premium с разрешениями участника или выше.

• Зарегистрированный доступ пользователей в базе данных PostgreSQL.

• CDC включен в базе данных PostgreSQL.

  Если у вас есть База данных Azure для PostgreSQL, выполните действия, описанные в следующем разделе, чтобы включить CDC. Подробные сведения см. в разделе "Логические реплика" и логического декодирования ( База данных Azure для PostgreSQL — гибкий сервер.

  Дополнительные сведения о других базах данных PostgreSQL см. в документации по Debezium connector for PostgreSQL :: Debezium.

Включение CDC в База данных Azure для PostgreSQL

Чтобы включить CDC в База данных Azure для PostgreSQL, выполните следующие действия на основе типа развертывания.

Отдельный сервер База данных Azure для PostgreSQL

1. Перейдите на страницу репликации на портал Azure.

2. Измените правило реплика tion на "Логический".

   

Гибкий сервер Базы данных Azure для PostgreSQL

1. На странице База данных Azure для PostgreSQL гибкого сервера в портал Azure выберите параметры сервера в меню навигации.

2. На странице параметров сервера:

   • Задайте для wal_level логический параметр.

   • Обновите max_worker_processes до не менее 16.

     

3. Сохраните изменения и перезапустите сервер.

4. Убедитесь, что База данных Azure для PostgreSQL гибкий экземпляр сервера разрешает общедоступный сетевой трафик.

5. Предоставьте пользователю администратора разрешения реплика tion, выполнив следующую инструкцию SQL.

   ALTER ROLE <admin user> WITH REPLICATION;
   

Запуск интерфейса "Получить события"

1. Перейдите к интерфейсу аналитики в режиме реального времени в Microsoft Fabric. Выберите Microsoft Fabric на левой панели навигации и выберите аналитику в режиме реального времени.

   

2. Выберите концентратор реального времени на левой панели навигации.

   

3. На странице центра реального времени выберите +Получить события в правом верхнем углу страницы.

   

Используйте инструкции из раздела Add Postgre База данных SQL CDC в качестве исходного раздела.

Вкладка "Источники Майкрософт"

1. В центре реального времени перейдите на вкладку источников Майкрософт.

2. В раскрывающемся списке "Источник" выберите PostgreSQL (CDC).

3. Для подписки выберите подписку Azure с группой ресурсов с учетной записью Azure My База данных SQL.

4. Для группы ресурсов выберите группу ресурсов с базой данных.

5. В регионе выберите расположение, в котором находится ваша база данных.

6. Теперь переместите указатель мыши на имя источника Postgre База данных SQL CDC, который требуется подключить к концентратору реального времени в списке баз данных, и нажмите кнопку Подключение или выберите ... (многоточие) и нажмите кнопку Подключение.

   

   Чтобы настроить сведения о подключении, используйте действия из раздела "Добавление CDC базы данных Базы данных Azure MySQL" в качестве исходного раздела. Пропустите первый шаг выбора Azure MySQL DB CDC в качестве исходного типа в мастере получения событий.

Добавление База данных Azure для PostgreSQL CDC в качестве источника

1. На экране выбора источника данных выберите Базу данных Azure для PostgreSQL (CDC).

   

2. На странице Подключение выберите "Перейти к ресурсу", чтобы перейти к базе данных Azure PostgreSQL. Запишите имя сервера на странице обзора . Он находится в следующем формате: myazurepostgresqlserver.postgres.database.azure.com

   

3. На странице Подключение выберите "Создать подключение".

   

4. В разделе параметров Подключение введите следующие сведения.

   • Сервер: адрес сервера базы данных PostgreSQL, например my-pgsql-server.postgres.database.azure.com.

   • База данных: имя базы данных, например my_database.

     

5. Прокрутите вниз и в разделе учетных данных Подключение ion выполните следующие действия.

   1. В поле Подключение ion name введите имя подключения.

   2. Для типа проверки подлинности выберите "Базовый".

      Примечание.

      В настоящее время потоки событий Fabric поддерживают только обычную проверку подлинности.

   3. Введите имя пользователя и пароль для базы данных.

   4. Нажмите Подключиться.

      

6. Теперь на странице Подключение выполните следующие действия:

   1. Для таблицы введите имя таблицы.

   2. Для порта введите номер порта или оставьте значение по умолчанию: 5432.

   3. Для имени потока событий введите имя потока событий. Мастер создает поток событий с выбранным Postgre База данных SQL CDC в качестве источника.

   4. Имя потока автоматически создается путем добавления -stream к имени потока событий. Этот поток отображается на вкладке потоков данных концентратора реального времени после завершения работы мастера.

   5. Выберите Далее в нижней части страницы.

      

7. На экране "Рецензирование" и "Создать" просмотрите сводку и выберите "Создать источник".

   

Просмотр сведений о потоке данных

1. На странице "Проверка и создание" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным postgre База данных SQL CDC в качестве источника. Чтобы закрыть мастер, нажмите кнопку Закрыть в нижней части страницы.

   

2. В концентраторе реального времени перейдите на вкладку потоков данных концентратора реального времени. Обновите страницу. Вы должны увидеть поток данных, созданный для вас, как показано на следующем рисунке.

   

Связанный контент

Дополнительные сведения об использовании потоков данных см. в следующих статьях:

• Обработка потоков данных
• Анализ потоков данных
• Настройка оповещений в потоках данных