Добавление источника CDC База данных SQL в поток событий (предварительная версия)

В этой статье показано, как добавить источник База данных Azure для MySQL отслеживания данных в поток событий. Соединитель источника отслеживания измененных данных Azure База данных SQL My (CDC) для потоков событий Microsoft Fabric позволяет записать моментальный снимок текущих данных в базе данных База данных Azure для MySQL.

Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы. После записи изменений в потоке событий вы можете обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Необходимые компоненты

• Доступ к рабочей области Fabric premium с разрешениями участника или более высокого уровня.
• Доступ к экземпляру База данных Azure для MySQL — гибкий сервер.
• База данных MySQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.

Настройка базы данных MySQL

Соединитель использует соединитель Debezium MySQL для записи изменений в базе данных База данных Azure для MySQL. Необходимо определить пользователя MySQL с соответствующими привилегиями во всех базах данных, из которых соединитель обмена сообщениями может записывать изменения. Вы можете напрямую использовать пользователя администратора для подключения к базе данных, которая обычно имеет соответствующие привилегии, как показано ниже. или выполните приведенные ниже действия, чтобы создать нового пользователя

1. В командной строке mysql создайте пользователя MySQL:

   mysql> CREATE USER 'user'@'%' IDENTIFIED BY 'password';
   

2. Предоставьте пользователю необходимые привилегии:

   mysql> GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user'@'%';
   

3. Завершите работу с разрешениями пользователя:

   mysql> FLUSH PRIVILEGES;
   

Чтобы убедиться, что у пользователя или администратора есть необходимые привилегии, выполните приведенную ниже команду, а затем необходимо отобразить необходимые привилегии в шаге 2 выше.

SHOW GRANTS FOR user;

Дополнительные сведения о предоставлении необходимых разрешений пользователю см. в документации по Debezium connector for MySQL :: Debezium Documentation.

Включение binlog

Необходимо включить двоичное ведение журнала для репликации MySQL. Двоичные журналы записывают обновления транзакций для средств репликации для распространения изменений.

1. На странице портал Azure учетной записи База данных Azure для MySQL выберите параметры сервера в разделе "Параметры" в области навигации слева.

2. На странице параметров сервера настройте следующие свойства и нажмите кнопку "Сохранить".

   • Для binlog_row_image выберите полный.

   • Для binlog_expire_logs_seconds задайте количество секунд, ожидаемых службой до очистки файла двоичного журнала. Задайте значение, соответствующее потребностям вашей среды, например 86400.

   

Добавление базы данных Azure MySQL (CDC) в качестве источника

1. В Службе "Аналитика в режиме реального времени" выберите eventstream , чтобы создать новый поток событий. Убедитесь, что включен параметр расширенных возможностей (предварительная версия ).

   

2. На следующем экране выберите "Добавить внешний источник".

   

Настройка и подключение к базе данных Azure MySQL (CDC)

1. На экране выбора источника данных выберите базу данных Azure MySQL (CDC) в качестве источника данных.

   

2. На экране "Подключение" в разделе "Подключение" выберите "Создать подключение", чтобы создать облачное подключение.

3. Введите следующие параметры подключения и учетные данные подключения для базы данных Azure MySQL и нажмите кнопку "Подключить".

   • Сервер: адрес сервера базы данных База данных Azure для MySQL, например my-mysql-server.mysql.database.azure.com.
   • База данных: имя базы данных, например my_database.
   • Имя подключения: автоматически создано или введите новое имя для этого подключения.
   • Имя пользователя и пароль. Введите учетные данные для базы данных База данных Azure для MySQL. Обязательно введите учетную запись администратора сервера или учетную запись пользователя, созданную с необходимыми привилегиями.

   

4. Введите следующие сведения, чтобы настроить источник данных CDC базы данных Базы данных Azure MySQL, а затем нажмите кнопку "Далее".

   • Таблицы: введите список имен таблиц, разделенных запятыми. Каждое имя таблицы должно соответствовать формату <database name>.<table name>, например my_database.users.
   • Идентификатор сервера: введите уникальное значение для каждого сервера и клиента репликации в кластере MySQL. Значение по умолчанию ― 1000.
   • Порт: оставьте значение по умолчанию без изменений.

   

   Примечание.

   Задайте для каждого средства чтения разные идентификаторы сервера. Каждый клиент базы данных MySQL для чтения binlog должен иметь уникальный идентификатор, называемый идентификатором сервера. Сервер MySQL использует этот идентификатор для поддержания сетевого подключения и позиции binlog. Разные задания, совместно использующие один и тот же идентификатор сервера, могут привести к чтению из неправильной позиции binlog. Поэтому рекомендуется задать для каждого средства чтения разные идентификаторы сервера.

5. После просмотра сводки для источника CDC базы данных Azure MySQL нажмите кнопку "Добавить ", чтобы завершить настройку.

Вы увидите источник базы данных Azure MySQL (CDC), добавленный в поток событий в режиме редактирования.

Выберите "Опубликовать", чтобы опубликовать изменения и начать потоковую передачу данных CDC базы данных Azure MySQL в поток событий.

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Azure Cosmos DB
• Центры событий Azure
• Центр Интернета вещей Azure
• База данных SQL Azure отслеживания измененных данных (CDC)
• Confluent Kafka
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• Postgre База данных SQL CDC
• Пример данных
• события Хранилище BLOB-объектов Azure
• Событие рабочей области Fabric