Добавление Azure Cosmos DB CDC в качестве источника в концентраторе реального времени (предварительная версия)

В этой статье описывается, как добавить Azure Cosmos DB для NoSQL Change Data Capture (CDC) в качестве источника событий в Концентраторе реального времени Fabric.

Соединитель источника отслеживания измененных данных Azure Cosmos DB позволяет записать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке можно обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Необходимые компоненты

• Доступ к рабочей области Fabric premium с разрешениями участника или более высокого уровня.
• Доступ к учетной записи и базе данных NoSQL для Azure Cosmos DB.
• База данных Azure Cosmos DB для NoSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.

Получение сведений о подключении из портал Azure

Метки для элементов, которые необходимо собрать из портал Azure, показаны на следующих шагах. Вам всегда нужен универсальный код ресурса (URI) конечной точки( например https://<account>.<api>.azure.com:<port>/, первичный ключ и идентификаторы элементов базы данных, для которого требуется собирать данные.

1. На странице портал Azure учетной записи Azure Cosmos DB выберите "Ключи" в разделе "Параметры" в области навигации слева.

2. На странице "Ключи" скопируйте URI и значения первичного ключа, которые будут использоваться для настройки подключения к потоку событий.

   

3. На странице обзора портал Azure учетной записи Azure Cosmos DB запишите идентификатор базы данных и элемента, для которого требуется собрать данные.

   

Получение событий из CDC Azure Cosmos DB

События из CDC Azure Cosmos DB можно получить в центре реального времени одним из способов:

• Использование интерфейса получения событий
• Использование вкладки "Источники Майкрософт"

Запуск интерфейса "Получить события"

1. Перейдите к интерфейсу аналитики в режиме реального времени в Microsoft Fabric. Выберите Microsoft Fabric на левой панели навигации и выберите аналитику в режиме реального времени.

   

2. Выберите концентратор реального времени на левой панели навигации.

   

3. На странице центра реального времени выберите +Получить события в правом верхнем углу страницы.

   

Используйте инструкции из раздела "Добавление CDC Azure Cosmos DB" в качестве исходного раздела.

Вкладка "Источники Майкрософт"

1. В центре реального времени перейдите на вкладку источников Майкрософт.

2. В раскрывающемся списке "Источник" выберите Azure Cosmos DB (CDC).

3. Для подписки выберите подписку Azure с группой ресурсов с учетной записью Cosmos DB.

4. Для группы ресурсов выберите группу ресурсов с учетной записью Cosmos DB.

5. В регионе выберите расположение, в котором находится Cosmos DB.

6. Теперь переместите указатель мыши на имя источника CDC Cosmos DB, который требуется подключить к концентратору реального времени в списке баз данных, и нажмите кнопку "Подключить" или нажмите кнопку "Подключить". (многоточие) и нажмите кнопку "Подключить".

   

   Чтобы настроить сведения о подключении, используйте действия из раздела "Добавление CDC Azure Cosmos DB" в качестве исходного раздела. Пропустите первый шаг выбора CDC Azure Cosmos DB в качестве исходного типа в мастере получения событий.

Добавление Azure Cosmos DB CDC в качестве источника

1. На экране "Выбор источника данных" выберите Azure Cosmos DB (CDC).

   

2. Выберите ссылку "Перейти к ресурсу", если вы хотите перейти к учетной записи Azure Cosmos DB в портал Azure.

   

3. На странице "Подключение" выберите "Создать подключение".

   

4. В разделе параметров подключения укажите конечную точку Cosmos DB. Введите URI или конечную точку для учетной записи Cosmos DB, скопированной из портал Azure.

   

5. Разверните дополнительные параметры и выполните следующие действия.

   1. Для числа повторных попыток укажите максимальное количество раз, когда соединитель должен повторно передавать запрос в базу данных Cosmos DB, если запрос завершается ошибкой, допускаемой восстановлением.

   2. Чтобы включить передачу функции AVERAGE, укажите, должен ли соединитель передавать агрегатную функцию AVG в базу данных Cosmos DB.

   3. Чтобы включить передачу SORT для нескольких столбцов, укажите, должен ли соединитель разрешать передачу нескольких столбцов в базу данных Cosmos DB при указании в предложении ORDER BY запроса SQL.

      

6. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

   1. Выберите существующее подключение и сохраните параметр "Создать новое подключение" по умолчанию.
   2. Чтобы создать подключение, введите следующие значения:

      1. В поле "Имя подключения" введите имя подключения.

      2. Для типа проверки подлинности выберите ключ учетной записи.

      3. В поле "Ключ учетной записи" введите значение ключа, сохраненное ранее.

      4. Нажмите Подключиться.

         

7. Теперь на странице "Подключение" выполните следующие действия:

   1. Укажите идентификатор контейнера в учетной записи Azure Cosmos DB. 1.

   2. В разделе "Сведения о потоке" справа выберите рабочую область Fabric, в которой вы хотите сохранить поток событий, создаваемый мастером.

   3. Для имени потока событий введите имя потока событий. Мастер создает поток событий с выбранным центром CDC Azure Cosmos DB в качестве источника.

   4. Имя потока автоматически создается путем добавления -stream к имени потока событий. Этот поток отображается на вкладке потоков данных концентратора реального времени после завершения работы мастера.

   5. Выберите Далее.

      

8. На экране "Рецензирование" и "Создать" просмотрите сводку и выберите "Создать источник".

   

Просмотр сведений о потоке данных

1. На странице "Проверка и создание" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным источником CDC Azure Cosmos DB. Чтобы закрыть мастер, нажмите кнопку Закрыть или X* в правом верхнем углу страницы.

   

2. В концентраторе реального времени перейдите на вкладку потоков данных концентратора реального времени. Обновите страницу. Вы должны увидеть поток данных, созданный для вас, как показано на следующем рисунке.

   

   Подробные инструкции см. в разделе "Просмотр сведений о потоках данных" в Концентраторе реального времени Fabric.

Связанный контент

Дополнительные сведения об использовании потоков данных см. в следующих статьях:

• Обработка потоков данных
• Анализ потоков данных
• Настройка оповещений в потоках данных