Настройка конечных точек потока данных

Чтобы приступить к работе с потоками данных, сначала создайте конечные точки потока данных. Конечная точка потока данных — это точка подключения для потока данных. Для потока данных можно использовать конечную точку в качестве источника или назначения. Некоторые типы конечных точек можно использовать как источники, так и назначения, а другие — только для назначений. Для потока данных требуется по крайней мере одна исходная конечная точка и одна конечная точка назначения.

Используйте следующую таблицу, чтобы выбрать тип конечной точки для настройки:

Потоки данных должны использовать локальную конечную точку брокера MQTT

При создании потока данных укажите исходные и конечные точки назначения. Поток данных перемещает данные из исходной конечной точки в конечную точку назначения. Одну конечную точку можно использовать для нескольких потоков данных, и вы можете использовать ту же конечную точку, что и источник, и назначение в потоке данных.

Однако использование пользовательских конечных точек как источника, так и назначения в потоке данных не поддерживается. Это ограничение означает, что встроенный брокер MQTT в Операциях Интернета вещей Azure должен быть источником или назначением для каждого потока данных. Чтобы избежать сбоев развертывания потока данных, используйте конечную точку потока данных MQTT по умолчанию в качестве источника или назначения для каждого потока данных.

Конкретное требование заключается в том, что каждый поток данных должен иметь исходный или целевой объект, настроенный с конечной точкой MQTT с узлом aio-broker. Поэтому не обязательно использовать конечную точку по умолчанию, и вы можете создать дополнительные конечные точки потока данных, указывающие на локальный брокер MQTT, если узел находится aio-broker. Однако, чтобы избежать проблем с путаницой и управляемостью, конечная точка по умолчанию рекомендуется.

В следующей таблице показаны поддерживаемые сценарии:

Повторное использование конечных точек

Подумайте о каждой конечной точке потока данных в виде пакета параметров конфигурации, содержащих данные, из которых должны поступать данные или перейти ( host значение), как пройти проверку подлинности с конечной точкой и другими параметрами, такими как конфигурация TLS или пакетная обработка. Поэтому необходимо создать его один раз, а затем повторно использовать его в нескольких потоках данных, где эти параметры будут одинаковыми.

Чтобы упростить повторное использование конечных точек, фильтр раздела MQTT или Kafka не входит в конфигурацию конечной точки. Вместо этого вы указываете фильтр раздела в конфигурации потока данных. Это означает, что вы можете использовать одну конечную точку для нескольких потоков данных, использующих различные фильтры разделов.

Например, можно использовать конечную точку потока данных брокера MQTT по умолчанию. Его можно использовать как для исходного, так и для назначения с различными фильтрами разделов:

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-09-15-preview' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Аналогичным образом можно создать несколько потоков данных, использующих одну и ту же конечную точку MQTT для других конечных точек и разделов. Например, можно использовать ту же конечную точку MQTT для потока данных, который отправляет данные в конечную точку Концентратора событий.

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-09-15-preview' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Аналогично примеру MQTT, можно создать несколько потоков данных, которые используют одну конечную точку Kafka для разных разделов или одну конечную точку Data Lake для разных таблиц.

Следующие шаги

Создайте конечную точку потока данных:

• MQTT или Сетка событий
• Kafka или Центры событий
• Data Lake
• Microsoft Fabric OneLake
• Локальное хранилище