Configurar pontos de extremidade de fluxos de dados

Artigo
10/30/2024

Importante

A Versão Prévia das Operações da Internet das Coisas do Azure – habilitadas pelo Azure Arc – está atualmente em versão prévia. Você não deve usar esse software em versão prévia em ambientes de produção.

Você precisará implantar uma nova instalação das Operações da Internet das Coisas do Azure quando uma versão em disponibilidade geral for disponibilizada. Você não poderá atualizar uma instalação de versão prévia.

Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para obter termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.

Para começar a usar fluxos de dados, primeiro crie pontos de extremidade de fluxo de dados. Um ponto de extremidade do fluxo de dados é o ponto de conexão do fluxo de dados. Você pode usar um ponto de extremidade como origem ou destino do fluxo de dados. Alguns tipos de pontos de extremidade podem ser usados como origens e destino, enquanto outros são apenas destino. Um fluxo de dados precisa de pelo menos um ponto de extremidade de origem e um ponto de extremidade de destino.

Use a tabela a seguir para escolher o tipo de ponto de extremidade a ser configurado:

Tipo de ponto de extremidade	Descrição	Pode ser usado como uma origem	Pode ser usado como um destino
MQTT	Para mensagens bidirecionais com Agentes MQTT, incluindo o agente interno para Operações do Azure IoT e Grade de Eventos.	Sim	Sim
Kafka	Para mensagens bidirecionais com agentes do Kafka, incluindo Hubs de Eventos do Azure.	Sim	Sim
Data Lake	Para carregar dados em contas de armazenamento do Azure Data Lake Gen2.	Não	Sim
Microsoft Fabric OneLake	Para carregar dados em lakehouses do Microsoft Fabric OneLake.	Não	Sim
Armazenamento local	Para enviar dados para um volume persistente disponível localmente, por meio do qual você pode carregar dados por meio do Armazenamento de contêineres do Azure habilitado pelos volumes de borda do Azure Arc.	Não	Sim

Reutilizar pontos de extremidade

Pense em cada ponto de extremidade do fluxo de dados como um pacote de configurações que contém de onde os dados devem vir ou ir (o valor host), como autenticar com o ponto de extremidade e outras configurações, como configuração do TLS ou preferência de envio em lote. Portanto, você só precisa criá-lo uma vez e pode reutilizá-lo em vários fluxos de dados em que essas configurações seriam as mesmas.

Para facilitar a reutilização de pontos de extremidade, o filtro de tópico do Kafka ou MQTT não faz parte da configuração do ponto de extremidade. Em vez disso, especifique o filtro de tópico na configuração do fluxo de dados. Isso significa que você pode usar o mesmo ponto de extremidade para vários fluxos de dados que usam filtros de tópico diferentes.

Por exemplo, você pode usar o ponto de extremidade do fluxo de dados do Agente MQTT padrão. Você pode usá-lo para a origem e o destino com filtros de tópico diferentes:

Captura de tela usando a experiência de operações para criar um fluxo de dados do MQTT para MQTT.

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-09-15-preview' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Da mesma forma, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade MQTT para outros pontos de extremidade e tópicos. Por exemplo, você pode usar o mesmo ponto de extremidade MQTT para um fluxo de dados que envia dados para um ponto de extremidade do Hub de Eventos.

Captura de tela usando a experiência de operações para criar um fluxo de dados do MQTT para Kafka.

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-09-15-preview' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Semelhante ao exemplo do MQTT, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade Kafka para tópicos diferentes ou o mesmo ponto de extremidade Data Lake para tabelas diferentes.

Próximas etapas

Criar um ponto de extremidade de fluxo de dados:

Compartilhar via

Configurar pontos de extremidade de fluxos de dados

Reutilizar pontos de extremidade

Próximas etapas

Comentários

Recursos adicionais