Processar dados do seu hub de eventos usando Azure Stream Analytics

O serviço de Azure Stream Analytics facilita a ingestão, o processamento e a análise de dados de streaming dos hubs de eventos do Azure, possibilitando ideias poderosas para impulsionar as ações em tempo real. Você pode usar o portal do Azure para visualizar dados de entrada e gravar uma consulta de Stream Analytics. Quando a consulta estiver pronta, você poderá movê-la para a produção em apenas alguns cliques.

Principais benefícios

Aqui estão os principais benefícios dos hubs de eventos do Azure e da integração de Azure Stream Analytics:

  • Pré-visualizar dados – você pode pré-visualizar dados de entrada de um hub de eventos no portal do Azure.
  • Testar sua consulta – prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta de Stream Analytics.
  • Implantar sua consulta em produção – você pode implantar a consulta na produção criando e iniciando um trabalho de Azure Stream Analytics.

Fluxo de ponta a ponta

Importante

  • Se você não for membro das funções proprietário ou colaborador no nível da assinatura do Azure, deverá ser membro da função Testador de consultas do Stream Analytics no nível da assinatura do Azure para concluir as etapas desta seção com êxito. Essa função permite que você execute consultas de teste sem criar um trabalho do Stream Analytics primeiro. Para obter instruções de como atribuir uma função a um usuário, confira Atribuir funções do AD a usuários.
  • Se o seu hub de eventos só permite acesso privado por meio de pontos de extremidade privados, você precisa ingressar o trabalho do Stream Analytics na mesma rede para acessar os eventos no hub de eventos.
  1. Entre no portal do Azure.

  2. Navegue até o namespace de seus hubs de eventos e, em seguida, navegue até o Hub de eventos, que tem os dados de entrada.

  3. No menu de navegação do lado esquerdo, expanda Recursos e selecione Processar dados. A seguir, selecione Iniciar, no bloco Habilitar insights de eventos em tempo real.

    Captura de tela mostrando a página Dados de Processamento com Habilitar insights em tempo real do bloco de eventos selecionado.

  4. Você verá uma página de consulta com valores já definidos para os campos a seguir. Se estiver vendo uma janela pop-up sobre um grupo de consumidores e uma política sendo criada para você, selecione OK. Você verá imediatamente nessa guia um instantâneo dos dados de entrada mais recentes.

    1. Seu Hub de eventos como uma entrada para a consulta.

    2. Exemplo de consulta SQL com instrução SELECT.

    3. Um alias de saída para se referir aos resultados do teste de consulta.

      Captura de tela mostrando o editor de Consultas para sua consulta do Stream Analytics.

    • O tipo de serialização em seus dados é detectado automaticamente (JSON/CSV). Você pode alterá-lo manualmente também para JSON/CSV/AVRO.

    • Você pode visualizar os dados de entrada no formato de tabela ou no formato bruto.

    • Se os dados mostrados não estiverem atuais, selecione Atualizar para ver os eventos mais recentes.

    • Na imagem anterior, os resultados são mostrados em formato de tabela. Para ver os dados brutos, selecione Brutos

      Captura de tela da janela de visualização da Entrada de Dados no painel de resultados da página Dados de Processamento em formato bruto.

  5. Selecione Testar consulta para ver a captura dos resultados de teste de sua consulta na guia Resultados do teste. Você também pode baixar os resultados.

    Captura de tela da janela de visualização da Entrada de Dados no painel de resultados com resultados de testes.

    Escreva sua própria consulta para transformar os dados. Consulte Referência de linguagem de consulta da Stream Analytics.

  6. Após ter testado a consulta, e se quiser transferi-la para a produção, selecione Criar trabalho do Stream Analytics.

    Captura de tela da página Consultas com o link “Criar trabalho do Stream Analytics” selecionado.

  7. Na página Novo trabalho do Stream Analytics, siga estas etapas:

    1. Especifique um nome para o trabalho.

    2. Selecione sua assinatura do Azure na qual você quer que o trabalho seja criado.

    3. Selecione o grupo de recursos para o recurso de trabalho do Stream Analytics.

    4. Selecione um local para o trabalho.

    5. Para o nome da política dos Hubs de Eventos, crie uma política nova ou selecione uma existente.

    6. Para o grupo de consumidores dos Hubs de Eventos, crie um grupo de consumidores novo ou selecione um grupo de consumidores existente.

    7. Selecione Criar para criar o trabalho do Stream Analytics.

      Captura de tela mostrando a janela “Novo trabalho do Stream Analytics”.

      Observação

      Recomendamos que você crie um grupo de consumidores e uma política para cada novo trabalho do Azure Stream Analytics criado na página hubs de eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, portanto, fornecer um grupo de consumidores dedicado para cada trabalho evitará erros que possam surgir ao exceder esse limite. Uma política dedicada permite que você alterne sua chave ou revogue permissões sem afetar outros recursos.

  8. Seu trabalho de Stream Analytics agora é criado, nele, sua consulta é a mesma que você testou, e a entrada é seu hub de eventos.

    Captura de tela mostrando a página do trabalho do Stream Analytics com um link para adicionar um resultado.

  9. Adicione uma saída que você escolher.

  10. Navegue de volta para a página do trabalho do Stream Analytics clicando no nome do trabalho no link de navegação estrutural.

  11. Selecione Editar consulta acima da janela da Consulta .

  12. Atualize [OutputAlias] com o nome do resultado e selecione Salvar consulta no link acima da consulta. Feche a página Consultas selecionando X no canto superior direito.

  13. Agora, na página do trabalho do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar o trabalho.

    Captura de tela da janela “Iniciar trabalho” para um trabalho do Stream Analytics.

Access

Problema: o usuário não consegue acessar os dados de visualização porque não tem as permissões corretas na Assinatura.

Opção 1: o usuário que deseja visualizar os dados que chegam, precisa ser adicionado como Colaborador na Assinatura.

Opção 2: o usuário precisa ser adicionado à função do testador de Consulta do Stream Analytics na Assinatura. Navegue até o Controle de acesso da assinatura. Adicione uma atribuição de função para o usuário como a função "Testador de Consulta do Stream Analytics".

Opção 3: o usuário pode criar um trabalho do Azure Stream Analytics. Defina a entrada como esse hub de eventos e navegue até "Consulta" para visualizar os dados provenientes desse hub de eventos.

Opção 4: o administrador pode criar uma função personalizada na assinatura. Adicione as permissões a seguir à função personalizada e adicione o usuário à nova função personalizada.

Captura de tela mostrando a página de permissões Microsoft.StreamAnalytics.

Unidades de transmissão

Seu trabalho de Azure Stream Analytics usa como padrão três unidades de streaming (SUs). Para ajustar essa configuração, selecione Dimensionar no menu à esquerda na página Trabalho do Stream Analytics no portal do Azure. Para saber mais sobre unidades de streaming, confira Entender e ajustar unidades de streaming.

Captura de tela mostrando a página Escalonar para um trabalho do Stream Analytics.

Considerações ao usar o recurso de replicação geográfica dos Hubs de Eventos do Azure

Os Hubs de Eventos do Azure lançaram recentemente a versão preliminar pública do recurso de replicação geográfica. Esse recurso é diferente do recurso de recuperação de desastres geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência de replicação é Assíncrona, o trabalho do Stream Analytics não garante uma saída exata para os Hubs de Eventos do Azure.

O Azure Stream Analytics, atuando como produtor com um hub de eventos e uma saída, pode apresentar um atraso de marca d'água no trabalho durante o período de failover e durante a limitação imposta pelos Hubs de Eventos, caso o atraso de replicação entre o primário e o secundário atinja o limite máximo configurado.

O Azure Stream Analytics, atuando como consumidor com os Hubs de Eventos como entrada, pode apresentar um atraso de marca d'água no trabalho durante o período de failover e pode pular dados ou encontrar dados duplicados após a conclusão do failover.

Devido a essas limitações, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos do Azure. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos do Azure está em versão preliminar pública, não recomendamos usar esse padrão para trabalhos de produção do Stream Analytics no momento. O comportamento atual do Stream Analytics será aprimorado antes da disponibilidade geral do recurso de replicação geográfica dos Hubs de Eventos para uso em trabalhos de produção do Stream Analytics.

Para saber mais sobre consultas de Stream Analytics, consulte Linguagem de consulta do Stream Analytics