Processar dados do seu hub de eventos usando Azure Stream Analytics
O serviço de Azure Stream Analytics facilita a ingestão, o processamento e a análise de dados de streaming dos hubs de eventos do Azure, possibilitando ideias poderosas para impulsionar as ações em tempo real. Você pode usar o portal do Azure para visualizar dados de entrada e gravar uma consulta de Stream Analytics. Quando a consulta estiver pronta, você poderá movê-la para a produção em apenas alguns cliques.
Principais benefícios
Aqui estão os principais benefícios dos hubs de eventos do Azure e da integração de Azure Stream Analytics:
- Pré-visualizar dados – você pode pré-visualizar dados de entrada de um hub de eventos no portal do Azure.
- Testar sua consulta – prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta de Stream Analytics.
- Implantar sua consulta em produção – você pode implantar a consulta na produção criando e iniciando um trabalho de Azure Stream Analytics.
Fluxo de ponta a ponta
Importante
- Se você não for membro das funções proprietário ou colaborador no nível da assinatura do Azure, deverá ser membro da função Testador de consultas do Stream Analytics no nível da assinatura do Azure para concluir as etapas desta seção com êxito. Essa função permite que você execute consultas de teste sem criar um trabalho do Stream Analytics primeiro. Para obter instruções de como atribuir uma função a um usuário, confira Atribuir funções do AD a usuários.
- Se o seu hub de eventos só permite acesso privado por meio de pontos de extremidade privados, você precisa ingressar o trabalho do Stream Analytics na mesma rede para acessar os eventos no hub de eventos.
Entre no portal do Azure.
Navegue até o namespace de seus hubs de eventos e, em seguida, navegue até o Hub de eventos, que tem os dados de entrada.
No menu de navegação do lado esquerdo, expanda Recursos e selecione Processar dados. A seguir, selecione Iniciar, no bloco Habilitar insights de eventos em tempo real.
Você verá uma página de consulta com valores já definidos para os campos a seguir. Se estiver vendo uma janela pop-up sobre um grupo de consumidores e uma política sendo criada para você, selecione OK. Você verá imediatamente nessa guia um instantâneo dos dados de entrada mais recentes.
Seu Hub de eventos como uma entrada para a consulta.
Exemplo de consulta SQL com instrução SELECT.
Um alias de saída para se referir aos resultados do teste de consulta.
O tipo de serialização em seus dados é detectado automaticamente (JSON/CSV). Você pode alterá-lo manualmente também para JSON/CSV/AVRO.
Você pode visualizar os dados de entrada no formato de tabela ou no formato bruto.
Se os dados mostrados não estiverem atuais, selecione Atualizar para ver os eventos mais recentes.
Na imagem anterior, os resultados são mostrados em formato de tabela. Para ver os dados brutos, selecione Brutos
Selecione Testar consulta para ver a captura dos resultados de teste de sua consulta na guia Resultados do teste. Você também pode baixar os resultados.
Escreva sua própria consulta para transformar os dados. Consulte Referência de linguagem de consulta da Stream Analytics.
Após ter testado a consulta, e se quiser transferi-la para a produção, selecione Criar trabalho do Stream Analytics.
Na página Novo trabalho do Stream Analytics, siga estas etapas:
Especifique um nome para o trabalho.
Selecione sua assinatura do Azure na qual você quer que o trabalho seja criado.
Selecione o grupo de recursos para o recurso de trabalho do Stream Analytics.
Selecione um local para o trabalho.
Para o nome da política dos Hubs de Eventos, crie uma política nova ou selecione uma existente.
Para o grupo de consumidores dos Hubs de Eventos, crie um grupo de consumidores novo ou selecione um grupo de consumidores existente.
Selecione Criar para criar o trabalho do Stream Analytics.
Observação
Recomendamos que você crie um grupo de consumidores e uma política para cada novo trabalho do Azure Stream Analytics criado na página hubs de eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, portanto, fornecer um grupo de consumidores dedicado para cada trabalho evitará erros que possam surgir ao exceder esse limite. Uma política dedicada permite que você alterne sua chave ou revogue permissões sem afetar outros recursos.
Seu trabalho de Stream Analytics agora é criado, nele, sua consulta é a mesma que você testou, e a entrada é seu hub de eventos.
Adicione uma saída que você escolher.
Navegue de volta para a página do trabalho do Stream Analytics clicando no nome do trabalho no link de navegação estrutural.
Selecione Editar consulta acima da janela da Consulta .
Atualize
[OutputAlias]com o nome do resultado e selecione Salvar consulta no link acima da consulta. Feche a página Consultas selecionando X no canto superior direito.Agora, na página do trabalho do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar o trabalho.
Access
Problema: o usuário não consegue acessar os dados de visualização porque não tem as permissões corretas na Assinatura.
Opção 1: o usuário que deseja visualizar os dados que chegam, precisa ser adicionado como Colaborador na Assinatura.
Opção 2: o usuário precisa ser adicionado à função do testador de Consulta do Stream Analytics na Assinatura. Navegue até o Controle de acesso da assinatura. Adicione uma atribuição de função para o usuário como a função "Testador de Consulta do Stream Analytics".
Opção 3: o usuário pode criar um trabalho do Azure Stream Analytics. Defina a entrada como esse hub de eventos e navegue até "Consulta" para visualizar os dados provenientes desse hub de eventos.
Opção 4: o administrador pode criar uma função personalizada na assinatura. Adicione as permissões a seguir à função personalizada e adicione o usuário à nova função personalizada.
Unidades de transmissão
Seu trabalho de Azure Stream Analytics usa como padrão três unidades de streaming (SUs). Para ajustar essa configuração, selecione Dimensionar no menu à esquerda na página Trabalho do Stream Analytics no portal do Azure. Para saber mais sobre unidades de streaming, confira Entender e ajustar unidades de streaming.
Considerações ao usar o recurso de replicação geográfica dos Hubs de Eventos do Azure
Os Hubs de Eventos do Azure lançaram recentemente a versão preliminar pública do recurso de replicação geográfica. Esse recurso é diferente do recurso de recuperação de desastres geográficos dos Hubs de Eventos do Azure.
Quando o tipo de failover é Forçado e a consistência de replicação é Assíncrona, o trabalho do Stream Analytics não garante uma saída exata para os Hubs de Eventos do Azure.
O Azure Stream Analytics, atuando como produtor com um hub de eventos e uma saída, pode apresentar um atraso de marca d'água no trabalho durante o período de failover e durante a limitação imposta pelos Hubs de Eventos, caso o atraso de replicação entre o primário e o secundário atinja o limite máximo configurado.
O Azure Stream Analytics, atuando como consumidor com os Hubs de Eventos como entrada, pode apresentar um atraso de marca d'água no trabalho durante o período de failover e pode pular dados ou encontrar dados duplicados após a conclusão do failover.
Devido a essas limitações, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos do Azure. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos do Azure está em versão preliminar pública, não recomendamos usar esse padrão para trabalhos de produção do Stream Analytics no momento. O comportamento atual do Stream Analytics será aprimorado antes da disponibilidade geral do recurso de replicação geográfica dos Hubs de Eventos para uso em trabalhos de produção do Stream Analytics.
Conteúdo relacionado
Para saber mais sobre consultas de Stream Analytics, consulte Linguagem de consulta do Stream Analytics