Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.
Esta ideia de solução demonstra a análise de big data em grandes volumes de dados de alta velocidade de várias fontes.
Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
- Dados brutos estruturados, semiestruturados e não estruturados (texto livre), como qualquer tipo de logs, eventos de negócios e atividades do usuário, podem ser ingeridos no Azure Data Explorer de várias fontes.
- Ingerir dados no Azure Data Explorer com baixa latência e alta taxa de transferência usando seus conectores para Azure Data Factory, Hubs de Eventos do Azure, Hub IoT do Azure, Kafka e assim por diante. Como alternativa, ingira dados por meio do Armazenamento do Azure (Blob ou ADLS Gen2), que usa a Grade de Eventos do Azure e dispara o pipeline de ingestão para o Azure Data Explorer. Você também pode exportar dados continuamente para o Armazenamento do Azure no formato parquet compactado e particionado e consultar esses dados sem problemas, conforme detalhado na Visão geral da exportação contínua de dados.
- Exporte dados pré-agregados do Azure Data Explorer para o Armazenamento do Azure e, em seguida, ingira os dados no Synapse Analytics para criar modelos de dados e relatórios.
- Use os recursos nativos do Azure Data Explorer para processar, agregar e analisar dados. Para obter informações à velocidade da luz, crie painéis de análise quase em tempo real usando painéis do Azure Data Explorer, Power BI, Grafana ou outras ferramentas. Use o Azure Synapse Analytics para criar um data warehouse moderno e combiná-lo com os dados do Azure Data Explorer para gerar relatórios de BI em modelos de dados curados e agregados.
- O Azure Data Explorer fornece recursos de análise avançados nativos para análise de séries temporais, reconhecimento de padrões, deteção e previsão de anomalias e aprendizado de máquina. O Azure Data Explorer também está bem integrado com serviços de ML, como Databricks e Azure Machine Learning. Essa integração permite criar modelos usando outras ferramentas e serviços e exportar modelos de ML para o Azure Data Explorer para pontuar dados.
Componentes
- Hubs de Eventos do Azure: Serviço de ingestão de dados em tempo real totalmente gerenciado que é simples, confiável e escalável.
- Hub IoT do Azure: serviço gerenciado para habilitar a comunicação bidirecional entre dispositivos IoT e o Azure.
- Kafka no HDInsight: Serviço fácil, econômico e de nível empresarial para análise de código aberto com o Apache Kafka.
- Azure Data Explorer: Serviço de análise de dados rápido, totalmente gerenciado e altamente escalável para análise em tempo real em grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- Azure Synapse Analytics: serviço de análise que reúne armazenamento de dados corporativos e análise de Big Data.
Detalhes do cenário
Potenciais casos de utilização
Esta solução ilustra como o Azure Data Explorer e o Azure Synapse Analytics se complementam para análises quase em tempo real e casos de uso modernos de data warehousing.
Esta solução já está a ser utilizada por clientes Microsoft. Por exemplo, a empresa de transporte por aplicativo com sede em Cingapura, Grab, implementou análises em tempo real sobre uma enorme quantidade de dados coletados de seus serviços de táxi e entrega de comida, bem como aplicativos de parceiros comerciais. A equipa da Grab apresentou a sua solução no MS Ignite neste vídeo (a partir das 20:30). Usando esse padrão, o Grab processou mais de um trilhão de eventos por dia.
Esta solução é otimizada para o setor de varejo.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ornat Spodek - Brasil | Gestor de Conteúdos Sénior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Documentação do Azure Data Explorer
- Treinamento: Introdução ao Azure Data Explorer
- Azure Synapse Analytics
- Hubs de Eventos do Azure