Quando usar o Azure Data Explorer
Aqui, discutimos como você pode decidir se o Azure Data Explorer é a escolha certa para suas necessidades de análise de big data. Ao avaliar os critérios a seguir, você pode determinar se o Azure Data Explorer atende às suas metas funcionais e de desempenho.
- Análise interativa
- Variedade de dados
- Velocidade dos dados
- Volume de dados
- Organização de dados
- Simultaneidade da consulta
- Construir vs Comprar
Critérios de decisão
O Azure Data Explorer é uma plataforma de análise interativa de big data que permite que as pessoas tomem decisões orientadas por dados em um ambiente altamente ágil. Os fatores listados aqui podem ajudá-lo a avaliar se o Azure Data Explorer é adequado para a carga de trabalho em questão. Faça a si mesmo as seguintes perguntas-chave:
Análise interativa
Preciso analisar dados interativamente?
A análise de dados inclui técnicas como agregação, escopo, avaliação, correlação, deteção de anomalias, previsão e avaliação geral de modelos que ajudam a reduzir grandes quantidades de dados em conclusões acionáveis. Conduzir essas atividades de forma interativa é o objetivo do Azure Data Explorer. Estas atividades podem acontecer em dashboards interativos, aplicações analíticas personalizadas ou através da interação direta com os dados através de consultas e visualização amigas do ser humano. O Azure Data Explorer pode não ser a tecnologia certa para executar trabalhos em lote de longa execução sobre dados. Considere o uso de tecnologias como o Microsoft Spark que funcionam bem com o Azure Data Explorer para tarefas de longa execução.
Variedade de dados
Qual é a variedade da minha estrutura de dados?
O Azure Data Explorer fornece índice de texto completo escalável e de alto desempenho e suporte a esquema dinâmico. Se você precisar analisar e processar dados estruturados, semiestruturados (json/xml) e texturais, é uma boa indicação de que o Azure Data Explorer é relevante para sua carga de trabalho.
Velocidade dos dados
A análise de dados em tempo real é um fator crítico?
O Azure Data Explorer pode ingerir uma grande quantidade de dados rapidamente e em baixa latência. Os conjuntos de dados típicos incluem rastreamentos, logs de transações, séries temporais, métricas e, em geral, fluxos de registro de atividade. A análise quase em tempo real sobre dados atualizados é um caso de uso comum. O Azure Data Explorer se conecta bem a tecnologias de streaming, como Hubs de Eventos do Azure, hubs IoT, Kafka para alimentar essas cargas de trabalho. No entanto, caso haja necessidade de análises em tempo real, o Azure Data Explorer pode não ser a melhor opção.
Volume de dados
De quantos dados preciso ingerir?
O Azure Data Explorer foi criado para fornecer análises de caminho quentes, interativas e via API, sobre cargas de trabalho de dados massivas. Para cenários em que o tamanho total dos dados acumulados é de alguns gigabytes, pode haver outras soluções mais econômicas.
Organização de dados
Quão consistentemente os meus dados estão organizados?
O Azure Data Explorer foi criado para aplicar esquema em leitura sobre dados brutos. Esta abordagem cria flexibilidade para examinar os dados de diferentes formas e de diferentes pontos de vista com base nas necessidades atuais. Essa capacidade é valiosa para lidar com desafios inesperados em segurança, operações e ambientes competitivos, entre outras áreas. O Azure Data Explorer fornece extrema velocidade, escalabilidade e eficiência de custos para analisar dados brutos. Muitas vezes, em implantações de data warehouse, um processo de extração, transformação, carga (ETL) gera periodicamente um conjunto bem organizado, altamente consistente e bem documentado de entidades e atributos. A análise desses esquemas de estrelas complexos geralmente envolve grandes junções fato-a-fato para as quais o Azure Data Explorer não está otimizado.
Simultaneidade da consulta
Quantos usuários precisam consultar/ingerir/processar dados ao mesmo tempo?
O Azure Data Explorer é amplamente usado para implementar ofertas de SaaS de análise. Se houver necessidade de dar suporte a necessidades de análise variadas e exclusivas de um grande número de solicitações em paralelo, o Azure Data Explorer deve fornecer uma boa solução.
Construir vs comprar
Quanto quero personalizar a minha plataforma de dados?
O Azure Data Explorer é uma plataforma como serviço totalmente gerenciada. No entanto, ele não fornece uma solução pronta para uso. Ele requer personalização, configuração, conexão e criação de experiências em cima dele para entregar uma solução (build). Existem várias soluções, da Microsoft e de terceiros que usam o Azure Data Explorer para fornecer essas soluções turnkey em diferentes domínios e verticais. Por exemplo, Azure Monitor para operações de TI. Microsoft Advanced Threat Protection e Microsoft Sentinel no domínio de segurança, e Azure Time Series Insights e Azure IoT Central nos domínios IoT.
Aplicar os critérios
O Azure Data Explorer funciona melhor para habilitar recursos de análise interativa para profissionais do conhecimento em dados brutos diversificados e de alta velocidade. Vamos pensar em como aplicar os critérios que listamos anteriormente aos nossos processos de exemplo no cenário de empresas de vestuário.
O Azure Data Explorer deve ser usado para dados de produção?
O departamento de produção da nossa empresa de vestuário de exemplo precisa tomar decisões sobre como gerenciar o estoque e os volumes de produção. Eles têm logs de entrada de dados para inventário. Eles também querem usar dados geoespaciais do marketing para antecipar as necessidades do produto por região. Esses dados têm um alto grau de variedade, velocidade e volume. Ele não está organizado de forma consistente, e muitas partes interessadas precisam consultar esses dados simultaneamente . Da ingestão à consulta, eles exigem baixa latência. Eles precisam de tempos de resposta de consulta de menos de um segundo ou mais. Com base nos critérios de decisão, o Azure Data Explorer é uma boa opção para a divisão de produção da empresa de roupas.
O Azure Data Explorer deve ser usado para dados de marketing?
O departamento de marketing da empresa de vestuário quer avaliar a eficácia da sua campanha. Eles têm dados de fluxo de cliques de seu site e campanhas publicitárias. Eles também têm dados de texto livre (não estruturados) das redes sociais. Estes dados são muito variados e desorganizados. O departamento vai querer fazer análises interativas exploratórias. Com base nos critérios de decisão, o Azure Data Explorer é uma boa opção para a divisão de marketing da empresa de roupas.
Orientação resumida
A tabela a seguir mostra como avaliar novos casos de uso. Embora todos os casos de uso não sejam abordados aqui, acreditamos que isso pode ajudá-lo a decidir se o Azure Data Explorer é a solução certa para você.
| Cenário de teste | Análise interativa | Big data (variedade, velocidade, volume) | Organização de dados | Simultaneidade | Construir vs Comprar | Devo usar o Azure Data Explorer? |
|---|---|---|---|---|---|---|
| Implementando um SaaS de análise de segurança | Uso intenso de análises interativas e quase em tempo real. | Os dados de segurança são diversos, de alto volume e alta velocidade. | Varia | O sistema é frequentemente usado por vários analistas de vários inquilinos. | A implementação de uma oferta de SaaS é um cenário de construção . | Sim |
| Análise de log CDN | Interativo para solução de problemas, monitoramento de QoS. | Os logs CDN são diversos, de alto volume e alta velocidade. | Separe os registros de log. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas também pode alimentar muitos painéis. | O valor extraído da análise CDN é específico do cenário e requer análises personalizadas. | Sim |
| Banco de dados de séries temporais para Telemetria IoT | Interativo para solução de problemas, análise de tendências, uso e deteção de anomalias. | A telemetria IoT é de alta velocidade, mas pode ser estruturada apenas ou de tamanho médio. | Conjuntos de registos relacionados. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas também pode alimentar muitos painéis. | O contexto normalmente é Build ao pesquisar um banco de dados. | Sim |
A tabela de fluxograma a seguir resume as principais perguntas a serem feitas quando você estiver pensando em usar o Azure Data Explorer.
