Selecionar um SKU para o cluster do Azure Data Explorer

  • Artigo

Quando cria um novo cluster ou otimiza um cluster para uma carga de trabalho em mudança, o Azure Data Explorer oferece vários SKUs de máquinas virtuais (VMs) à escolha. Estes SKUs de computação foram cuidadosamente escolhidos para lhe proporcionar o custo mais ideal para qualquer carga de trabalho.

O tamanho e o SKU da VM do cluster de gestão de dados são totalmente geridos pelo serviço de Data Explorer do Azure. São determinados por fatores como o tamanho da VM do motor e a carga de trabalho de ingestão.

Pode alterar o SKU de computação do cluster em qualquer altura ao aumentar verticalmente o cluster. É melhor começar com o tamanho de SKU mais pequeno que se adeque ao cenário inicial. Também pode utilizar as recomendações do Assistente do Azure para otimizar o SKU de computação.

Pode utilizar a Calculadora de preços para estimar os preços do cluster do Azure Data Explorer, com base nas cargas de trabalho e no volume de dados.

Dica

Ao comprar uma reserva, pode pagar previamente o cluster, as máquinas virtuais utilizadas no cluster e os custos dos recursos de armazenamento durante um ou três anos. Estas instâncias reservadas (RI) são compradas separadamente e podem poupar uma quantidade significativa de dinheiro para garantir as melhores tarifas para o cluster do Azure Data Explorer. Para obter mais informações, veja Pré-pagamento de unidades de marcação do Azure Data Explorer com a capacidade reservada do Azure Data Explorer.

Selecionar um tipo de cluster

O Azure Data Explorer oferece dois tipos de clusters:

  • Produção (com SLA): os clusters de produção contêm, pelo menos, dois nós para o cluster do motor e, pelo menos, dois nós para o cluster de gestão de dados. Estes clusters operam no SLA do Azure Data Explorer.
  • Dev/Test (sem SLA): os clusters Dev/Test contêm um único nó para o cluster do motor e um único nó para o cluster de gestão de dados. Estes clusters são a configuração de custos mais baixos devido à contagem baixa de instâncias. Não existe redundância ou SLA para esta configuração de cluster.

Desenvolvimento vs. produção

Os clusters de desenvolvimento são ótimos para a avaliação do serviço, configurar um pipeline de ingestão, realizar uma prova de conceito (PoC) ou uma validação de cenário. As principais diferenças entre clusters de desenvolvimento versus clusters de produção incluem:

  • Os clusters de desenvolvimento são limitados em tamanho e não podem crescer para além de um único nó
  • A margem de lucro do Azure Data Explorer não é cobrada para clusters de desenvolvimento
  • Sem SLA para clusters de desenvolvimento

Tipos de SKU de computação

Os clusters do Azure Data Explorer suportam vários SKUs para diferentes tipos de cargas de trabalho. Cada SKU oferece um rácio de CPU e armazenamento SSD distinto para o ajudar a dimensionar corretamente a implementação e a criar soluções ideais em termos de custos para a sua carga de trabalho de análise empresarial.

Com otimização de computação

  • Fornece uma proporção de núcleo elevado para cache e o custo mais baixo por núcleo.
  • SSD local para E/S de baixa latência.

Com otimização de armazenamento

  • Fornece armazenamento maior entre 1 terabyte (TB) e 4 TB por nó de motor e o custo mais baixo por gigabyte (GB).
  • Adequado para cargas de trabalho que requerem armazenamento para grandes volumes de dados.
  • Determinados SKUs utilizam o armazenamento premium (PS) ligado ao nó do motor em vez de SSDs locais. O acesso ao PS é mais lento do que os SSDs locais, pelo que os SKUs com PS são mais caros e têm um desempenho inferior aos SKUs com SSD local anexado.

Selecionar e otimizar o SKU de computação

Selecionar o SKU de computação durante a criação do cluster

Quando criar um cluster do Azure Data Explorer, selecione o SKU de VM ideal para a carga de trabalho planeada. Utilize os seguintes atributos para o ajudar a escolher o SKU correto para o seu ambiente:

Atributo Detalhes
Custo por GB Custo elevado com computação otimizada. Baixo custo com SKUs otimizados para armazenamento.
Custo por núcleo Baixo custo com computação otimizada. Custo elevado com SKUs otimizados para armazenamento.
Preços de RI O desconto de RI varia de acordo com a região e por SKU.

Nota

O custo de computação é a parte mais significativa do custo de um cluster.

Otimizar o SKU de computação do cluster

Para otimizar o SKU de computação do cluster, configure o dimensionamento vertical e verifique as recomendações do Assistente do Azure.

Com várias opções de SKU de computação à escolha, pode otimizar os custos para os requisitos de desempenho e cache de acesso frequente para o seu cenário. Escolha um SKU otimizado para computação para obter um desempenho ideal quando existirem volumes de consulta elevados. Escolha um SKU otimizado para armazenamento para obter o melhor desempenho ao consultar grandes volumes de dados que precisam de ser colocados em cache.

É preferível utilizar alguns nós de VMs maiores que utilizam mais RAM do que muitas VMs mais pequenas. Precisa de mais RAM para alguns tipos de consulta que requerem mais RAM, como consultas que utilizam associações. Por isso, ao dimensionar o cluster, recomendamos que aumente verticalmente para um SKU maior e aumente horizontalmente ao adicionar mais nós conforme necessário.

Nota

Alterar ou aumentar verticalmente o SKU do cluster pode causar uma interrupção do serviço de um a três minutos. O desempenho das consultas pode ser afetado durante a migração do SKU e a extensão do impacto pode variar consoante os padrões de utilização.

Disponibilidade do SKU

A disponibilidade do SKU difere com base nos seguintes fatores:

  • Região: nem todos os SKUs estão disponíveis em todas as regiões ou zonas de disponibilidade. Para obter mais informações, veja a página de cada SKU para obter a disponibilidade regional.
  • Subscrição: alguns SKUs só podem estar disponíveis para tipos de subscrição específicos. Se não estiver disponível um SKU para a sua subscrição numa localização ou zona que satisfaça as suas necessidades empresariais, submeta um pedido de SKU para suporte do Azure.

Opções de SKU

As seguintes séries de SKU estão disponíveis para VMs de cluster do Azure Data Explorer. As famílias de SKU nas categorias otimizadas para computação e armazenamento são classificadas por ordem de recomendação.

Otimizado para Armazenamento

Série de SKU Configuração de vCPU disponível Tipo de SKU Suporta o armazenamento premium
Lasv3 8, 16 , 32 AMD No
Lsv3 8, 16 , 32 Intel No
Easv4, Easv5, ECasv5 8, 16 AMD Yes
Esv4, Esv5 8, 16 Intel Yes
DSv2 8, 16 Intel Yes

Com otimização de computação

Série de SKU Configuração de vCPU disponível Tipo de SKU Suporta o armazenamento premium
Eadsv5, ECadsv5 2, 4, 8, 16 AMD No
Edv4, Edv5 2, 4, 8, 16 Intel No
Eav4 2, 4, 8, 16 AMD No
Dv2 2, 4, 8, 16 Intel No

Nota

Todos os SKUs otimizados para computação com 2 núcleos podem ser configurados como clusters de desenvolvimento.

Recomenda-se a utilização de clusters L32asv3/L32sv3 apenas em casos de utilização com clusters L16asv3/L16sv3 muito grandes que atingem o limite de 1000 nós de cluster ou clusters com taxas de pedido simultâneas extremamente elevadas. ECasv5 e ECadsv5 são SKUs de computação confidenciais. Para obter mais detalhes, leia sobre as VMs de Computação Confidencial. Para SKUs ECasv5 otimizados para armazenamento, caso utilize a sua própria chave gerida pelo cliente (CMK), a encriptação CMK é efetuada em contas de armazenamento e discos de armazenamento premium.

  • Com o Azure Data Explorer isolamento de armazenamento e computação, pode começar com o SKU de custo mais ideal e mudar para outro SKU depois de amadurecer o padrão de utilização ou a perda de dados.
  • Pode ver a lista atualizada de SKU de computação por região com a API ListSkus do Azure Data Explorer.

Tamanho da cache

O Azure Data Explorer reserva uma parte do tamanho do disco apresentada em cada uma das especificações do SKU de computação do Azure a utilizar para operações de cluster. O tamanho exato da cache para cada SKU está disponível na secção de seleção de SKU no portal.

Conteúdo relacionado