Contas de armazenamento de blobs de blocos Premium

As contas de armazenamento de blobs de blocos Premium disponibilizam dados através de hardware de elevado desempenho. Os dados são armazenados em unidades de estado sólido (SSDs) otimizadas para baixa latência. Os SSDs fornecem um débito mais elevado em comparação com os discos rígidos tradicionais. A transferência de ficheiros é muito mais rápida porque os dados são armazenados em chips de memória acessíveis instantaneamente. Todas as partes de uma unidade acessível ao mesmo tempo. Por outro lado, o desempenho de uma unidade de disco rígido (HDD) depende da proximidade dos dados com os cabeçalhos de leitura/escrita.

Cargas de trabalho de elevado desempenho

As contas de armazenamento de blobs de blocos Premium são ideais para cargas de trabalho que exigem tempos de resposta rápidos e consistentes e/ou têm um elevado número de operações de saída de entrada por segundo (IOP). As cargas de trabalho de exemplo incluem:

• Cargas de trabalho interativas. As aplicações altamente interativas e em tempo real têm de escrever dados rapidamente. Muitas vezes, as aplicações de comércio eletrónico e mapeamento requerem atualizações instantâneas e comentários dos utilizadores. Por exemplo, numa aplicação de comércio eletrónico, é provável que os itens visualizados com menos frequência não sejam colocados em cache. No entanto, têm de ser apresentadas instantaneamente ao cliente a pedido. A edição interativa ou as aplicações de jogos online multi player mantêm uma experiência de qualidade ao fornecer atualizações em tempo real.

• Análise de IoT/transmissão em fluxo. Num cenário de IoT, muitas operações de escrita mais pequenas podem ser enviadas para a cloud a cada segundo. Podem ser recolhidas grandes quantidades de dados, agregadas para fins de análise e, em seguida, eliminadas quase imediatamente. As elevadas capacidades de ingestão do armazenamento de blobs de blocos premium tornam-no eficiente para este tipo de carga de trabalho.

• Inteligência artificial/machine learning (IA/ML). A IA/ML lida com o consumo e o processamento de diferentes tipos de dados, como elementos visuais, voz e texto. Este tipo de carga de trabalho de computação de alto desempenho lida com grandes quantidades de dados que requerem resposta rápida e tempos de ingestão eficientes para análise de dados.

Rentabilidade

As contas de armazenamento de blobs de blocos Premium têm um custo de armazenamento mais elevado, mas um custo de transação mais baixo em comparação com as contas v2 para fins gerais padrão. Se as suas aplicações e cargas de trabalho executarem um grande número de transações, o armazenamento de blobs de blocos premium pode ser rentável, especialmente se a carga de trabalho for intensiva em termos de escrita.

Na maioria dos casos, as cargas de trabalho que executam mais de 35 a 40 transações por segundo por terabyte (TPS/TB) são boas candidatas para este tipo de conta. Por exemplo, se a carga de trabalho executar 500 milhões de operações de leitura e 100 milhões de operações de escrita num mês, pode calcular o TPS/TB da seguinte forma:

• Transações de escrita por segundo = 100 000 000 / (30 x 24 x 60 x 60) = 39 (arredondado para o número inteiro mais próximo)

• Transações de leitura por segundo = 500 000 000 / (30 x 24 x 60 x 60) = 193 (arredondado para o número inteiro mais próximo)

• Total de transações por segundo = 193 + 39 = 232

• Partindo do princípio de que a sua conta tinha, em média, 5 TB de dados, o TPS/TB seria 230/5 = 46.

A tabela seguinte demonstra a relação custo-eficácia das contas de armazenamento de blobs de blocos premium. Os números nesta tabela baseiam-se numa Azure Data Lake Storage Gen2 conta de armazenamento de blobs de blocos premium ativada (também conhecida como escalão premium para Azure Data Lake Storage). Cada coluna representa o número de transações num mês. Cada linha representa a percentagem de transações que são transações de leitura. Cada célula na tabela mostra a percentagem de redução de custos associada a uma percentagem de transação de leitura e o número de transações executadas.

Por exemplo, partindo do princípio de que a sua conta está na região E.U.A. Leste 2, o número de transações com a sua conta excede 90 M e 70% dessas transações são transações de leitura, as contas de armazenamento de blobs de blocos premium são mais económicas.

Cenários Premium

Esta secção contém exemplos reais de como alguns dos nossos parceiros de Armazenamento do Azure utilizam o armazenamento de blobs de blocos premium. Alguns deles também permitem Azure Data Lake Storage Gen2 que introduz uma estrutura de ficheiros hierárquica que pode melhorar ainda mais o desempenho das transações em determinados cenários.

Esta secção contém os seguintes exemplos:

• Contas de armazenamento de blobs de blocos Premium
  • Cargas de trabalho de elevado desempenho
  • Rentabilidade
  • Cenários Premium
    • Hidratação de dados rápida
    • Aplicações de edição interativas
    • Software de visualização de dados
    • Empresas de comércio eletrónico
    • Análise interativa
    • Pipelines de processamento de dados
    • Internet das Coisas (IoT)
    • Machine Learning
    • Análise de transmissão em fluxo em tempo real
  • Introdução ao premium
    • Verificar a compatibilidade das funcionalidades do Armazenamento de Blobs
    • Criar uma nova conta de Armazenamento
  • Ver também

Hidratação de dados rápida

O armazenamento de blobs de blocos Premium pode ajudá-lo a hidratar ou a criar rapidamente o seu ambiente. Em indústrias como a banca, certos requisitos regulamentares podem exigir que as empresas derrubem regularmente os seus ambientes e, em seguida, os tragam de novo do zero. Os dados utilizados para hidratar o ambiente têm de ser carregados rapidamente.

Alguns dos nossos parceiros armazenam uma cópia da instância do MongoDB todas as semanas para uma conta de armazenamento de blobs de blocos premium. O sistema é então derrubado. Para voltar a colocar o sistema online rapidamente, a cópia mais recente da instância do MongoDB é lida e carregada. Para efeitos de auditoria, as cópias anteriores são mantidas no armazenamento na cloud durante um período de tempo.

Aplicações de edição interativas

Nas aplicações em que vários utilizadores editam o mesmo conteúdo, a velocidade das atualizações torna-se fundamental para uma experiência de utilizador suave.

Alguns dos nossos parceiros desenvolvem software de edição de vídeo. Qualquer atualização que um utilizador efetue num vídeo é imediatamente visível para outros utilizadores. Os utilizadores podem concentrar-se nas respetivas tarefas em vez de aguardar que as atualizações de conteúdo apareçam. As baixas latências associadas ao armazenamento de blobs de blocos premium ajudam a criar esta experiência totalmente integrada e colaborativa.

Software de visualização de dados

Os utilizadores podem ser muito mais produtivos com o software de visualização de dados se o tempo de composição for rápido.

Vimos empresas no setor do mapeamento utilizarem editores de mapeamento para detetar problemas com mapas. Estes editores utilizam dados gerados a partir de dados gps (Global Positioning System) do cliente. Para criar sobreposições de mapas, o software de edição compõe pequenas secções de um mapa ao efetuar rapidamente pesquisas de chaves.

Num dos casos, antes de utilizar o armazenamento de blobs de blocos premium, um parceiro utilizou clusters HBase apoiados pelo armazenamento standard para fins gerais v2. No entanto, tornou-se dispendioso manter sempre grandes clusters em execução. Este parceiro decidiu afastar-se desta arquitetura e, em vez disso, utilizou o armazenamento de blobs de blocos premium para pesquisas de chaves rápidas. Para criar sobreposições, utilizaram APIs REST para compor mosaicos correspondentes a coordenadas GPS. A conta de armazenamento de blobs de blocos premium forneceu-lhes uma solução económica e as latências eram muito mais previsíveis.

Empresas de comércio eletrónico

Além de suportarem as lojas destinadas aos clientes, as empresas de comércio eletrónico também podem fornecer soluções de armazenamento e análise de dados a equipas internas. Vimos os parceiros utilizarem contas de armazenamento de blobs de blocos premium para suportar os requisitos de baixa latência por estas soluções de armazenamento e análise de dados. Num dos casos, uma equipa de catálogo mantém uma aplicação de armazenamento de dados relativamente a dados relacionados com ofertas, preços, métodos de envio, fornecedores, inventário e logística. As informações são consultadas, analisadas, extraídas e extraídas para vários casos de utilização. A equipa executa análises sobre estes dados para fornecer várias equipas de merchandising com informações e informações relevantes.

Análise interativa

Em quase todos os setores, é necessário que as empresas consultem e analisem os respetivos dados interativamente.

Os cientistas de dados, analistas e programadores podem obter informações sensíveis ao tempo mais rapidamente ao executar consultas em dados armazenados numa conta de armazenamento de blobs de blocos premium. Os executivos podem carregar os dashboards muito mais rapidamente quando os dados que aparecem nesses dashboards provêm de uma conta de armazenamento de blobs de blocos premium em vez de uma conta v2 para fins gerais padrão.

Num cenário, os analistas precisavam de analisar rapidamente os dados telemétricos de milhões de dispositivos para compreender melhor como os seus produtos são utilizados e para tomar decisões de lançamento de produtos. O armazenamento de dados em bases de dados SQL é dispendioso. Para reduzir os custos e aumentar a área de superfície queificável, utilizaram uma conta de armazenamento de blobs de blocos premium ativada Azure Data Lake Storage Gen2 e realizaram cálculos no Presto e no Spark para produzir informações a partir de tabelas do Hive. Desta forma, mesmo os dados acedidos raramente têm todo o mesmo poder de computação que os dados acedidos com frequência.

Para colmatar a lacuna entre o desempenho dos subsegundos do SQL e as operações de saída de entrada do Presto por segundo (IOPs) para o armazenamento externo, a consistência e a velocidade são fundamentais, especialmente quando se trata de pequenos ficheiros ORC (row columnar) otimizados. Uma conta de armazenamento de blobs de blocos premium, quando utilizada com Data Lake Storage Gen2, demonstrou repetidamente uma melhoria de desempenho 3X numa conta v2 para fins gerais padrão neste cenário. As consultas foram executadas com rapidez suficiente para se sentirem locais no computador de computação.

Noutro caso, um parceiro armazena e consulta registos gerados a partir da respetiva solução de segurança. Os registos são gerados com o Databricks e armazenados numa Data Lake Storage Gen2 conta de armazenamento de blobs de blocos premium ativada. Os utilizadores finais consultam e pesquisam estes dados com o Azure Data Explorer. Escolheram este tipo de conta para aumentar a estabilidade e aumentar o desempenho das consultas interativas. Também definem a política de gestão Delete Action do ciclo de vida para alguns dias, o que ajuda a reduzir os custos. Esta política impede-os de manter os dados para sempre. Em vez disso, os dados são eliminados assim que já não forem necessários.

Pipelines de processamento de dados

Em quase todos os setores, é necessário que as empresas processem dados. Os dados não processados de várias origens têm de ser limpos e processados para que se tornem úteis para o consumo a jusante em ferramentas como dashboards de dados que ajudam os utilizadores a tomar decisões.

Embora a velocidade de processamento nem sempre seja a principal preocupação no processamento de dados, alguns setores exigem isso. Por exemplo, muitas vezes, as empresas do setor dos serviços financeiros precisam de processar os dados de forma fiável e rápida. Para detetar fraudes, essas empresas têm de processar entradas de várias origens, identificar riscos para os seus clientes e tomar medidas rápidas.

Em alguns casos, vimos os parceiros utilizarem várias contas de armazenamento padrão para armazenar dados de várias origens. Alguns destes dados são então movidos para uma conta de armazenamento de blobs de blocos premium ativada Data Lake Storage, onde uma aplicação de processamento de dados lê frequentemente os dados que chegam recentemente. As chamadas de listagem de diretórios nesta conta eram muito mais rápidas e eram executadas de forma muito mais consistente do que efetuavam de outra forma numa conta v2 para fins gerais padrão. A velocidade e consistência oferecidas pela conta garantiram que os novos dados eram sempre disponibilizados para sistemas de processamento a jusante o mais rapidamente possível. Isto ajudou-os a apanhar e a agir rapidamente sobre potenciais riscos de segurança.

Internet das Coisas (IoT)

A IoT tornou-se uma parte significativa do nosso dia-a-dia. A IoT é utilizada para monitorizar movimentos de carros, luzes de controlo e monitorizar a nossa saúde. Também tem aplicações industriais. Por exemplo, as empresas utilizam o IoT para permitir os seus projetos de fábrica inteligente, melhorar a produção agrícola e em plataformas petrolíferas para manutenção preditiva. As contas de armazenamento de blobs de blocos Premium acrescentam valor significativo a estes cenários.

Temos parceiros na indústria mineira. Utilizam um Data Lake Storage Gen2 permitem que a conta de armazenamento de blobs de blocos premium, juntamente com o HDInsight (Hbase) ingira dados de sensores de série temporal de vários tipos de equipamentos mineiros, com um perfil de carga muito taxativo. O armazenamento de blobs de blocos Premium ajudou a satisfazer a sua necessidade de ingestão de taxa de amostra elevada. Também é rentável, uma vez que o armazenamento de blobs de blocos premium é otimizado para cargas de trabalho que realizam um grande número de transações de escrita e esta carga de trabalho gera um grande número de pequenas transações de escrita (nas dezenas de milhares por segundo).

Machine Learning

Em muitos casos, muitos dados têm de ser processados para preparar um modelo de machine learning. Para concluir este processamento, as máquinas de computação têm de ser executadas durante muito tempo. Em comparação com os custos de armazenamento, os custos de computação geralmente representam uma percentagem muito maior da sua fatura, pelo que reduzir a quantidade de tempo que as máquinas de computação executam pode levar a poupanças significativas. A baixa latência obtida com o armazenamento de blobs de blocos premium pode reduzir significativamente este tempo e a sua fatura.

Temos parceiros que implementam pipelines de processamento de dados em clusters do Spark onde executam a preparação e inferência de machine learning. Armazenam tabelas spark (ficheiros parquet) e pontos de verificação numa conta de armazenamento de blobs de blocos premium. Os pontos de verificação do Spark podem criar um grande número de ficheiros e pastas aninhados. As operações de listagem de diretórios são rápidas porque combinaram a baixa latência de uma conta de armazenamento de blobs de blocos premium com a estrutura de dados hierárquica disponibilizada com Data Lake Storage Gen2.

Também temos parceiros no setor dos semicondutores com casos de utilização que intersectam o IoT e o machine learning. Os dispositivos IoT ligados a máquinas na fábrica tiram imagens de bolachas de semicondutores e enviam-nas para a sua conta. Com a inferência de aprendizagem profunda, o sistema pode informar os computadores no local se existir um problema com a produção e se é necessário tomar uma ação. Podem carregar e processar imagens de forma rápida e fiável. Utilizar Data Lake Storage Gen2 conta de armazenamento de blobs de blocos premium ativada ajuda a tornar isto possível.

Análise de transmissão em fluxo em tempo real

Para suportar análises interativas quase em tempo real, um sistema tem de ingerir e processar grandes quantidades de dados e, em seguida, disponibilizar esses dados para sistemas a jusante. A utilização de uma conta de armazenamento de blobs de blocos premium ativada por Data Lake Storage Gen2 é perfeita para estes tipos de cenários.

As empresas da indústria dos media e do entretenimento podem gerar um grande número de registos e dados telemétricos num curto espaço de tempo à medida que transmitem um evento. Alguns dos nossos parceiros dependem de vários parceiros de rede de entrega de conteúdos (CDN) para transmissão em fluxo. Têm de tomar decisões quase em tempo real sobre a que parceiros da CDN devem alocar tráfego. Por conseguinte, os dados têm de estar disponíveis para consulta alguns segundos depois de serem ingeridos. Para facilitar esta tomada de decisão rápida, utilizam dados armazenados no armazenamento de blobs de blocos premium e processam esses dados no Azure Data Explorer (ADX). Toda a telemetria que é carregada para o armazenamento é transformada no ADX, onde pode ser armazenada num formato familiar que os operadores e executivos podem consultar de forma rápida e fiável.

Os dados são carregados para várias contas de Armazenamento de Blobs de desempenho premium. Cada conta está ligada a um recurso do Event Grid e do Hub de Eventos. O ADX obtém os dados do Armazenamento de Blobs e efetua as transformações necessárias para normalizar os dados (por exemplo: descomprimir ficheiros zip ou converter de JSON para CSV). Em seguida, os dados são disponibilizados para consulta através do ADX e dashboards apresentados no Grafana. Os dashboards do Grafana são utilizados por operadores, executivos e outros utilizadores. O cliente mantém os registos originais no armazenamento de desempenho premium ou copia-os para uma conta de armazenamento v2 para fins gerais, onde podem ser armazenados na camada de acesso frequente ou esporádico para retenção de longo prazo e análise futura.

Introdução ao premium

Primeiro, verifique se as funcionalidades favoritas do Armazenamento de Blobs são compatíveis com contas de armazenamento de blobs de blocos premium e, em seguida, crie a conta.

Verificar a compatibilidade das funcionalidades do Armazenamento de Blobs

Algumas funcionalidades do Armazenamento de Blobs ainda não são suportadas ou têm suporte parcial em contas de armazenamento de blobs de blocos premium. Antes de escolher premium, reveja o artigo Suporte de funcionalidades do Armazenamento de Blobs nas contas de Armazenamento do Azure para determinar se as funcionalidades que pretende utilizar são totalmente suportadas na sua conta. O suporte de funcionalidades está sempre em expansão, por isso, certifique-se de que revê periodicamente este artigo para obter atualizações.

Criar uma nova conta de Armazenamento

Para criar uma conta de armazenamento de blobs de blocos premium, certifique-se de que escolhe a opção desempenho Premium e o tipo de conta Bloquear blobs à medida que cria a conta.

Se a sua conta de armazenamento for utilizada para análise, recomendamos vivamente que utilize Azure Data Lake Storage Gen2 juntamente com uma conta de armazenamento de blobs de blocos premium. Para desbloquear Azure Data Lake Storage Gen2 capacidades, ative a definição Espaço de nomes hierárquico no separador Avançadas da página Criar conta de armazenamento.

A imagem seguinte mostra esta definição na página Criar conta de armazenamento .

Para obter orientações completas, veja Criar uma conta de armazenamento .

Ver também

• Descrição geral da conta de armazenamento
• Introdução ao Azure Data Lake Storage Gen2
• Criar uma conta de armazenamento para utilizar com Azure Data Lake Storage Gen2
• Escalão Premium para Azure Data Lake Storage