Contas de armazenamento de blobs de blocos Premium

Contas de armazenamento de blob de blocos Premium disponibilizam os dados por meio de hardware de alto desempenho. Os dados são armazenados em SSDs (unidades de estado sólido) que são otimizadas para baixa latência. As SSDs fornecem maior taxa de transferência em comparação com os discos rígidos tradicionais. A transferência de arquivos é muito mais rápida porque os dados são armazenados em chips de memória instantaneamente acessíveis. Todas as partes de uma unidade podem ser acessadas ao mesmo tempo. Por outro lado, o desempenho de uma unidade de disco rígido (HD) depende da proximidade dos dados com as cabeças de leitura/gravação.

Cargas de trabalho de alto desempenho

Contas de armazenamento de blob de blocos premium são ideais para cargas de trabalho que exigem tempos de resposta rápidos e consistentes e/ou têm um alto número de operações de saída e de entrada por segundo (IOP). As cargas de trabalho de exemplo incluem:

• Cargas de trabalho interativas. Aplicativos altamente interativos e em tempo real devem gravar dados rapidamente. Os aplicativos de comércio eletrônico e mapeamento geralmente exigem atualizações instantâneas e comentários do usuário. Por exemplo, em um aplicativo de comércio eletrônico, os itens exibidos com menos frequência provavelmente não são armazenados em cache. No entanto, eles precisam ser exibidos instantaneamente para o cliente sob demanda. Aplicativos de jogos online de edição interativa ou de múltiplos jogadores mantêm uma experiência de qualidade fornecendo atualizações em tempo real.

• Análise de IoT/streaming. Em um cenário de IoT, muitas operações de gravação menores podem ser enviadas para a nuvem a cada segundo. Grandes quantidades de dados podem ser usadas, agregadas para fins de análise e excluídas quase imediatamente. As funcionalidades de alta ingestão do Armazenamento de Blobs de Blocos Premium o tornam eficiente para esse tipo de carga de trabalho.

• IA/ML (inteligência artificial/aprendizado de máquina) . A IA/o ML lida com o consumo e o processamento de diferentes tipos de dados, como elementos visuais, fala e texto. Esse tipo de computação de alto desempenho de carga de trabalho lida com grandes quantidades de dados que exigem resposta rápida e tempos de ingestão eficientes para análise de dados.

Custo-benefício

Contas de armazenamento de blob de blocos premium têm um custo de armazenamento mais alto, mas um custo de transação menor em comparação com contas padrão de uso geral v2. Se seus aplicativos e cargas de trabalho executarem um grande número de transações, o armazenamento premium de blob de blocos poderá ser econômico, especialmente se a carga de trabalho for pesada para gravação.

Na maioria dos casos, as cargas de trabalho que executam mais do que 35 a 40 transações por segundo por terabyte (TPS/TB) são boas candidatas para esse tipo de conta. Por exemplo, se sua carga de trabalho executar 500 milhões de operações de leitura e 100 milhões de operações de gravação em um mês, você poderá calcular o TPS/TB da seguinte forma:

• Transações de gravação por segundo = 100.000.000 / (30 x 24 x 60 x 60) = 39 (arredondado para o número inteiro mais próximo)

• Transações de leitura por segundo = 500.000.000 / (30 x 24 x 60 x 60) = 193 (arredondado para o número inteiro mais próximo)

• Total de transações por segundo = 193 + 39 = 232

• Supondo que sua conta tenha 5TB de dados em média, o TPS/TB seria de 230 / 5 = 46.

A tabela a seguir demonstra a economia das contas de armazenamento de blob de blocos premium. Os números nesta tabela se baseiam em uma conta de armazenamento de blob de blocos Premium habilitada para Azure Data Lake Storage Gen2 (também conhecida como camada Premium do Azure Data Lake Storage). Cada coluna representa o número de transações em um mês. Cada linha representa a porcentagem de transações que são transações de leitura. Cada célula na tabela mostra a porcentagem de redução de custos associada a uma porcentagem de transação de leitura e o número de transações executadas.

Por exemplo, supondo que sua conta esteja na região Leste dos EUA 2 e o número de transações com sua conta exceda 90M, sendo 70% delas transações de leitura, as contas de armazenamento de blob de blocos serão mais econômicas.

Cenários do armazenamento Premium

Esta seção contém exemplos do mundo real de como alguns de nossos parceiros do Armazenamento do Microsoft Azure usam o armazenamento de blob de blocos premium. Alguns deles também habilitam o Azure Data Lake Storage Gen2, que introduz uma estrutura hierárquica de arquivos que pode aprimorar ainda mais o desempenho da transação em determinados cenários.

Esta seção contém os seguintes exemplos:

• Contas de armazenamento de blobs de blocos Premium
  • Cargas de trabalho de alto desempenho
  • Custo-benefício
  • Cenários do armazenamento Premium
    • Hidratação rápida de dados
    • Aplicativos de edição interativa
    • Software de visualização de dados
    • Empresas de comércio eletrônico
    • Análise interativa
    • Pipelines de processamento de dados
    • Internet das coisas (IoT)
    • Machine Learning
    • Análise de streaming em tempo real
  • Introdução ao premium
    • Verificar a compatibilidade do recurso de Armazenamento de Blobs
    • Criar uma conta de armazenamento
  • Consulte também

Hidratação rápida de dados

O armazenamento de blob de blocos premium pode ajudá-lo a hidratar ou abrir seu ambiente rapidamente. Em setores como o bancário, determinados requisitos regulatórios podem exigir que as empresas desativem regularmente seus ambientes e, em seguida, restaure-os do zero. Os dados usados para hidratar seu ambiente devem ser carregados rapidamente.

Alguns de nossos parceiros armazenam uma cópia de sua instância do MongoDB toda semana em uma conta de armazenamento de blob de blocos premium. Em seguida, o sistema é desativado. Para colocar o sistema online novamente de forma rápida, a cópia mais recente da instância do MongoDB é lida e carregada. Para fins de auditoria, as cópias anteriores são mantidas no armazenamento em nuvem por um período de tempo.

Aplicativos de edição interativa

Em aplicativos em que vários usuários editam o mesmo conteúdo, a velocidade das atualizações torna-se crítica para uma experiência mais tranquila do usuário.

Alguns de nossos parceiros desenvolvem software de edição de vídeo. Qualquer atualização que um usuário faça em um vídeo é imediatamente visível para outros usuários. Os usuários podem se concentrar em suas tarefas em vez de esperar que as atualizações de conteúdo sejam exibidas. As baixas latências associadas ao armazenamento Premium de blobs de blocos ajudam a criar essa experiência contínua e colaborativa.

Software de visualização de dados

Os usuários podem ser muito mais produtivos com o software de visualização de dados se o tempo de renderização for rápido.

Já vimos empresas no setor de mapeamento usarem editores de mapeamento para detectar problemas com mapas. Esses editores usam dados gerados com dados de GPS (Sistema de Posicionamento Global) do cliente. Para criar sobreposições de mapa, o software de edição renderiza pequenas seções de um mapa executando rapidamente as buscas principais.

Em um dos casos, antes de usar o armazenamento Premium de blobs de blocos, um parceiro usou clusters do HBase apoiados pelo armazenamento de uso geral Standard v2. No entanto, ficou caro manter clusters grandes em execução o tempo todo. Esse parceiro decidiu sair dessa arquitetura e, em vez disso, usou o armazenamento de blob de blocos premium para fazer buscas principais rápidas. Para criar sobreposições, eles usaram APIs REST para renderizar blocos correspondentes a coordenadas GPS. A conta de armazenamento de blob de blocos premium forneceu uma solução econômica, e as latências eram muito mais previsíveis.

Empresas de comércio eletrônico

Além de dar suporte às lojas voltadas para o cliente, as empresas de comércio eletrônico também podem fornecer soluções de análise e data warehouse para equipes internas. Já vimos os parceiros usarem as contas de armazenamento de blob de blocos premium para dar suporte aos requisitos de baixa latência por essas soluções de análise e data warehouse. Em um desses casos, uma equipe de catálogo mantém um aplicativo de data warehouse para dados que pertencem a ofertas, preços, métodos de envio, fornecedores, inventário e logística. As informações são consultadas, examinadas, extraídas e mineradas para vários casos de uso. A equipe executa análises sobre esses dados para fornecer a várias equipes de merchandising informações e insights relevantes.

Análise interativa

Em quase todos os setores, é necessário que as empresas consultem e analisem seus dados interativamente.

Cientistas de dados, analistas e desenvolvedores podem obter insights urgentes mais rapidamente executando consultas em dados armazenados em uma conta de armazenamento de blob de blocos premium. Os executivos podem carregar seus painéis muito mais rapidamente quando os dados que aparecem neles vêm de uma conta de armazenamento de blob de blocos premium em vez de uma conta de uso geral padrão v2.

Em um cenário, os analistas precisavam analisar rapidamente dados de telemetria de milhões de dispositivos para entender melhor como seus produtos são usados e tomar decisões sobre o lançamento do produto. Armazenar dados em bancos de dados SQL é caro. Para reduzir o custo e aumentar a área da superfície passível de consulta, eles usaram uma conta de armazenamento de blob de blocos premium habilitada para Azure Data Lake Storage Gen2 e executam a computação no Presto e no Spark para produzir insights de tabelas do hive. Dessa forma, até mesmo os dados acessados raramente têm o mesmo poder de computação que os dados acessados com frequência.

Para fechar a lacuna entre o desempenho em fração de segundos do SQL e as operações de entrada e saída por segundo (IOPs) do Presto para o armazenamento externo, a consistência e a velocidade são críticas, especialmente ao lidar com pequenos arquivos colunares de linha otimizados (OCR). Uma conta de armazenamento de blob de blocos premium, quando usada com o Data Lake Storage Gen2, demonstrou repetidamente uma melhoria de desempenho de 3X em relação a uma conta de uso geral padrão v2 nesse cenário. As consultas foram executadas com rapidez suficiente para pareceram locais na máquina de computação.

Em outro caso, um parceiro armazena e consulta logs gerados a partir de sua solução de segurança. Os logs são gerados usando o Databricks, e, então, são armazenados em uma conta de armazenamento de blob de blocos premium habilitada para Data Lake Storage Gen2. Os usuários finais consultam e pesquisam esses dados usando o Azure Data Explorer. Eles escolhem esse tipo de conta para aumentar a estabilidade e aumentar o desempenho de consultas interativas. Eles também configuram a política Delete Action de gerenciamento do ciclo de vida para alguns dias, o que ajuda a reduzir os custos. Essa política impede que eles mantenham os dados para sempre. Em vez disso, os dados são excluídos após não serem mais necessários.

Pipelines de processamento de dados

Em quase todos os setores, há uma necessidade de as empresas processarem dados. Os dados brutos de várias fontes precisam ser limpos e processados para que se tornem úteis para o consumo downstream em ferramentas como os painéis de dados que ajudam os usuários a tomar decisões.

Embora a velocidade de processamento nem sempre seja a principal preocupação ao processar dados, alguns setores exigem isso. Por exemplo, as empresas no setor de serviços financeiros geralmente precisam processar dados de forma confiável e da maneira mais rápida possível. Para detectar fraudes, essas empresas devem processar entradas de várias fontes, identificar riscos para seus clientes e tomar medidas rápidas.

Em alguns casos, vimos que os parceiros usam várias contas de armazenamento padrão para armazenar dados de várias fontes. Em seguida, alguns desses dados são movidos para uma conta de armazenamento de blob de blocos premium habilitada para Data Lake Storage, onde um aplicativo de processamento de dados lê frequentemente os dados recém-chegados. As chamadas de listagem de diretório nessa conta foram muito mais rápidas e executadas de forma muito mais consistente do seriam em uma conta padrão de uso geral v2. A velocidade e a consistência oferecidas pela conta garantiram que novos dados sempre fossem disponibilizados para sistemas de processamento downstream, o mais rápido possível. Isso ajudou os parceiros a detectarem possíveis riscos de segurança e agir para corrigi-los imediatamente.

Internet das coisas (IoT)

A IoT se tornou uma parte significativa de nossa vida diária. A IoT é usada para rastrear os movimentos do carro, controlar as luzes e monitorar nossa saúde. Ela também tem aplicações industriais. Por exemplo, as empresas usam a IoT para habilitar seus projetos de fábrica inteligente, melhorar a saída agrícola e em plataformas de petróleo para manutenção preditiva. Contas de armazenamento de blob de blocos premium adicionam um valor significativo a esses cenários.

Temos parceiros no setor de mineração. Eles usam uma conta de armazenamento de blob de blocos premium habilitada para Data Lake Storage Gen2 junto com o HDInsight (Hbase) para ingerir dados de sensor de séries temporal de vários tipos de equipamentos de mineração, com um perfil de carga muito exigente. O armazenamento de blob de blocos premium ajudou a atender à necessidade de ingestão de alta taxa de amostragem. Também é econômico, pois o armazenamento de blob de blocos premium é otimizado para custos para cargas de trabalho que executam um grande número de transações de gravação, e essa carga de trabalho gera um grande número de pequenas transações de gravação (na casa das dezenas de milhares por segundo).

Machine Learning

Em muitos casos, muitos dados devem ser processados para treinar um modelo de machine learning. Para concluir esse processamento, as máquinas de computação devem ficar em execução por muito tempo. Em comparação com os custos de armazenamento, os custos de computação geralmente representam um percentual muito maior de sua fatura, portanto, reduzir a quantidade de tempo que suas máquinas de computação ficam em execução pode levar a uma economia significativa. A baixa latência obtida ao usar o armazenamento de blob de blocos premium pode reduzir significativamente esse tempo e sua fatura.

Temos parceiros que implantam pipelines de processamento de dados em clusters do Spark onde executam a inferência e o treinamento de aprendizado de máquina. Eles armazenam tabelas do Spark (arquivos parquet) e pontos de verificação em uma conta de armazenamento de blob de blocos premium. Os pontos de verificação do Spark podem criar um grande número de arquivos e pastas aninhados. Suas operações de listagem de diretório são rápidas porque combinam a baixa latência de uma conta de armazenamento de blob de blocos premium com a estrutura de dados hierárquica disponibilizada com o Data Lake Storage Gen2.

Também temos parceiros no setor de semicondutores com casos de uso que combinam IoT e aprendizado de máquina. Dispositivos IoT anexados a máquinas na fábrica capturam imagens de wafers de semicondutor e as enviam para suas contas. Usando a inferência de aprendizado profundo, o sistema poderá informar os computadores locais se houver um problema com a produção e se for necessário realizar alguma ação. Eles devem ser capazes de carregar e processar imagens de forma rápida e confiável. Usar a conta de armazenamento de blob de blocos premium habilitada para Data Lake Storage Gen2 ajuda a tornar isso possível.

Análise de streaming em tempo real

Para dar suporte à análise interativa quase em tempo real, um sistema deve ingerir e processar grandes quantidades de dados e, em seguida, disponibilizá-los para sistemas downstream. O uso de uma conta de armazenamento de blob de blocos premium habilitada para Data Lake Storage Gen2 é perfeito para esses tipos de cenários.

As empresas do setor de mídia e entretenimento podem gerar um grande número de logs e dados de telemetria em um curto período de tempo à medida que transmitem um evento. Alguns de nossos parceiros dependem de vários parceiros de rede de distribuição de conteúdo (CDN) para streaming. Eles devem tomar decisões quase em tempo real sobre para qual parceiros de CDN alocar o tráfego. Portanto, os dados precisam estar disponíveis para consulta apenas alguns segundos após serem ingeridos. Para facilitar essa rápida tomada de decisão, eles usam os dados armazenados no armazenamento Premium de blob de blocos e processam esses dados no ADX (Azure Data Explorer). Toda a telemetria carregada no armazenamento é transformada em ADX, onde ela pode ser armazenada em um formato conhecido no qual os operadores e executivos podem consultar de forma rápida e confiável.

Os dados são carregados em diversas contas de Armazenamento de Blobs de desempenho premium. Cada conta está conectada a um recurso da Grade de Eventos e do Hub de Eventos. O ADX recupera os dados do Armazenamento de Blobs, executa as transformações necessárias para normalizar os dados (por exemplo: descompactando arquivos zip ou convertendo de JSON para CSV). Em seguida, os dados são disponibilizados para consulta por meio do ADX e painéis exibidos no Grafana. Os painéis do Grafana são usados por operadores, executivos e outros usuários. O cliente retém seus logs originais no armazenamento de desempenho premium ou os copia para uma conta de armazenamento de uso geral v2 onde podem ser armazenados na camada de acesso frequente ou esporádico para retenção de longo prazo e análise futura.

Introdução ao premium

Primeiro, verifique se seus recursos favoritos do Armazenamento de Blobs são compatíveis com as contas de armazenamento de blob de blocos premium e, em seguida, crie a conta.

Verificar a compatibilidade do recurso de Armazenamento de Blobs

Alguns recursos do Armazenamento de Blobs ainda não têm suporte ou têm suporte parcial nas contas de armazenamento de blob de blocos premium. Antes de escolher utilizar o premium, reveja o artigo Suporte ao recurso de Armazenamento de Blobs em contas do Armazenamento do Azure para determinar se um recurso que você pretende utilizar tem suporte total em sua conta. O suporte ao recurso está sempre se expandindo, então lembre-se de examinar periodicamente este artigo para obter atualizações.

Criar uma nova conta de Armazenamento

Para criar um conta de armazenamento de blob de blocos premium, certifique-se de escolher a opção de desempenho Premium e o tipo de conta Blob de blocos ao criar a conta.

Se sua conta de armazenamento for usada para análise, é altamente recomendável usar o Azure Data Lake Storage Gen2 juntamente com uma conta de armazenamento de blob de blocos premium. Para desbloquear os recursos do Azure Data Lake Storage Gen2, habilite a configuração Namespace hierárquico na guia Avançado da página Criar conta de armazenamento.

A imagem a seguir mostra essa configuração na página Criar conta de armazenamento.

Para obter orientação completa, confira Como criar uma conta de armazenamento.

Confira também

• Visão geral da conta de armazenamento
• Introdução ao Azure Data Lake Storage Gen2
• Criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2
• Camada Premium para Azure Data Lake Storage