Seu trabalho é adequado para o Cache HPC do Azure?

  • Artigo

O Cache HPC do Azure pode acelerar o acesso a dados para trabalhos de computação de alto desempenho em várias disciplinas. Mas não é perfeito para todos os tipos de fluxos de trabalho. Este artigo fornece diretrizes sobre como decidir se o Cache HPC é uma boa opção para suas necessidades.

O artigo Visão geral também fornece um breve esboço de quando usar o Cache HPC do Azure e alguns exemplos de casos de uso.

Leia também este artigo sobre como fazer uso eficaz do armazenamento de blob montado em NFS.

Aplicativos NFS versão 3.0

O Cache HPC do Azure suporta apenas clientes NFS 3.0.

Alta relação leitura/gravação

Cargas de trabalho em que os clientes de computação fazem mais leitura do que escrita geralmente são bons candidatos para um cache. Por exemplo, se sua taxa de leitura para gravação for 80/20 ou 70/30, o Cache HPC do Azure pode ajudar servindo arquivos solicitados com freqüência do cache em vez de ter que buscá-los do armazenamento remoto repetidamente.

Buscar um arquivo e armazená-lo no cache pela primeira vez tem uma pequena latência adicional sobre uma solicitação de cliente normal diretamente para o armazenamento, de modo que o aumento de eficiência vem na próxima vez que um cliente solicita o mesmo arquivo. Isso é especialmente verdadeiro para arquivos grandes. Se cada solicitação do cliente for exclusiva, o impacto do cache HPC será limitado. Mas quanto maior o arquivo, melhor é o desempenho ao longo do tempo após esse primeiro acesso.

Carga de trabalho analítica baseada em arquivo

O Cache HPC do Azure é ideal para um pipeline que usa dados baseados em arquivo e é executado em um grande número de clientes de computação, especialmente se os clientes de computação forem máquinas virtuais do Azure. Ele pode ajudar a corrigir o desempenho lento ou inconsistente causado por longos tempos de acesso a arquivos.

Acesso remoto a dados

O Cache HPC do Azure pode ajudar a reduzir a latência se sua carga de trabalho precisar acessar dados remotos que não podem ser movidos para mais perto dos recursos de computação. Por exemplo, seus registros podem estar na extremidade de um ambiente WAN, em uma região diferente do Azure ou em um data center do cliente. (Isso às vezes é chamado de "file-bursting".)

Carga de solicitação pesada

Se um grande número de clientes solicitar dados da fonte ao mesmo tempo, o Cache HPC do Azure poderá acelerar o acesso aos arquivos. Por exemplo, quando usado com um cluster de computação de alto desempenho, o Cache HPC do Azure fornece escalabilidade para um grande número de solicitações simultâneas por meio do cache.

Os recursos de computação estão localizados no Azure

As máquinas virtuais do Azure são uma resposta escalável e econômica para a carga de trabalho de computação de alto desempenho. O Cache HPC do Azure pode ajudar aproximando as informações de que precisam, especialmente se os dados originais estiverem armazenados em um sistema remoto.

Se um cliente quiser executar seu pipeline atual "como está" em máquinas virtuais do Azure, o Cache HPC do Azure pode fornecer uma solução de armazenamento compartilhado (ou cache) baseada em POSIX para escalabilidade.

Usando o Cache HPC do Azure, você não precisa rearquitetar o pipeline de trabalho para fazer chamadas nativas para o armazenamento de Blob do Azure. Você pode acessar seus dados em seu sistema original ou usar o cache HPC para movê-los para um novo contêiner de blob.

Próximos passos