Otimize o armazenamento com a desduplicação e a compactação do ReFS no Azure Stack HCI
Aplica-se a: Azure Stack HCI, versão 23H2
Este artigo descreve o recurso de desduplicação e compactação do Sistema de Arquivos Resiliente (ReFS) e como usar esse recurso no Azure Stack HCI para otimizar o armazenamento.
O que é desduplicação e compressão ReFS?
A desduplicação e a compactação do ReFS são um recurso de otimização de armazenamento projetado especificamente para cargas de trabalho ativas, como a VDI (infraestrutura de área de trabalho virtual) do Azure no Azure Stack HCI. Esse recurso ajuda a otimizar o uso do armazenamento e a reduzir os custos de armazenamento.
Esse recurso usa a clonagem de blocos do ReFS para reduzir a movimentação de dados e habilitar operações somente de metadados. O recurso opera no nível do bloco de dados e usa o tamanho do bloco fixo, dependendo do tamanho do cluster. O mecanismo de compressão gera um mapa de calor para identificar se um bloco deve ser elegível para compressão, otimizando para o uso da CPU.
Você pode executar a desduplicação e a compactação do ReFS como um trabalho único ou automatizá-lo com trabalhos agendados. Este recurso funciona com sistemas totalmente flash e híbridos e suporta várias configurações de resiliência, como espelho bidirecional, espelho bidirecional aninhado, espelho tridirecional e paridade acelerada por espelho.
Benefícios
Aqui estão os benefícios de usar a desduplicação e a compactação do ReFS:
- Economia de armazenamento para cargas de trabalho ativas. Projetado para cargas de trabalho ativas, como VDI, garantindo um desempenho eficiente em ambientes exigentes.
- Vários modos. Opera em três modos: somente desduplicação, somente compactação e desduplicação e compactação (modo padrão), permitindo otimização com base em suas necessidades.
- Desduplicação incremental. Desduplica apenas dados novos ou alterados, em vez de verificar todo o volume sempre, otimizando a duração do trabalho e reduzindo o impacto no desempenho do sistema.
Pré-requisitos
Antes de começar, certifique-se de que os seguintes pré-requisitos foram concluídos:
- Você tem acesso a um cluster HCI do Azure Stack que é implantado e registrado.
- Você tem o volume compartilhado do cluster (CSV) criado no cluster e tem acesso a ele.
- O CSV ainda não tem o recurso de Duplicação de Dados do Windows habilitado.
Usar desduplicação e compactação do ReFS
Você pode usar a desduplicação e a compactação do ReFS por meio do Windows Admin Center ou do PowerShell. O PowerShell permite trabalhos manuais e automatizados, enquanto o Windows Admin Center oferece suporte apenas a trabalhos agendados. Independentemente do método, você pode personalizar as configurações do trabalho e utilizar o controle de alterações de arquivos para execuções subsequentes mais rápidas.
Habilitar e executar a desduplicação e a compactação do ReFS
No Windows Admin Center, você pode criar um agendamento para que a desduplicação e a compactação do ReFS sejam executadas em um volume existente ou em um novo volume durante a criação do volume.
Siga estas etapas para habilitar a desduplicação e a compactação do ReFS por meio do Windows Admin Center e defina um cronograma quando ele deve ser executado:
Conecte-se a um cluster e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações. Para ativar a desduplicação e a compactação do ReFS para um novo volume, selecione + Criar.
No painel Configurações de volume à direita, na lista suspensa Mais opções, marque a caixa de seleção Usar desduplicação e compactação do ReFS.
Selecione os dias da semana em que a desduplicação e a compactação do ReFS devem ser executadas, o tempo para um trabalho começar a ser executado e a duração máxima (o padrão é ilimitado) e selecione Salvar.
A captura de tela a seguir mostra que a desduplicação e a compactação do ReFS são executadas na sexta-feira e no sábado, às 10h40, com duração máxima de 2 horas, a partir de 22/09/2023. Se a data de início foi alterada para 21/09/2023, a primeira execução ainda será 22/09/2023 às 10h40, pois essa é a primeira sexta-feira após 21/09/2023.
Verifique as alterações na seção Propriedades do volume. O agendamento aparece na seção Propriedades e exibe o detalhamento de economia e o próximo tempo de execução agendado. Essas economias são atualizadas após cada execução e você pode observar o impacto no desempenho nos gráficos na seção Desempenho .
Suspender trabalhos agendados
Suspender o cronograma cancela todos os trabalhos em execução e interrompe as execuções agendadas no futuro. Essa opção retém a desduplicação do ReFS e metadados relacionados à compactação e continua a rastrear alterações de arquivos para execuções futuras otimizadas. Você pode retomar a agenda a qualquer momento, com as configurações da agenda preservadas.
Siga estas etapas para suspender trabalhos agendados usando o Windows Admin Center:
Conecte-se a um cluster e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações.
No painel Configurações de volume à direita, em Mais opções suspensas, desmarque a caixa de seleção Definir agendamento e selecione Salvar.
Desabilitar a desduplicação e a compactação do ReFS em um volume
A desativação da desduplicação e compactação do ReFS em um volume interrompe todas as execuções em andamento e cancela trabalhos agendados futuros. Além disso, os metadados de volume relacionados não são retidos e o controle de alterações de arquivos é interrompido.
Quando você desabilita esse recurso, ele não desfaz a desduplicação ou a compactação, pois todas as operações ocorrem na camada de metadados. Com o tempo, os dados retornam ao seu estado original à medida que o volume incorre em leituras e gravações.
Nota
Você pode executar operações de descompactação usando ReFSUtilo .
Siga estas etapas para desabilitar o recurso usando o Windows Admin Center:
Conecte-se a um cluster e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações.
No painel Configurações de volume à direita, em Mais opções suspensas, desmarque a caixa de seleção Usar desduplicação e compactação do ReFS e selecione Salvar.
Perguntas mais frequentes (FAQ)
Esta seção responde a perguntas freqüentes sobre a desduplicação e a compactação do ReFS.
O recurso de desduplicação e compactação do ReFS é diferente da Desduplicação de Dados do Windows?
Sim, esse recurso é totalmente diferente do recurso de Eliminação de Duplicação de Dados do Windows.
Importante
Não suportamos a habilitação simultânea da desduplicação e compactação do ReFS e da desduplicação de dados do Windows.
A desduplicação e a compactação do ReFS foram projetadas para cargas de trabalho ativas, com foco na minimização do impacto no desempenho após a otimização. Ao contrário da Desduplicação de Dados do Windows, a desduplicação e a compactação do ReFS não usam um armazenamento de partes para armazenar dados enganados e não há nenhuma movimentação de dados físicos envolvida. O recurso depende da clonagem de blocos do ReFS para habilitar operações somente de metadados. A Desduplicação de Dados do Windows pode proporcionar melhores economias de armazenamento devido ao uso de tamanhos de bloco variáveis, também é adequada para uma gama mais ampla de tipos de carga de trabalho, como servidores de arquivos de uso geral (GPFS), destinos de backup e muito mais.
Quais são as fases de desduplicação e compressão do ReFS?
O processo de otimização compreende as seguintes fases que ocorrem sequencialmente e dependem do modo especificado. Se uma execução de otimização atingir um limite de duração, a compactação pode não ser executada.
Inicialização. Nesta fase, o volume de armazenamento é verificado para identificar blocos redundantes de dados.
Desduplicação de dados. Nesta fase, os blocos redundantes são de instância única e rastreados usando a clonagem de blocos ReFS.
Compressão. Nesta fase, um mapa de calor é gerado para identificar se um bloco deve ser elegível para compressão. As configurações padrão compactam dados acessados com pouca frequência ou frios para reduzir seu tamanho. Você pode alterar os níveis de compactação para ajustar o intervalo de blocos qualificados para compressão.
O que acontece quando o limite de duração é atingido antes que o volume seja totalmente otimizado?
O limite de duração está em vigor para evitar qualquer impacto no desempenho das cargas de trabalho do cliente causado pelo trabalho de otimização durante o horário comercial. Um serviço de desduplicação monitora as partes otimizadas de um volume e as modificações de arquivos recebidos. Esses dados são utilizados em trabalhos futuros para reduzir o tempo de otimização. Por exemplo, se um volume é apenas 30% processado na primeira execução devido ao limite de duração, a execução subsequente aborda os 70% restantes e quaisquer novos dados.
Problemas conhecidos
A seção a seguir lista os problemas conhecidos que existem atualmente com a desduplicação e a compactação do ReFS.
Quando a Compactação está habilitada, o uso do -FullRun parâmetro em trabalhos após a primeira execução de otimização pode resultar em um impasse no sistema.
Estado: Aberto.
Evite usar -FullRun em trabalhos iniciados manualmente, a menos que o Type seja Dedup.
Siga estas etapas como uma solução temporária para atenuar esse problema:
Desative a desduplicação e a compactação do ReFS no volume:
Disable-ReFSDedup -Volume <path>Descomprimir o volume utilizando
refsutil:refsutil compression /c /f NONE <vol>Reative a desduplicação e a compactação do ReFS com o
Dedupúnico modo, se necessário:Enable-ReFSDedup -Volume <path> -Type Dedup
Agendar trabalhos para serem executados simultaneamente em vários CSVs dentro de um único cluster pode potencialmente desencadear movimentos CSV e afetar negativamente o desempenho.
Estado: Aberto.
Como prática recomendada, considere escalonar a hora de início dos trabalhos para evitar qualquer sobreposição. No entanto, se todos os trabalhos tiverem de ser executados simultaneamente, ajuste a alocação de CPU por trabalho em todos os CSVs para que corresponda a menos de 50% da utilização geral da CPU do cluster. Lembre-se de que impor limitações de CPU pode resultar em tempos de execução de trabalho mais longos.
O trabalho de desduplicação e compactação do ReFS foi concluído (com êxito ou foi cancelado) e a economia de armazenamento não estão listados no Get-ReFSDedupStatus Windows Admin Center.
Estado: Resolvido.
A solução temporária para esse problema é iniciar um trabalho único e os resultados são atualizados imediatamente.
Start-ReFSDedupJob -Volume <path>
O envio interrompeu o monitoramento de eventos do Rastreamento de Eventos para Windows (ETW) depois de desabilitar a desduplicação e a compactação do ReFS em um volume.
Estado: Resolvido.
Depois que a desduplicação e a compactação do ReFS são desabilitadas em um volume, o canal ETW para desduplicação do ReFS registra repetidos eventos de monitoramento interrompidos. No entanto, não prevemos um impacto significativo na utilização devido a este problema.
Evento de falha de trabalho não registrado se o volume for movido para outro nó durante a compactação.
Estado: Resolvido.
Se o CSV for movido para outro servidor do cluster enquanto a compactação estiver em andamento, o evento de falha do trabalho não será registrado no canal de desduplicação do ReFS. No entanto, não prevemos um impacto significativo na utilização devido a este problema.