Diretrizes e padrões de migração do Armazenamento Azure Data Lake

Você pode migrar seus dados, cargas de trabalho e aplicativos do Azure Data Lake Storage Gen1 para o Azure Data Lake Storage Gen2. Este artigo explica a abordagem de migração recomendada e aborda os diferentes padrões de migração e quando usá-los. Para facilitar a leitura, este artigo usa o termo Gen1 para se referir ao Azure Data Lake Storage Gen1 e o termo Gen2 para se referir ao Azure Data Lake Storage Gen2.

O Azure Data Lake Storage Gen2 foi criado no armazenamento de Blobs do Azure e fornece um conjunto de recursos dedicados à análise de big data. O Data Lake Storage Gen2 combina recursos do Azure Data Lake Storage Gen1, como semântica do sistema de arquivos, segurança e escala em nível de diretório e arquivo com recursos de armazenamento hierárquico de baixo custo e alta disponibilidade/recuperação de desastres do armazenamento de Blob do Azure.

Abordagem recomendada

Para migrar de Gen1 para Gen2, recomendamos a seguinte abordagem.

Etapa 1: Avaliar a prontidão

Etapa 2: Preparar para migrar

Etapa 3: Migrar dados e cargas de trabalho de aplicativos

Passo 4: Transição de Gen1 para Gen2

Etapa 1: Avaliar a prontidão

1. Saiba mais sobre a oferta do Data Lake Storage Gen2, seus benefícios, custos e arquitetura geral.

2. Compare as capacidades do Gen1 com as do Gen2.

3. Analise uma lista de problemas conhecidos para avaliar quaisquer lacunas na funcionalidade.

4. O Gen2 oferece suporte a recursos de armazenamento de Blob, como log de diagnóstico, níveis de acesso e políticas de gerenciamento do ciclo de vida do armazenamento de Blob. Se você estiver interessado em usar qualquer um desses recursos, revise o nível atual de suporte.

5. Analise o estado atual do suporte ao ecossistema do Azure para garantir que o Gen2 ofereça suporte a quaisquer serviços dos quais suas soluções dependam.

Etapa 2: Preparar para migrar

1. Identifique os conjuntos de dados que você migrará.

   Aproveite esta oportunidade para limpar conjuntos de dados que já não utiliza. A menos que você planeje migrar todos os seus dados de uma só vez, reserve esse tempo para identificar grupos lógicos de dados que você pode migrar em fases.

   Realize uma Análise de Envelhecimento (ou similar) na sua conta Gen1 para identificar quais arquivos ou pastas permanecem no inventário por muito tempo ou talvez estejam se tornando obsoletos.

2. Determine o impacto que uma migração terá no seu negócio.

   Por exemplo, considere se você pode arcar com algum tempo de inatividade enquanto a migração ocorre. Essas considerações podem ajudá-lo a identificar um padrão de migração adequado e a escolher as ferramentas mais apropriadas.

3. Crie um plano de migração.

   Recomendamos esses padrões de migração. Você pode escolher um desses padrões, combiná-los ou criar um padrão personalizado próprio.

Etapa 3: Migrar dados, cargas de trabalho e aplicativos

Migre dados, cargas de trabalho e aplicativos usando o padrão de sua preferência. Recomendamos que você valide os cenários incrementalmente.

1. Crie uma conta de armazenamento e habilite o recurso de namespace hierárquico.

2. Migre seus dados.

3. Configure serviços em suas cargas de trabalho para apontar para seu ponto de extremidade Gen2.

   Para clusters HDInsight, você pode adicionar definições de configuração de conta de armazenamento ao arquivo %HADOOP_HOME%/conf/core-site.xml. Se você planeja migrar tabelas externas do Hive de Gen1 para Gen2, certifique-se de adicionar configurações de conta de armazenamento ao arquivo %HIVE_CONF_DIR%/hive-site.xml também.

   Você pode modificar as configurações de cada arquivo usando o Apache Ambari. Para localizar as configurações da conta de armazenamento, consulte Suporte do Hadoop Azure: ABFS — Azure Data Lake Storage Gen2. Este exemplo usa a configuração para habilitar a fs.azure.account.key autorização de Chave Compartilhada:

   <property>
     <name>fs.azure.account.key.abfswales1.dfs.core.windows.net</name>
     <value>your-key-goes-here</value>
   </property>
   

   Para obter links para artigos que ajudam a configurar o HDInsight, o Azure Databricks e outros serviços do Azure para usar o Gen2, consulte Serviços do Azure que dão suporte ao Azure Data Lake Storage Gen2.

4. Atualize os aplicativos para usar APIs Gen2. Consulte estes guias:

5. Atualize scripts para usar cmdlets do PowerShell do Data Lake Storage Gen2 e comandos da CLI do Azure.

6. Procure referências de URI que contenham a cadeia de caracteres adl:// em arquivos de código ou em notebooks Databricks, arquivos HQL do Apache Hive ou qualquer outro arquivo usado como parte de suas cargas de trabalho. Substitua essas referências pelo URI formatado em Gen2 da sua nova conta de armazenamento. Por exemplo: o URI Gen1: adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfile pode se tornar abfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.

7. Configure a segurança em sua conta para incluir funções do Azure, segurança em nível de arquivo e pasta e firewalls e redes virtuais do Armazenamento do Azure.

Passo 4: Transição de Gen1 para Gen2

Depois de ter certeza de que seus aplicativos e cargas de trabalho estão estáveis no Gen2, você pode começar a usar o Gen2 para satisfazer seus cenários de negócios. Desative todos os pipelines restantes que estão sendo executados no Gen1 e descomissione sua conta Gen1.

Capacidades Gen1 vs Gen2

Esta tabela compara as capacidades do Gen1 com as do Gen2.

Padrões Gen1 a Gen2

Escolha um padrão de migração e modifique-o conforme necessário.

Vamos dar uma olhada mais de perto em cada padrão.

Padrão de elevação e mudança

Este é o padrão mais simples.

1. Pare todas as gravações no Gen1.

2. Mova dados de Gen1 para Gen2. Recomendamos o Azure Data Factory ou usando o portal do Azure. As ACLs copiam com os dados.

3. Aponte operações de ingestão e cargas de trabalho para Gen2.

4. Descomissionamento Gen1.

Confira nosso código de exemplo para o padrão de elevação e mudança em nosso exemplo de migração de elevação e mudança.

Considerações sobre o uso do padrão de elevação e deslocamento

• Transferência de Gen1 para Gen2 para todas as cargas de trabalho ao mesmo tempo.

• Espere tempo de inatividade durante a migração e o período de substituição.

• Ideal para pipelines que podem suportar tempo de inatividade e todos os aplicativos podem ser atualizados de uma só vez.

Padrão de cópia incremental

1. Comece a mover dados de Gen1 para Gen2. Recomendamos o Azure Data Factory. As ACLs copiam com os dados.

2. Copie incrementalmente novos dados do Gen1.

3. Depois que todos os dados forem copiados, pare todas as gravações para Gen1 e aponte cargas de trabalho para Gen2.

4. Descomissionamento Gen1.

Confira nosso código de exemplo para o padrão de cópia incremental em nosso Exemplo de migração de cópia incremental.

Considerações sobre o uso do padrão de cópia incremental:

• Transferência de Gen1 para Gen2 para todas as cargas de trabalho ao mesmo tempo.

• Espere tempo de inatividade apenas durante o período de transição.

• Ideal para pipelines em que todos os aplicativos são atualizados ao mesmo tempo, mas a cópia de dados requer mais tempo.

Padrão de pipeline duplo

1. Mova dados de Gen1 para Gen2. Recomendamos o Azure Data Factory. As ACLs copiam com os dados.

2. Ingerir novos dados para Gen1 e Gen2.

3. Aponte cargas de trabalho para Gen2.

4. Pare todas as gravações para Gen1 e, em seguida, descomissione Gen1.

Confira nosso código de exemplo para o padrão de pipeline duplo em nosso exemplo de migração de pipeline duplo.

Considerações sobre o uso do padrão de pipeline duplo:

• Os oleodutos Gen1 e Gen2 funcionam lado a lado.

• Suporta zero tempo de inatividade.

• Ideal em situações em que suas cargas de trabalho e aplicativos não podem suportar nenhum tempo de inatividade, e você pode ingerir em ambas as contas de armazenamento.

Padrão de sincronização bidirecional

1. Configure a replicação bidirecional entre Gen1 e Gen2. Recomendamos o WanDisco. Ele oferece um recurso de reparo para dados existentes.

2. Quando todas as movimentações estiverem concluídas, interrompa todas as gravações no Gen1 e desative a replicação bidirecional.

3. Descomissionamento Gen1.

Confira nosso código de exemplo para o padrão de sincronização bidirecional em nosso exemplo de migração de sincronização bidirecional.

Considerações sobre o uso do padrão de sincronização bidirecional:

• Ideal para cenários complexos que envolvem um grande número de pipelines e dependências onde uma abordagem em fases pode fazer mais sentido.

• O esforço de migração é alto, mas fornece suporte lado a lado para Gen1 e Gen2.

Próximos passos

• Saiba mais sobre as várias partes da configuração de segurança para uma conta de armazenamento. Para obter mais informações, consulte o guia de segurança do Armazenamento do Azure.
• Otimize o desempenho do seu Repositório Data Lake. Consulte Otimizar o Azure Data Lake Storage Gen2 para desempenho
• Analise as práticas recomendadas para gerenciar seu Repositório Data Lake. Consulte Práticas recomendadas para usar o Azure Data Lake Storage Gen2

Consulte também

• Introdução ao Azure Data Lake Storage Gen2 (módulo de treinamento)
• Práticas recomendadas para usar o Azure Data Lake Storage Gen2
• Modelo de controle de acesso no Azure Data Lake Storage Gen2