Tutorial: copiar dados para o Azure Data Box Disk e verificar

Copiar dados para o Azure Data Box Disk e validá-los

Depois que os discos estiverem conectados e desbloqueados, você poderá copiar dados do servidor de dados de origem para os discos. Após a cópia dos dados ser concluída, valide-os para garantir que eles sejam carregados com êxito no Azure.

Este tutorial descreve como copiar dados do computador host e gerar somas de verificação para verificar a integridade dos dados.

Neste tutorial, você aprenderá a:

Pré-requisitos

Antes de começar, verifique se:

• Você concluiu o Tutorial: instalar e configurar o Azure Data Box Disk.
• Os discos são desbloqueados e conectados a um computador cliente.
• O computador cliente usado para copiar dados para os discos está executando um Sistema operacional com suporte.
• O tipo de armazenamento pretendido para seus dados corresponde aos Tipos de armazenamento com suporte.
• Você revisou os Limites de disco gerenciados nos Limites de tamanho de objeto do Azure.

Determinar as camadas de acesso apropriadas para blob de blocos

O Armazenamento do Microsoft Azure permite que você armazene dados de blob de blocos em vários camadas de acesso dentro da mesma conta de armazenamento. Essa capacidade permite que os dados sejam organizados e armazenados de forma mais eficiente com base na frequência com que são acessados. A tabela a seguir contém informações e recomendações sobre as camadas de acesso do Armazenamento do Microsoft Azure.

Para obter mais informações sobre as camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter melhores práticas mais detalhadas, consulte melhores práticas para o uso de camadas de acesso de blobs.

Você pode transferir seus dados de blob de blocos para a camada de acesso apropriada copiando-os para a pasta correspondente no Azure Data Box Disk. Esse processo é discutido em mais detalhes na seção Copiar dados para discos.

Copiar dados para os discos

Antes de copiar dados para os discos, analise as considerações a seguir:

• É de sua responsabilidade copiar os dados locais para o compartilhamento que corresponde ao formato de dados apropriado. Por exemplo, copie os dados de blob de blocos para o compartilhamento BlockBlob. Copie VHDs para o compartilhamento PageBlob. Se o formato de dados local não corresponder à pasta apropriada para o tipo de armazenamento escolhido, o upload de dados para o Azure falhará em uma etapa posterior.

• Não é possível copiar dados diretamente para a pasta raiz de um compartilhamento. Em vez disso, crie uma pasta dentro do compartilhamento apropriado e copie seus dados para ela.

  • As pastas localizadas na PageBlob do compartilhamento raiz correspondem a contêineres da sua conta de armazenamento. Será criado um novo contêiner para qualquer pasta cujo nome não corresponda a um contêiner existente na sua conta de armazenamento.

  • As pastas localizadas no AzFile do compartilhamento raiz correspondem aos compartilhamentos de Arquivos do Azure. Será criado um novo compartilhamento de arquivo para qualquer pasta cujo nome não corresponda a um compartilhamento de arquivo existente em sua conta de armazenamento.

  • O nível BlockBlob do compartilhamento raiz contém uma pasta correspondente a cada camada de acesso. Ao copiar dados para o compartilhamento BlockBlob, crie uma subpasta dentro da pasta de nível superior correspondente à camada de acesso desejado. Assim como no compartilhamento PageBlob, um novo contêiner será criado para qualquer pasta cujo nome não corresponda a um contêiner existente. Os dados do contêiner serão copiados para a camada correspondente ao pai de nível superior da subpasta.

    Um contêiner também é criado para qualquer pasta residente na raiz do compartilhamento BlockBlob e os dados que ele contém são copiados para a camada de acesso padrão do contêiner. Para garantir que seus dados sejam copiados para a camada de acesso desejada, não crie pastas no nível raiz.

  Importante

  Os dados carregados para a camada de armazenamento de arquivos permanecem offline e precisam ser reidratados antes de serem lidos ou modificados. Os dados copiados para a camada de armazenamento de arquivos devem permanecer por pelo menos 180 dias ou estarão sujeitos a uma taxa de exclusão antecipada. A camada de armazenamento de arquivos não é tem suporte com as contas ZRS, GZRS ou RA-GZRS.

• Ao copiar dados, certifique-se de que o tamanho dos dados esteja em conformidade com os limites de tamanho descritos no artigo Armazenamento do Microsoft Azure e limites do Azure Data Box Disk.

• Não desabilite a criptografia do BitLocker no Data Box Disks. Desabilitar a criptografia do BitLocker resulta em falha de upload após o retorno dos discos. Desabilitar o BitLocker também deixa os discos em um estado desbloqueado, criando problemas de segurança.

• Para preservar metadados como ACLs, carimbos de data/hora e atributos de arquivo ao transferir dados para o Arquivos do Azure, siga as diretrizes do artigo Preservando ACLs, atributos e carimbos de data/hora de arquivos com o Azure Data Box Disk.

• Se você usar o Azure Data Box Disk e outros aplicativos para fazer upload de dados simultaneamente, poderá ocorrer falha e corrupção de dados no trabalho de upload.

  Importante

  Se você especificou os discos gerenciados como um dos destinos de armazenamento durante a criação do pedido, a seção a seguir é aplicável.

• Certifique-se de que os discos rígidos virtuais (VHDs) carregados para as pastas pré-criadas tenham nomes exclusivos dentro dos grupos de recursos. Os discos gerenciados devem ter nomes exclusivos dentro de um grupo de recursos em todas as pastas pré-criadas no Azure Data Box Disk. Se estiver usando vários Azure Data Box Disks, os nomes dos discos gerenciados deverão ser exclusivos em todas as pastas e discos. Quando são encontrados VHDs com nomes duplicados, apenas um é convertido em um disco gerenciado com esse nome. Os VHDs restantes são carregados como blobs de página na conta de armazenamento de preparação.

• Sempre copie os VHDs para uma das pastas pré-criadas. Os VHDs colocados fora dessas pastas ou em uma pasta criada por você são carregados para contas de Armazenamento do Microsoft Azure como blobs de página em vez de discos gerenciados.

• Somente VHDs fixos podem ser carregados para criar discos gerenciados. Não há suporte para VHDs dinâmicos, VHDs diferenciais e arquivos VHDX.

• As ferramentas de divisão de cópia e validação do Azure Data Box Disk, DataBoxDiskSplitCopy.exe e DataBoxDiskValidation.cmd, relatam falhas ao processar caminhos longos. Essas falhas são comuns quando os caminhos longos não estão habilitados no cliente e os caminhos e nomes de arquivos da sua cópia de dados excedem 256 caracteres. Para evitar essas falhas, siga as diretrizes do artigo Habilitar caminhos longos em seu cliente Windows.

Execute as seguintes etapas para fazer a conexão e copiar dados do computador para o Data Box Disk.

1. Exiba o conteúdo da unidade desbloqueada. A lista de pastas e subpastas pré-criadas na unidade varia de acordo com as opções selecionadas ao colocar a ordem do Azure Data Box Disk. A criação de pastas extras não é permitida, pois a cópia de dados para uma pasta criada pelo usuário causa falhas no upload.

   Destino de armazenamento selecionado	Tipo de conta de armazenamento	Tipo de conta de armazenamento de preparo	Pastas e subpastas
   Conta de armazenamento	GPv1 ou GPv2	NA	BlockBlob Arquivos Frio Esporádico Frequente PageBlob AzureFile
   Conta de armazenamento	Conta de armazenamento de blobs	NA	BlockBlob Arquivos Frio Esporádico Frequente
   Discos gerenciados	NA	GPv1 ou GPv2	ManagedDisk PremiumSSD StandardSSD StandardHDD
   Conta de armazenamento Discos gerenciados	GPv1 ou GPv2	GPv1 ou GPv2	BlockBlob Arquivos Frio Esporádico Frequente PageBlob AzureFile ManagedDisk PremiumSSD StandardSSD StandardHDD
   Conta de armazenamento Discos gerenciados	Conta de armazenamento de blobs	GPv1 ou GPv2	BlockBlob Arquivos Frio Esporádico Frequente ManagedDisk PremiumSSD StandardSSD StandardHDD

   A captura de tela a seguir mostra um pedido em que uma conta de armazenamento GPv2 e uma camada de armazenamento de arquivos foram especificadas:

   

2. Copiar dados VHD ou VHDX para a pasta PageBlob. Todos os arquivos copiados para a pasta PageBlob são copiados para um contêiner $root padrão dentro da conta de Armazenamento do Microsoft Azure. É criado um contêiner na conta de Armazenamento do Microsoft Azure para cada subpasta dentro da pasta PageBlob.

   Copie os dados a serem colocados nos compartilhamentos de Arquivos do Azure para uma subpasta dentro da pasta AzureFile. Todos os arquivos copiados para a pasta AzureFile são copiados como arquivos para um contêiner padrão do tipo databox-format-[GUID], por exemplo, databox-azurefile-7ee19cfb3304122d940461783e97bf7b4290a1d7.

   Não é possível copiar arquivos diretamente para a pasta raiz do BlockBlob. Na pasta raiz, você encontrará uma subpasta correspondente a cada uma das camadas de acesso disponíveis. Para copiar os dados de blob, você deve primeiro selecionar a pasta correspondente a uma das camadas de acesso. Em seguida, crie uma subpasta dentro da pasta dessa camada para armazenar seus dados. Por fim, copie seus dados para a subpasta recém-criada. Sua nova subpasta representa o contêiner criado na conta de armazenamento durante a ingestão. Seus dados são carregados nesse contêiner como blobs. Da mesma forma que o compartilhamento AzureFile, um novo contêiner de armazenamento de blobs será criado para cada subpasta localizada na pasta raiz do BlockBlob. Os dados contidos nessas pastas são salvos de acordo com o camada de acesso padrão da conta de armazenamento.

   Antes de começar a copiar os dados, é necessário mover todos os arquivos e pastas existentes no diretório raiz para uma pasta diferente.

   Importante

   Todos os contêineres, blobs e nomes de arquivos devem estar em conformidade com as convenções de nomenclatura do Azure. Se essas regras não forem seguidas, o carregamento de dados do Azure falhará.

3. Ao copiar arquivos, certifique-se de que eles não excedam 4,7 TiB para blob de blocos, 8 TiB para blobs de página e 1 TiB para Arquivos do Azure.

4. Você pode usar a funcionalidade de arrastar e soltar do Explorador de Arquivos para copiar os dados. Você também pode usar qualquer ferramenta de cópia de arquivo compatível com SMB, como Robocopy, para copiar seus dados.

   Uma vantagem de usar uma ferramenta de cópia de arquivos é a capacidade de iniciar vários trabalhos de cópia, como no exemplo a seguir, usando a ferramenta Robocopy:

   Robocopy <source> <destination> * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt

   Observação

   Os parâmetros usados neste exemplo são baseados no ambiente usado durante os testes internos. Seus parâmetros e valores provavelmente serão diferentes.

   Os parâmetros e as opções do comando são usados da seguinte forma:

   Parâmetros/Opções	Descrição
   Fonte	Especifica o caminho para o diretório de origem.
   Destino	Especifica o caminho para o diretório de destino.
   /E	Copia subdiretórios, inclusive diretórios vazios.
   /MT[:n]	Cria cópias com vários threads com n threads, em que n é um número inteiro entre 1 e 128. O valor padrão para n é 8.
   /R: <n>	Especifica o número de repetições em cópias com falha. O valor padrão de n é 1.000.000 de tentativas.
   /W: <n>	Especifica o tempo de espera entre as tentativas, em segundos. O valor padrão de n é 30 e equivale a um tempo de espera de 30 segundos.
   / NFL	Especifica que os nomes de arquivo não são registrados.
   /NDL	Especifica que os nomes de diretório não devem ser registrados.
   /FFT	Pressupõe tempos de arquivo FAT com uma precisão de resolução de dois segundos.
   /Log:<arquivo de log>	Grava a saída de status no arquivo de log. Qualquer arquivo de log existente será sobrescrito.

   Vários discos podem ser usados em paralelo com vários trabalhos em execução em cada disco. Lembre-se de que os nomes de arquivos duplicados são sobrescritos ou resultam em um erro de cópia.

5. Verifique o status da cópia quando o trabalho está em andamento. O exemplo a seguir mostra a saída do comando robocopy para copiar arquivos no Data Box Disk.

   
   C:\Users>robocopy
   -------------------------------------------------------------------------------
      ROBOCOPY     ::     Robust File Copy for Windows
   -------------------------------------------------------------------------------
   
      Started : Thursday, March 8, 2018 2:34:53 PM
         Simple Usage :: ROBOCOPY source destination /MIR
   
               source :: Source Directory (drive:\path or \\server\share\path).
          destination :: Destination Dir  (drive:\path or \\server\share\path).
                 /MIR :: Mirror a complete directory tree.
   
     For more usage information run ROBOCOPY /?    
   
     ****  /MIR can DELETE files as well as copy them !
   
   C:\Users>Robocopy C:\Repository\guides \\10.126.76.172\AzFileUL\templates /MT:64 /E /R:1 /W:1 /FFT 
   -------------------------------------------------------------------------------
      ROBOCOPY     ::     Robust File Copy for Windows
   -------------------------------------------------------------------------------
   
      Started : Thursday, March 8, 2018 2:34:58 PM
       Source : C:\Repository\guides\
         Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
   
        Files : *.*
   
      Options : *.* /DCOPY:DA /COPY:DAT /MT:8 /R:1000000 /W:30
   
    ------------------------------------------------------------------------------
   
    100%    New File    206    C:\Repository\guides\article-metadata.md
    100%    New File    209    C:\Repository\guides\content-channel-guidance.md
    100%    New File    732    C:\Repository\guides\index.md
    100%    New File    199    C:\Repository\guides\pr-criteria.md
    100%    New File    178    C:\Repository\guides\pull-request-co.md
    100%    New File    250    C:\Repository\guides\pull-request-ete.md
    100%    New File    174    C:\Repository\guides\create-images-markdown.md
    100%    New File    197    C:\Repository\guides\create-links-markdown.md
    100%    New File    184    C:\Repository\guides\create-tables-markdown.md
    100%    New File    208    C:\Repository\guides\custom-markdown-extensions.md
    100%    New File    210    C:\Repository\guides\file-names-and-locations.md
    100%    New File    234    C:\Repository\guides\git-commands-for-master.md
    100%    New File    186    C:\Repository\guides\release-branches.md
    100%    New File    240    C:\Repository\guides\retire-or-rename-an-article.md
    100%    New File    215    C:\Repository\guides\style-and-voice.md
    100%    New File    212    C:\Repository\guides\syntax-highlighting-markdown.md
    100%    New File    207    C:\Repository\guides\tools-and-setup.md
    ------------------------------------------------------------------------------
   
                   Total    Copied   Skipped  Mismatch    FAILED    Extras
        Dirs :         1         1         1         0         0         0
       Files :        17        17         0         0         0         0
       Bytes :     3.9 k     3.9 k         0         0         0         0
       Times :   0:00:05   0:00:00                       0:00:00   0:00:00
   
       Speed :                5620 Bytes/sec.
       Speed :               0.321 MegaBytes/min.
       Ended : Thursday, August 31, 2023 2:34:59 PM
   
   

   Para otimizar o desempenho, use os seguintes parâmetros de robocopy ao copiar os dados.

   Plataforma	Principalmente arquivos pequenos < 512 KB	Principalmente arquivos médios 512 KB a 1 MB	Principalmente arquivos grandes > 1 MB
   Data Box Disk	4 sessões do Robocopy* 16 threads por sessão	2 sessões de Robocopy* 16 threads por sessão	2 sessões de Robocopy* 16 threads por sessão

   *Cada sessão do Robocopy pode ter no máximo 7 mil diretórios e 150 milhões de arquivos.

   Para obter mais informações sobre o comando Robocopy, leia o artigo Robocopy e alguns exemplos.

6. Abra a pasta de destino e, em seguida, exiba e verifique os arquivos copiados. Se você receber erros durante o processo de cópia, baixe os arquivos de log para solucionar problemas. A saída do comando robocopy especifica o local dos arquivos de log.

Dividir e copiar dados para os discos

A ferramenta Data Box Split Copy ajuda a dividir e copiar dados em dois ou mais Azure Data Box Disks. A ferramenta só está disponível para uso em um computador Windows. Esse procedimento opcional é útil quando você tem um grande conjunto de dados que precisa ser dividido e copiado em vários discos.

1. No seu computador Windows, verifique se você tem uma ferramenta Data Box Split Copy baixada e extraída em uma pasta local. Essa ferramenta está incluída no conjunto de ferramentas do Azure Data Box Disk para Windows.

2. Abra o Explorador de Arquivos. Anote a unidade da fonte de dados e as letras das unidades atribuídas ao Data Box Disk.

   

3. Identifique os dados de origem para copiar. Por exemplo, nesse caso:

   • Os seguintes dados de blob de blocos foram identificados.

     

   • Os dados do blob de páginas a seguir foram identificados.

     

4. Navegue até a pasta em que o software foi extraído e localize o arquivo SampleConfig.json. Esse arquivo é um arquivo somente de leitura que pode ser modificado e salvo.

   

5. Modifique o arquivo SampleConfig.json.

   • Forneça um nome de trabalho. Uma pasta com esse nome é criada no Azure Data Box Disk. O nome também é usado para criar um contêiner na conta de armazenamento do Azure associada a esses discos. O nome do trabalho deve seguir as convenções de nomenclatura de contêineres do Azure.

   • Forneça um caminho de origem, observando o formato do caminho no SampleConfigFile.json.

   • Insira as letras das unidades correspondentes aos discos de destino. Os dados são extraídos do caminho de origem e copiados em vários discos.

   • Forneça um caminho para os arquivos de log. Por padrão, os arquivos de registro são enviados para o diretório em que o arquivo .exe está localizado.

   • Para validar o formato de arquivo, acesse JSONlint.

     

   • Salve o arquivo como ConfigFile.json.

     

6. Abra uma janela do Prompt de Comando com privilégios elevados e execute o DataBoxDiskSplitCopy.exe usando o seguinte comando.

   DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json
   

7. Quando solicitado, pressione qualquer tecla para continuar a execução da ferramenta.

   

8. Depois que o conjunto de dados é dividido e copiado, o resumo da ferramenta Split Copy para a sessão de cópia é apresentado como mostrado no exemplo de saída a seguir.

   

9. Verifique se os dados estão divididos corretamente nos discos de destino.

   

   

   Examine o conteúdo da unidade H: e verifique se foram criadas duas subpastas que correspondem aos dados de formato de blob de blocos e blob de página.

   

10. Se a sessão de cópia falhar, use o seguinte comando para recuperar e retomar:

    DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json /ResumeSession

Se você encontrar erros durante o uso da ferramenta Split Copy, siga as etapas do artigo Solução de problemas de erros da ferramenta Split Copy.

Valide os dados

Se você não usou a ferramenta Data Box Split Copy para copiar dados, será necessário validar os dados. Verifique os dados executando as etapas a seguir em cada um dos Data Box Disks. Se você encontrar erros durante a validação, siga as etapas do artigo solução de problemas de erros de validação.

1. Execute DataBoxDiskValidation.cmd para validação da soma de verificação na pasta DataBoxDiskImport de sua unidade. Essa ferramenta está disponível apenas para o ambiente Windows. Os usuários do Linux precisam validar se os dados de origem copiados para o disco atendem aos pré-requisitos do Azure Data Box.

   

2. Escolha a opção de validação apropriada quando solicitado. É recomendado que você sempre valide os arquivos e gere somas de verificação selecionando a opção 2. Saia da janela de comando após a conclusão do script. O tempo necessário para a conclusão da validação depende do tamanho de seus dados. A ferramenta o notifica sobre quaisquer erros encontrados durante a validação e a geração da soma de verificação e fornece um link para os logs de erros.

   

   Dica

   • Redefina a ferramenta entre duas execuções.
   • O processo de soma de verificação pode levar mais tempo se você tiver um grande conjunto de dados contendo muitos arquivos que ocupam relativamente pouca capacidade de armazenamento. Se você validar arquivos e ignorar a criação da soma de verificação, deverá verificar independentemente a integridade dos dados no Azure Data Box Disk antes de excluir quaisquer cópias. O ideal é que essa verificação inclua a geração de somas de verificação.

Próximas etapas

Neste tutorial, você aprendeu a concluir as seguintes tarefas com o Azure Data Box Disk:

Avance para o próximo tutorial a fim de saber como devolver o Data Box Disk e verificar o carregamento de dados do Azure.

Copiar dados para os discos

Execute as etapas a seguir para conectar e copiar dados do computador para o Data Box Disk.

1. Exiba o conteúdo da unidade desbloqueada. A lista das pastas e subpastas pré-criadas na unidade é diferente, dependendo das opções selecionadas ao colocar o pedido do Data Box Disk.

2. Copie os dados para pastas que correspondem ao formato de dados apropriado. Por exemplo, copie dados não estruturados para a pasta BlockBlob, dados do VHD ou do VHDX para a pasta PageBlob e arquivos para a pasta AzureFile. Se o formato de dados não corresponder à pasta apropriada (tipo de armazenamento), o upload de dados para o Azure falhará em uma etapa posterior.

   • Garanta que todos os contêineres, blobs e arquivos estejam em conformidade com as convenções de nomenclatura do Azure e os limites de tamanho de objeto do Azure. Se essas regras ou limites não forem seguidos, o upload de dados para o Azure falhará.
   • Caso o seu pedido tenha o Managed Disks como um dos destinos de armazenamento, confira as convenções de nomenclatura para discos gerenciados.
   • Um contêiner é criado na conta de armazenamento do Azure para cada subpasta dentro das pastas BlockBlob e PageBlob Todos os arquivos nas pastas BlockBlob e PageBlob são copiados para o contêiner $root padrão na conta do Armazenamento do Microsoft Azure. Todos os arquivos no contêiner $root são sempre carregados como blobs de blocos.
   • Crie uma subpasta dentro da pasta AzureFile. Essa subpasta é mapeada para um compartilhamento de arquivo na nuvem. Copie os arquivos para a subpasta. Os arquivos copiados diretamente para a pasta AzureFile falham e são carregados como blobs de blocos.
   • Se houver arquivos e pastas no diretório raiz, eles deverão ser movidos para uma pasta diferente antes que a cópia de dados comece.

3. Use a operação de arrastar e soltar com o Explorador de Arquivos ou qualquer ferramenta de cópia de arquivo compatível com SMB, como o Robocopy, para copiar seus dados. Vários trabalhos de cópia podem ser iniciados usando o seguinte comando:

   Robocopy <source> <destination>  * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt
   

4. Abra a pasta de destino para exibir e verificar os arquivos copiados. Se você receber erros durante o processo de cópia, baixe os arquivos de log para solucionar problemas. Os arquivos de log estão localizados conforme especificado no comando robobopy.

Use o procedimento opcional de divisão e cópia quando usar vários discos e tiver um conjunto de dados grande que precisa ser dividido e copiado em todos os discos.

Valide os dados

Verifique seus dados seguindo estas etapas:

1. Execute DataBoxDiskValidation.cmd para validação de soma de verificação na pasta DataBoxDiskImport da unidade.

2. Use a opção 2 para validar os arquivos e gerar somas de verificação. Dependendo do tamanho dos dados, esta etapa pode demorar um pouco. Se houver erros durante a validação e a geração da soma de verificação, você será notificado e também receberá um link para os logs de erros.

   Para obter mais informações sobre a validação de dados, confira Validar dados. Caso encontre erros durante a validação, confira Solução de problemas de erros de validação.