Usando a CLI do HDFS com o Data Lake Storage Gen2

  • Artigo

Você pode acessar e gerenciar os dados na sua conta de armazenamento usando uma interface de linha de comando, assim como faria com um HDFS (Sistema de Arquivos Distribuído do Hadoop). Este artigo fornece alguns exemplos que ajudarão você a começar.

O HDInsight fornece acesso ao contêiner distribuído que está anexado localmente aos nós de computação. Você pode acessar esse contêiner usando o shell que interage diretamente com o HDFS e com outros sistemas de arquivos compatível com o Hadoop.

Para obter mais informações sobre a CLI do HDFS, confira a documentação oficial e o Guia de permissões do HDFS

Observação

Se você estiver usando o Azure Databricks em vez do HDInsight e desejar interagir com os seus dados usando uma interface de linha de comando, poderá usar a CLI do Databricks para interagir com o sistema de arquivos do Databricks. Confira a CLI do Databricks.

Usar a CLI do HDFS com um cluster HDInsight Hadoop no Linux

Primeiro, estabeleça o acesso remoto aos serviços. Se você escolher SSH o código de exemplo do PowerShell seria semelhante ao seguinte:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

A cadeia de caracteres de conexão pode ser encontrada no "SSH + Cluster logon" seção da folha de cluster HDInsight no portal do Azure. As credenciais SSH foram especificadas no momento da criação do cluster.

Importante

O faturamento de cluster do HDInsight é iniciado depois que um cluster é criado e pára quando o cluster é excluído. A cobrança ocorre por minuto, portanto, sempre exclua o cluster quando ele não estiver mais sendo usado. Para saber como excluir um cluster, consulte o nosso artigo sobre o tópico. No entanto, os dados armazenados em uma conta de armazenamento com o Data Lake Storage Gen2 ativado persistem mesmo depois que um cluster do HDInsight é excluído.

Criar um contêiner

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

  • Substitua o espaço reservado <container-name> pelo nome que deseje fornecer ao contêiner.

  • Substitua o espaço reservado <storage-account-name> pelo nome da sua conta de armazenamento.

Obter uma lista de arquivos ou diretórios

hdfs dfs -ls <path>

Substitua o espaço reservado <path> pelo URI do contêiner ou da pasta do contêiner.

Por exemplo: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

Criar um diretório

hdfs dfs -mkdir [-p] <path>

Substitua o espaço reservado <path> pelo nome do contêiner raiz ou por uma pasta dentro do contêiner.

Por exemplo: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

Excluir um arquivo ou diretório

hdfs dfs -rm <path>

Substitua o espaço reservado <path> pelo URI do arquivo ou pasta que você quer excluir.

Por exemplo: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

Exibir as ACLs (Lista de Controle de Acesso) de arquivos e diretórios

hdfs dfs -getfacl [-R] <path>

Exemplo:

hdfs dfs -getfacl -R /dir

Consulte getfacl

Definir ACLs de arquivos e diretórios

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

Exemplo:

hdfs dfs -setfacl -m user:hadoop:rw- /file

Consulte setfacl

Alterar o proprietário dos arquivos

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

Consulte chown

Alterar associação de grupos de arquivos

hdfs dfs -chgrp [-R] <group> <URI>

Consulte chgrp

Alterar as permissões dos arquivos

hdfs dfs -chmod [-R] <mode> <URI>

Consulte chmod

É possível exibir a lista completa de comandos no site Guia do shell do sistema de arquivos do Apache Hadoop 2.4.1.

Próximas etapas