Usar o URI do Armazenamento do Azure Data Lake

  • Artigo

O driver do sistema de arquivos Hadoop compatível com o Armazenamento do Azure Data Lake é conhecido por seu identificador abfs de esquema (Sistema de Arquivos de Blob do Azure). Consistente com outros drivers do sistema de arquivos Hadoop, o driver ABFS emprega um formato URI para endereçar arquivos e diretórios em uma conta habilitada para armazenamento Data Lake.

Sintaxe URI

O driver do Sistema de Arquivos de Blob do Azure pode ser usado com o ponto de extremidade do Armazenamento Data Lake de uma conta, mesmo que essa conta não tenha um namespace hierárquico habilitado. Se a conta de armazenamento não tiver um namespace hierárquico, a sintaxe URI abreviada será:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Identificador de esquema: O abfs protocolo é usado como identificador de esquema. Se você adicionar um s no final (abfss), o driver do cliente Hadoop ABFS sempre usará Transport Layer Security (TLS), independentemente do método de autenticação escolhido. Se você escolher OAuth como sua autenticação, o driver do cliente sempre usará TLS, mesmo se você especificar abfs em vez de abfss porque OAuth depende exclusivamente da camada TLS. Finalmente, se você optar por usar o método mais antigo de chave de conta de armazenamento, o driver do cliente interpretará abfs como significando que você não deseja usar TLS.

  2. Sistema de arquivos: o local pai que contém os arquivos e pastas. Isso é o mesmo que contêineres no serviço de Blob de Armazenamento do Azure.

  3. Nome da conta: o nome dado à sua conta de armazenamento durante a criação.

  4. Caminhos: Uma representação delimitada (/) da estrutura de diretórios.

  5. Nome do arquivo: o nome do arquivo individual. Este parâmetro é opcional se você estiver endereçando um diretório.

No entanto, se a conta que você deseja endereçar tiver um namespace hierárquico, a sintaxe URI abreviada é:

/<path>1/<file_name>2

  1. Caminho: Uma representação delimitada (/) da estrutura de diretórios.

  2. Nome do arquivo: O nome do arquivo individual.

Próximos passos