Usar o Azure Data Lake armazenamento Gen2 URI

  • Artigo

O driver do Hadoop Filesystem que é compatível com o Azure Data Lake Storage Gen2 é conhecido por seu identificador de esquema abfs (sistema de arquivos de Blob do Azure). Em consistência com outros drivers do Hadoop Filesystem, o driver ABFS utiliza um formato de URI para arquivos de endereço e diretórios dentro de uma conta com habilitada para Data Lake Storage Gen2.

Sintaxe URI

O driver do Azure Blob File System pode ser usado com o ponto de extremidade do Data Lake Storage de uma conta, mesmo que essa conta não tenha um namespace hierárquico habilitado. Se a conta de armazenamento não tiver um namespace hierárquico, a sintaxe abreviada do URI será:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Identificador do esquema: O abfs protocolo é usado como o identificador do esquema. Se você adicionar um s no final (abfss), o driver cliente Hadoop do ABFS sempre usará o TLS (Transport Layer Security), independentemente do método de autenticação escolhido. Se você escolher o OAuth como sua autenticação, o driver cliente sempre usará o TLS, mesmo se você especificar abfs em vez de abfss, pois o OAuth depende exclusivamente da camada TLS. Por fim, se você optar por usar o método mais antigo da chave de conta de armazenamento, o driver cliente interpretará abfs como se você não desejasse usar o TLS.

  2. Sistema de arquivos: O local do pai que contém os arquivos e pastas. Isso é o mesmo que contêineres no serviço Azure Storage Blob.

  3. Nome da conta: O nome dado à sua conta de armazenamento durante a criação.

  4. Caminhos: uma barra invertida delimitada (/) representação da estrutura de diretório.

  5. Nome do arquivo: O nome do arquivo individual. Esse parâmetro é opcional se você está endereçando um diretório.

No entanto, se a conta que você deseja abordar tiver um namespace hierárquico, a sintaxe abreviada do URI será:

/<path>1/<file_name>2

  1. Caminho: uma barra invertida delimitada (/) representação da estrutura de diretório.

  2. Nome do arquivo: O nome do arquivo individual.

Próximas etapas