Azure Data Lake Storage Gen2 の URI を使用する

  • [アーティクル]

Azure Data Lake Storage Gen2 と互換性のある Hadoop ファイル システム ドライバーは、そのスキーム識別子 abfs (Azure BLOB ファイル システム) によって認識されます。 他の Hadoop ファイル システム ドライバーと整合性のある ABFS ドライバーでは、Data Lake Storage Gen2 対応アカウント内のファイルとディレクトリをアドレス指定するために URI 形式が使用されています。

URI 構文

Azure Blob File System ドライバーは、アカウントで階層型名前空間が有効になっていない場合でも、そのアカウントの Data Lake Storage エンドポイントで使用できます。 ストレージ アカウントに階層型名前空間がない場合、短縮 URI 構文は次のようになります。

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. スキーム識別子:abfs プロトコルがスキーム識別子として使用されます。 末尾に s を追加すると (abfss)、ABFS Hadoop クライアント ドライバーは、選択された認証方法に関係なく、常にトランスポート層セキュリティ (TLS) を使用します。 認証に OAuth を選択すると、OAuth は TLS 層にのみ依存するため、abfss ではなく abfs を指定した場合でも、クライアント ドライバーは常に TLS を使用します。 最後に、以前の方法であるストレージ アカウント キーの使用を選択すると、クライアント ドライバーは、abfs が TLS を使用しないことを意味すると解釈します。

  2. ファイル システム:ファイルとフォルダーを保持する親ロケーションです。 これは、Azure Storage Blob サービスのコンテナーと同じです。

  3. アカウント名:作成時にストレージ アカウントに付与された名前です。

  4. パス:スラッシュ (/) で区切って表現したディレクトリ構造です。

  5. ファイル名:個々のファイルの名前です。 このパラメーターは、ディレクトリをアドレス指定する場合には省略可能です。

ただし、アドレス指定するアカウントに階層型名前空間がある場合、短縮 URI 構文は次のようになります。

/<path>1/<file_name>2

  1. パス:スラッシュ (/) で区切って表現したディレクトリ構造です。

  2. ファイル名:個々のファイルの名前です。

次のステップ