Delta ストレージの資格情報を構成する

  • [アーティクル]

Note

Delta ストレージの資格情報を構成するには、Azure Databricks のクラウド オブジェクト ストレージへのアクセスの構成に関するページを参照してください。 この記事で説明されているように、Databricks では、DataFrame オプションを使用してストレージ資格情報を渡すことは推奨されなくなりました。

Azure Databricks では、Delta Lake テーブルのデータがクラウド オブジェクト ストレージに格納されます。 クラウド オブジェクト ストレージへのアクセスを構成するには、ストレージ アカウントを含むクラウド アカウント内のアクセス許可が必要です。

DataFrame オプションとしてストレージ資格情報を渡す

Delta Lake は、DataFrameReader と DataFrameWriter のオプションとしてのストレージ資格情報の指定をサポートしています。 これは、異なるアクセス キーによって管理される複数のストレージ アカウント内のデータを操作する必要がある場合に使用する機能です。

Note

この機能は、Databricks Runtime 10.4 LTS 以降で使用できます。

たとえばストレージ資格情報を、DataFrame オプションを通じて渡すことができます。

Python

df1 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>") \
  .read("...")
df2 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>") \
  .read("...")
df1.union(df2).write \
  .mode("overwrite") \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>") \
  .save("...")

Scala

val df1 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>")
  .read("...")
val df2 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>")
  .read("...")
df1.union(df2).write
  .mode("overwrite")
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>")
  .save("...")