Delta Sharing オープン共有プロトコルを使用してデータを共有する (プロバイダーの場合)

この記事では、プロバイダーが Delta Sharing オープン共有プロトコルを使って、Unity Catalog 対応の Azure Databricks ワークスペースのデータを、任意の場所にいて任意のコンピューティング プラットフォームを使っている任意のユーザーと共有する方法の概要について説明します。

Delta Sharing オープン共有プロトコルを使用する必要があるユーザー

Delta Sharing を使用してデータを共有するには、次の 3 つの方法があります。

1. この記事で取り上げられている Databricks オープン共有プロトコル。これを使用して、Unity Catalog 対応の Databricks ワークスペースで管理するデータを、任意のコンピューティング プラットフォーム上のユーザーと共有できます。

   このアプローチでは、Azure Databricks に組み込まれている Delta Sharing サーバーを使用します。これは、Unity Catalog を使ってデータを管理し、Databricks を使用していないか、Unity Catalog 対応の Databricks ワークスペースにアクセスできないユーザーと共有する場合に便利です。 プロバイダー側での Unity Catalog との統合により、プロバイダーでのセットアップとガバナンスが簡素化されます。

2. オープンソースの Delta Sharing サーバーのカスタマー マネージド実装。これを使用して、Databricks かどうかを問わず、任意のプラットフォームから任意のプラットフォームに共有できます。

   github.com/delta-io/delta-sharing を参照してください。

3. Databricks 間共有プロトコル。これを使用して、Unity Catalog 対応のワークスペースからのデータを、Unity Catalog 対応の Databricks ワークスペースへのアクセス権を同様に持っているユーザーと共有できます。

   「Delta Sharing の Databricks 間プロトコルを使用してデータを共有する (プロバイダーの場合)」をご覧ください。

Delta Sharing の概要と、これら 3 つのアプローチの詳細については、「Delta Sharing とは」を参照してください。

Delta Sharing オープン共有ワークフロー

このセクションでは、オープン共有ワークフローの大まかな概要を説明し、各手順の詳細なドキュメントへのリンクを示します。

Delta Sharing オープン共有モデルのしくみは次のとおりです。

1. データ プロバイダーによって受信者が作成されます。これは、データ プロバイダーがデータを共有する相手であるユーザーまたはユーザー グループを表す名前付きオブジェクトです。

   データ プロバイダーによって受信者が作成されると、Azure Databricks によって、トークン、トークンを含む資格情報ファイル、および、資格情報ファイルにアクセスするためにデータ プロバイダーが受信者に送信できるアクティブ化リンクが生成されます。

   詳細については、「手順 1: 受信者を作成する」を参照してください。

2. データ プロバイダーによって共有が作成されます。これは、プロバイダーのアカウントの Unity Catalog メタストアに登録されているテーブルのコレクションを含む名前付きオブジェクトです。

   詳細については、「Delta Sharing の共有を作成および管理する」を参照してください。

3. データ プロバイダーは、受信者に共有へのアクセス権を付与します。

   詳細については、「Delta Sharing データ共有へのアクセスを管理する (プロバイダーの場合)」に関する記事を参照してください。

4. セキュリティで保護されたチャネルを介して、データ プロバイダーから受信者に、アクティブ化リンクと、このアクティブ化リンクを使用して資格情報ファイルをダウンロードするための指示が送信されます。受信者はこれらを使用して、セキュリティで保護された接続をデータ プロバイダーとの間で確立し、共有対象のデータを受信します。

   詳細については、「手順 2: アクティブ化リンクを取得する」を参照してください。

5. データ受信者は、アクティブ化リンクに従って資格情報ファイルをダウンロードし、この資格情報ファイルを使用して共有対象のデータにアクセスします。

   共有対象のデータは読み取り専用です。 ユーザーは、自分が使用しているプラットフォーム、または任意のツールを使用してデータにアクセスできます。

   詳しくは、「Delta Sharing オープン共有 (受信者用) を使用して共有されたデータを読み取る」をご覧ください。

オープン共有のセットアップとセキュリティに関する考慮事項

オープン共有モデルを使用する場合、適切なトークン管理はデータを安全に共有するために重要です。

• オープン共有を使用するデータ プロバイダーは、Unity Catalog メタストアで Delta Sharing を有効にするときに、既定の受信者トークンの有効期間を構成する必要があります。 Databricks では、トークンの有効期限を構成することをお勧めしています。 「メタストアでの Delta Sharing 有効化」を参照してください。
• 既定のトークンの有効期間を変更する必要がある場合は、「受信者トークンの有効期間を変更する」を参照してください。
• ダウンロードした資格情報ファイルを安全に管理するよう、受信者に注意喚起します。
• トークン管理とオープン共有セキュリティの詳細については、「受信者トークンを管理する (オープン共有)」を参照してください。

データ プロバイダーは、IP アクセス リストを割り当てて受信者のアクセスを特定のネットワークの場所に制限することによって、セキュリティを強化できます。 「IP アクセス リストを使用して Delta Sharing の受信者のアクセスを制限する (オープン共有)」を参照してください。