コンピューティングを使用する

この記事では、Azure Databricks ワークスペースでコンピューティングに接続する方法について説明します。 データ エンジニアリング、データ サイエンス、データ分析のワークロードを実行するには、コンピューティングにアクセスする必要があります。

コンピューティングのアクセスまたは作成ができるユーザー

コンピューティングのアクセスまたは作成の機能は、ユーザーのエンタイトルメントによって異なります。

  • ワークスペースでノートブックのサーバーレス コンピューティングが有効になっている場合、ワークスペースのすべてのユーザーは、サーバーレス コンピューティング リソースにアクセスして、ノートブックとワークフローで対話型ワークロードを実行できます。

  • ワークスペース管理者は、任意の種類のコンピューティングを作成できます。 また、ワークスペースで作成されたすべてのコンピューティングに対する CAN MANAGE アクセス許可も継承します。

  • 管理者以外で、無制限のクラスター作成のエンタイトルメントを持っているユーザーは、コンピューティングの作成時にすべての構成設定にアクセスできます。 アクセス許可が付与されているコンピューティングにアクセスでき、任意の種類の新しいコンピューティングを作成できます。 使用可能な構成設定の詳細については、「コンピューティング構成リファレンス」を参照 してください。 ワークスペース管理者は、このエンタイトルメントを任意のユーザー、グループ、またはサービス プリンシパルに割り当てることができます。 「エンタイトルメントを管理する」を参照してください。

  • 管理者以外で、無制限のクラスター作成エンタイトルメントを持たないユーザーは、アクセス許可が付与されているコンピューティングにのみ、またはアクセス許可が割り当てられているポリシーを使用して自分で作成したコンピューティングにのみアクセスできます。

サーバーレス コンピューティングを使用する

ワークスペースでサーバーレス コンピューティングが有効になっている場合、利用できる任意のノートブックでサーバーレス コンピューティング リソースに自動でアクセスできます。 サーバーレス コンピューティングを使用すると、ノートブック内のスケーラブルなコンピューティングにオンデマンドでアクセスでき、Python または SQL のコードをすぐに記述して実行できます。

サーバーレス コンピューティングにアタッチするには、ノートブックの [接続] のドロップダウン メニューをクリックし、[サーバーレス] を選択します。 新しいノートブックでは、他のリソースが選択されていない場合、アタッチされたコンピューティングは、コードの実行時に自動的に既定のサーバーレスに設定されます。

有効化の詳細については、「サーバーレス コンピューティングを有効にする」を参照してください。

別のユーザーによって構成されたコンピューティングを使用する

無制限のクラスター作成アクセス許可がない場合は、ワークスペース管理者から付与されたコンピューティングとコンピューティング ポリシーにのみアクセスできます。 ユーザーは、コンピューティングに対して次のいずれかのアクセス許可を持つことができます。

  • CAN ATTACH TO: ノートブックをコンピューティングにアタッチし、コンピューティング メトリックと Spark UI を表示できます。
  • CAN RESTART: コンピューティングの起動、再起動、終了を行うことができます。 CAN ATTACH TO アクセス許可も含まれます。
  • CAN MANAGE: コンピューティングの詳細、アクセス許可、サイズを編集できます。 CAN ATTACH TO および CAN RESTART アクセス許可も含まれます。
  • NO PERMISSIONS: コンピューティングに対するアクセス許可がありません。

コンピューティングにアタッチするアクセス許可がある場合は、開いているノートブックの [接続] ドロップダウン メニューから選択するか、新しいジョブを作成するときに [コンピューティング] ドロップダウン メニューから選択できます。 コンピューティングのアクセス許可の詳細については、「コンピューティングのアクセス許可」を参照してください。

ポリシーを使用して新しいコンピューティングを作成する

コンピューティング ポリシーへのアクセス許可がある場合は、独自のコンピューティングを作成できます。 ポリシーには最小限の構成オプションが用意されていて、既定の設定を使用した効率的なリソースとして設計されています。 設定を編集する場合は、構成設定リファレンスで各設定について学習できます。

  1. ワークスペースのサイド バーで [新規]>[クラスター] をクリックします。
  2. [ポリシー] ドロップダウン メニューからポリシーを選択します。
  3. (省略可能) コンピューティングの名前を更新します。
  4. (省略可能) 使用可能な設定を構成します。
  5. [コンピューティングの作成] をクリックします。

これで、ワークロードの実行に使用できるコンピューティング リソースが作成されました。

ポリシー

ワークスペース管理者は、ワークスペースでコンピューティング ポリシーを作成および管理できます。 必要なコンピューティングを作成できるポリシーにアクセスできない場合は、ワークスペース管理者に連絡してください。詳細については、「コンピューティング ポリシーの作成と管理」を参照してください。

ワークスペースにカスタム ポリシーが適用されている場合もあれば、Azure Databricks の既定のポリシーを使用している場合もあります。 既定のポリシーには、次のものが含まれます。

  • 個人用コンピューティング: ユーザーは最小限の構成オプションを使って単一ノードのコンピューティング リソースを簡単に作成できます。
  • 共有コンピューティング: ユーザーは複数のユーザーが共有することを目的とした、大規模なマルチノード リソースを作成できます。
  • パワー ユーザー コンピューティング: ユーザーは大規模なマルチノード リソースを作成できます。 このポリシーは、個人用コンピューティングで許可されるよりも多くのコンピューティング リソースを必要とする単一ユーザー ワークロードを対象としています。
  • ジョブ コンピューティング: ユーザーはジョブ用の汎用の既定コンピューティングを作成できます。

既定では、すべてのユーザーが個人用コンピューティング ポリシーにアクセスできます。 個人用コンピューティング ポリシーが表示されない場合は、組織によってワークスペースから削除されています。

無制限のコンピューティング作成

ワークスペース管理者か、無制限のクラスター作成エンタイトルメントを持つユーザーである場合は、無制限のポリシーを使用してコンピューティングを作成できます。 これにより、[新しいコンピューティング] UI のすべてのコンピューティング設定にアクセスできます。 使用可能なすべての設定のリファレンスについては、「コンピューティング構成リファレンス」を参照してください。