Compute

Azure Databricks コンピューティングとは、Azure Databricks ワークスペースで使用できるコンピューティング リソースの選択を指します。 ユーザーは、Data Engineering、データ サイエンス、Data Analytics ワークロード (運用環境 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習など) を実行できるコンピューティングへのアクセスが必要です。

ユーザーは、既存のコンピューティングに接続するか、適切なアクセス許可がある場合は新しいコンピューティングを作成できます。

ワークスペースの [コンピューティング] セクションを使用して、アクセスできるコンピューティングを表示できます。

コンピューティングの種類

Azure Databricks で使用できるコンピューティングの種類は次のとおりです。

• ノートブック用のサーバーレス コンピューティング: ノートブックで SQL および Python コードを実行するために使用されるオンデマンドでスケーラブルなコンピューティング。

• ジョブ用のサーバーレス コンピューティング: インフラストラクチャを構成およびデプロイせずに Databricks ジョブを実行するために使用されるオンデマンドでスケーラブルなコンピューティング。

• 汎用コンピューティング: ノートブック内のデータを分析するために使用されるプロビジョニングされたコンピューティング。 このコンピューティングは、UI、CLI、または REST API を使って作成、終了、再起動できます。

• ジョブ コンピューティング: 自動ジョブの実行に使用されるプロビジョニングされたコンピューティング。 Azure Databricks ジョブ スケジューラは、新しいコンピューティングで実行するようにジョブが構成されるたびに、ジョブ コンピューティングを自動的に作成します。 そのコンピューティングは、ジョブが完了すると終了します。 ジョブ コンピューティングを再起動することは "できません"。 「ジョブ用のコンピューティングを構成する」を参照してください。

• インスタンス プール: アイドル状態ですぐに使用できるインスタンスを含むコンピューティングであり、起動と自動スケールの時間を短縮するために使用します。 このコンピューティングは、UI、CLI、または REST API を使って作成できます。

• サーバーレス SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使われるオンデマンドのエラスティック コンピューティング。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。

• クラシック SQL ウェアハウス: SQL エディターまたは対話型ノートブック内でデータ オブジェクトに対して SQL コマンドを実行するために使用されます。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。

このセクションの記事では、Azure Databricks UI を使ってコンピューティング リソースを操作する方法を説明しています。 その他の方法については、「Databricks CLI とは?」と「Databricks REST API リファレンス」を参照してください。

Databricks Runtime

Databricks Runtime は、コンピューティングで実行されるコア コンポーネントのセットです。 Databricks Runtime は、汎用的に構成可能なジョブ コンピューティングの設定ですが、SQL ウェアハウスでは自動選択されます。

Databricks Runtime の各バージョンには、使用性、パフォーマンス、ビッグ データ分析のセキュリティを向上させる更新プログラムが含まれています。 コンピューティング上の Databricks Runtime によって、次のような多くの機能が追加されます。

• Delta Lake は、Apache Spark 上に構築された次世代ストレージ レイヤーです。ACID トランザクション、最適化されたレイアウトとインデックス、およびデータ パイプラインを構築するための実行エンジンの機能強化を提供します。 「Delta Lake とは」を参照してください。
• インストールされている Java、Scala、Python、R ライブラリ。
• Ubuntu とそれに付随するシステム ライブラリ。
• GPU 対応クラスター用の GPU ライブラリ。
• ノートブック、ジョブ、クラスター管理など、プラットフォームの他のコンポーネントと統合される Azure Databricks サービス。

各ランタイム バージョンの内容については、リリース ノートを参照してください。

ランタイムのバージョン管理

Databricks Runtime のバージョンは、定期的にリリースされます。

• 長期サポート バージョンは、LTS 修飾子 (たとえば、3.5 LTS など) で表されます。 メジャー リリースごとに、"正規の" フィーチャー バージョンが宣言されます。このバージョンには、丸 3 年間のサポートが提供されます。 詳細については、Databricks サポート ライフサイクルに関する記事を参照してください。
• メジャー バージョンは、小数点の前のバージョン番号の増分 (たとえば、3.5 から 4.0 へのジャンプ) で表されます。 これらは、大きな変更がある場合にリリースされます。その一部は、下位互換性がない可能性があります。
• フィーチャー バージョンは、小数点以下のバージョン番号の増分 (たとえば、3.4 から 3.5 へのジャンプ) で表されます。 各メジャー リリースには、複数のフィーチャー リリースが含まれています。 フィーチャー リリースは、メジャー リリース内の以前のリリースとの間に、常に下位互換性があります。