Delta Live Tables パイプラインの構成を管理する
Delta Live Tables では、インフラストラクチャ管理、タスク オーケストレーション、エラー回復、パフォーマンスの最適化などの運用上の複雑さが自動化されるため、パイプラインの多くは最小限の手動構成で実行できます。 しかし、Delta Live Tables では、既定以外の構成を必要とするパイプラインの構成を管理したり、パフォーマンスとリソースの使用を最適化したりすることもできます。 これらの記事では、パイプラインの実行方法を決定する設定、パイプラインを実行するコンピューティングのオプション、Python ライブラリなどの外部依存関係の管理など、Delta Live Tables パイプラインの構成の管理について詳しく説明します。
サーバーレス コンピューティングを使用してフル マネージド パイプラインを実行する
サーバーレス DLT パイプラインを使用して、信頼性の高いフル マネージドコンピューティング リソースを使用してパイプラインを実行します。 サーバーレス コンピューティングでは、パイプラインを実行するコンピューティングは、パイプラインの実行に必要なリソースに基づいて自動的に最適化され、スケールアップおよびスケールダウンされます。 サーバーレス DLT パイプラインでは、具体化されたビューの増分更新、コンピューティング リソースの起動時間の短縮、ストリーミング ワークロードの処理の向上など、パフォーマンスを向上させるための追加機能がサポートされています。 「サーバーレス コンピューティングで Delta Live Tables を使用してフル マネージド パイプラインを作成する」を参照してください。
パイプライン設定を管理する
Delta Live Tables パイプラインの構成には、パイプラインを実装するソース コードを定義する設定が含まれています。 また、パイプライン インフラストラクチャ、依存関係管理、更新プログラムの処理方法、テーブルをワークスペースに保存する方法を制御する設定も含まれています。 ほとんどの構成は省略可能ですが、注意が必要な構成もあります。
パイプラインの構成オプションとその使用方法については、「Delta Live Tables のパイプライン設定を構成する」を参照してください。
Delta Live Tables の設定、テーブルの管理方法を制御するプロパティ、および設定できないコンピューティング オプションの詳細な仕様については、「Delta Live Tables のプロパティ リファレンス」を参照してください。
Python を使用するパイプラインの外部依存関係を管理する
Delta Live Tables では、Python パッケージやライブラリなどのパイプラインでの外部依存関係の使用がサポートされています。 依存関係を使用するためのオプションと推奨事項については、Delta Live Tables パイプラインの Python 依存関係の管理に関する説明を参照してください。
Azure Databricks ワークスペースに格納されている Python モジュールを使用する
Databricks ノートブックで Python コードを実装するだけでなく、Databricks Git フォルダーまたはワークスペース ファイルを使用して、コードを Python モジュールとして格納できます。 コードを Python モジュールとして格納することは、複数のパイプラインまたは同じパイプライン内のノートブックで使用する一般的な機能がある場合に特に便利です。 パイプラインで Python モジュールを使用する方法については、Git フォルダーまたはワークスペース ファイルから Python モジュールをインポートする方法の説明を参照してください。
パイプラインのコンピューティング使用率を最適化する
拡張自動スケーリングを使用して、パイプラインのクラスター使用率を最適化します。 拡張自動スケーリングでリソースが追加されるのは、これらのリソースによってパイプラインの処理速度が向上するとシステムが判断した場合のみです。 リソースは不要になると解放され、すべてのパイプライン更新が完了するとすぐにクラスターがシャットダウンされます。
構成の詳細を含む拡張自動スケールについて詳しくは、「拡張自動スケールを使用して Delta Live Tables パイプラインのクラスター使用率を最適化する」を参照してください。