CycleCloud のスケジュールおよび自動スケーリングの概念

CycleCloud はスケジューラではなく、ユーザーが独自のスケジューラを Azure にデプロイして、ジョブを管理してノードのクラスターに分散できるようにするプラットフォームです。 さらに、CycleCloud には、スケジューラ用の自動スケーリング アダプターを開発するための REST API と Python ライブラリが用意されており、これらのマネージド クラスターはジョブ キューとガバナンス ポリシーの長さに応じてサイズを増減できます。

スケジューラ

スケジューラーは、ジョブ (またはタスク) のリストを受け入れ、ジョブのリソース要件とジョブ間の依存関係と優先順位を考慮して、これらのタスクを使用可能なリソースのプールに分散するソフトウェアです。 これらのジョブの一覧は、一般にキューと呼ばれます。

CycleCloud には、一般的に使用されるスケジューラ (PBS Professional OSS、Slurm、IBM LSF、グリッド エンジン、HT Condor) が組み込まれており、これらのスケジューラを Azure にデプロイするためのテンプレートが提供されています。 これらのテンプレートは既定のトポロジであり、 待ち時間の短い InfiniBand ネットワークなどの固有の特殊な機能を活用する、Azure で HPC クラスターを構築するためのベスト プラクティスを表します。

さらに、 プロジェクト はスケジューラごとに作成され、ヘッドノードとコンピューティング ノードにスケジューラ デーモンをインストールして初期化するために使用されます。

スケジューラ アダプター

スケジューラの種類ごとに作成されたアダプターは、2 つの主要な役割を果たします。1) スケジューラ キューからのリソース要件の集計、2) リソース要件を Azure VM サイズのセットの割り当て要求に変換します。 これらの割り当て要求は、VM クォータ、クラスターのサイズに対する制限、InfiniBand ネットワーク トポロジによって課される制限 (適切な VM サイズの場合) など、特定の制約を念頭に置いて構築されます。 特定の側面では、これらのアダプターは、複数の関係者からの需要と供給をネゴシエートするブローカーに似ています。

Monitor

モニターは、CycleCloud アプリケーション サーバーで実行され、Azure サブスクリプション内のリソースの可用性について Azure サービスを定期的にポーリングするプロセスです。 このモニターは、これらの情報を要求ブローカー用のスケジューラ アダプターに提供します。

ノード アロケーター

ノード アロケーターは CycleCloud アプリケーション サーバーで実行されます。 REST API を介してスケジューラ アダプターから割り当て要求を受け取り、要求を満たすために必要な Azure リソースをプロビジョニングし、プロビジョニングされたリソースをノードのセットとしてスケジューラ アダプターに返します。