HTCondor

クラスター定義の構成セクションで "run_list" を変更することで、CycleCloud クラスターで HTCondor を簡単に有効にすることができます。 HTCondor クラスターには、3 つの基本的なコンポーネントがあります。 1 つ目は、スケジュールと管理のデーモンを提供する "セントラル マネージャー" です。 HTCondor クラスターの 2 つ目のコンポーネントは、ジョブがシステムに送信される 1 つ以上のスケジューラです。 最後のコンポーネントは、計算を実行するホストである 1 つ以上の実行ノードです。 単純な HTCondor テンプレートは次のようになります。

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

CycleCloud で定義されたクラスターをインポートして開始すると、"manager" ノードと "scheduler" ノードと 1 つの "実行" ノードが生成されます。 実行ノードは、コマンドを使用してクラスターに cyclecloud add_node 追加できます。 さらに 10 個の実行ノードを追加するには、

cyclecloud add_node htcondor -t execute -c 10

HTCondor の自動スケール

CycleCloud は HTCondor の自動スケールをサポートしています。これは、ソフトウェアがキューの状態を監視し、必要に応じてノードをオンまたはオフにして、最適な時間/コストで作業を完了することを意味します。 クラスター定義に追加 Autoscale=true することで、HTCondor の自動スケールを有効にすることができます。

[cluster htcondor]
Autoscale = True

HTCondor Advanced Usage

ジョブの平均実行時間がわかっている場合は、ジョブで (分単位で) 定義 average_runtime できます。 CycleCloud は、これを使用してノードの最小数を開始します (たとえば、5 つの 10 分のジョブでは、10 に設定されている場合 average_runtime は 5 個ではなく 1 つのノードしか開始されません)。

自動スケーリング Nodearray

既定では、HTCondor は 'execute' と呼ばれる nodearray からコアを要求します。 ジョブに別の nodearray が必要な場合 (たとえば、ワークフロー内の特定のジョブのメモリ要件が高い場合)、ジョブの属性を slot_type 指定できます。 たとえば、追加+slot_type = "highmemory"すると、HTCondor は "execute" ではなく "highmemory" nodearray からノードを要求します (これは現在、nodearray の[[[configuration]]]セクションで設定する必要htcondor.slot_type = "highmemory"があることに注意してください)。 これは、HTCondor がジョブをスケジュールする方法には影響しないため、ジョブrequirementsまたはrank式に開始属性を含slot_typeめることができます。 (例: Requirements = target.slot_type = "highmemory")。

HTCondor へのジョブの送信

HTCondor スケジューラにジョブを送信する最も一般的な方法は、コマンド (スケジューラ ノードから実行) です。

condor_submit my_job.submit

サンプルの送信ファイルは次のようになります。

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

HTCondor 構成リファレンス

機能をカスタマイズするために設定できる HTCondor 固有の構成オプションを次に示します。

HTCondor 自動生成構成ファイル

HTCondor には、ユーザー定義属性を含む多数の構成設定があります。 CycleCloud には、クラスターで定義されている属性を使用してカスタム構成ファイルを作成する機能が用意されています。

CycleCloud では、スケジューラ間で自動停止属性の標準セットがサポートされています。