HTCondor

Funkcję HTCondor można łatwo włączyć w klastrze CycleCloud, modyfikując element "run_list" w sekcji konfiguracji definicji klastra. Istnieją trzy podstawowe składniki klastra HTCondor. Pierwszy to "menedżer centralny", który zapewnia demony planowania i zarządzania. Drugim składnikiem klastra HTCondor jest co najmniej jeden harmonogram, z którego zadania są przesyłane do systemu. Ostatni składnik jest co najmniej jednym węzłem wykonywania, które są hostami wykonujące obliczenia. Prosty szablon HTCondor może wyglądać następująco:

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

Importowanie i uruchamianie klastra z definicją w usłudze CycleCloud spowoduje uzyskanie węzła "manager" i "scheduler", a także jednego węzła "execute". Węzły wykonywania można dodać do klastra za pomocą cyclecloud add_node polecenia . Aby dodać 10 kolejnych węzłów do wykonania:

cyclecloud add_node htcondor -t execute -c 10

Autoskalowanie HTCondor

Usługa CycleCloud obsługuje skalowanie automatyczne dla aplikacji HTCondor, co oznacza, że oprogramowanie będzie monitorować stan kolejki i włączać i wyłączać węzły zgodnie z potrzebami, aby ukończyć pracę w optymalnym czasie/koszcie. Skalowanie automatyczne dla aplikacji HTCondor można włączyć, dodając Autoscale=true do definicji klastra:

[cluster htcondor]
Autoscale = True

Zaawansowane użycie funkcji HTCondor

Jeśli znasz średnie środowisko uruchomieniowe zadań, możesz zdefiniować average_runtime (w minutach) w zadaniu. Usługa CycleCloud użyje tej funkcji do uruchomienia minimalnej liczby węzłów (na przykład pięć 10-minutowych zadań spowoduje uruchomienie tylko jednego węzła zamiast pięciu, gdy average_runtime zostanie ustawione na 10).

Autoskaluj nodearray

Domyślnie funkcja HTCondor będzie żądać rdzeni zarray nodearray o nazwie "execute". Jeśli zadanie wymaga innego węzła (na przykład jeśli niektóre zadania w przepływie pracy mają wysokie wymaganie dotyczące pamięci), możesz określić slot_type atrybut zadania. Na przykład dodanie +slot_type = "highmemory" spowoduje, że htCondor zażąda węzła z "highmemory" nodearray zamiast "execute" (należy pamiętać, że obecnie wymaga htcondor.slot_type = "highmemory" to ustawienia w sekcji nodearray [[[configuration]]] ). Nie będzie to miało wpływu na sposób planowania zadań przez HTCondor, dlatego możesz chcieć uwzględnić slot_type atrybut startowy w wyrażeniach lub rank wyrażeniu zadaniarequirements. Na przykład: Requirements = target.slot_type = "highmemory".

Przesyłanie zadań do HTCondor

Najbardziej ogólnym sposobem przesyłania zadań do harmonogramu HTCondor jest polecenie (uruchamianie z węzła harmonogramu):

condor_submit my_job.submit

Przykładowy plik przesyłania może wyglądać następująco:

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

Dokumentacja konfiguracji HTCondor

Poniżej przedstawiono opcje konfiguracji specyficzne dla funkcji HTCondor, które można ustawić w celu dostosowania funkcjonalności:

Plik konfiguracji wygenerowany automatycznie przez HTCondor

HTCondor ma dużą liczbę ustawień konfiguracji, w tym atrybutów zdefiniowanych przez użytkownika. Usługa CycleCloud umożliwia utworzenie niestandardowego pliku konfiguracji przy użyciu atrybutów zdefiniowanych w klastrze:

Usługa CycleCloud obsługuje standardowy zestaw atrybutów automatycznego ściągnięcia między harmonogramami: