What is Azure CycleCloud? (Was ist Azure CycleCloud?)
Azure CycleCloud ist ein unternehmensfreundliches Tool für die Orchestrierung und Verwaltung von HPC-Umgebungen (High Performance Computing) in Azure. Mit CycleCloud können Benutzer Infrastruktur für HPC-Systeme bereitstellen, vertraute HPC-Scheduler bereitstellen und die Infrastruktur automatisch skalieren, um Aufträge in jeder Größenordnung effizient auszuführen. Mit CycleCloud können Benutzer verschiedene Arten von Dateisystemen erstellen und sie auf den Computeclusterknoten mounten, um HPC-Workloads zu unterstützen.
Azure CycleCloud richtet sich an HPC-Administratoren und Benutzer, die eine HPC-Umgebung mit einem bestimmten Planer bereitstellen möchten. Häufig verwendete Scheduler wie Slurm, PBSPro, LSF, Grid Engine und HT-Condor werden standardmäßig unterstützt. CycleCloud ist das Schwesterprodukt von Azure Batch, das einen Scheduler-as-a-Service in Azure bereitstellt.
Informationen zum Vergleich von CycleCloud mit anderen Azure HPC-Lösungen finden Sie unter High Performance Computing (HPC) in Azure .
Warum sollte ich Azure CycleCloud verwenden?
Organisationen, die HPC-Umgebungen für eine Weile betrieben haben, sammeln in der Regel jahrelange Erfahrung und interne Tools für einen bestimmten Planer, und die Neugestaltung oder Bereitstellung dieser Umgebungen in Azure kann entmutigend sein. CycleCloud abstrahiert die grundlegenden Azure-Bausteine wie VMs, Skalierungsgruppen, Netzwerkschnittstellen und Datenträger. Dadurch kann sich ein HPC-Administrator auf das Vertraute konzentrieren: einen HPC-Cluster, der aus Knoten und einem konfigurierbaren Planer seiner Wahl besteht.
CycleCloud stellt Plug-Ins für die automatische Skalierung zusätzlich zu den unterstützten Schedulern bereit, sodass Benutzer keine komplexen automatischen Skalierungsfunktionen und Routinen selbst implementieren müssen, sondern nur mit Konfigurationen auf Planerebene zusammenarbeiten, mit denen sie vertraut sind.
Mit einem umfangreichen, deklarativen Vorlagenformat bietet CycleCloud leistungsstarke Tools zum Erstellen vollständiger HPC-Umgebungen in Azure. Benutzer können Umgebungen bereitstellen, die NFS-Server, parallele Dateisysteme, Anmeldehosts, Lizenzserver und Verzeichnisdienste enthalten – im Wesentlichen alle komponenten, die in einem HPC-System benötigt werden – über eine einzige Verwaltungsebene.
CycleCloud kann in Azure-Dienste wie Azure Monitor und Azure Cost Management-Tools integriert werden.
CycleCloud-Funktionen
|
Scheduler Agnostic Verwenden Sie HPC-Standardplaner wie Slurm, PBS Pro, LSF, Grid Engine und HTCondor, oder erweitern Sie Plug-Ins für die automatische Skalierung von CycleCloud, um mit Ihrem eigenen Planer zu arbeiten. |
|
|
Verwalten von Computeressourcen Verwalten von virtuellen Computern und Skalierungsgruppen, um eine flexible Gruppe von Computeressourcen bereitzustellen, die Ihre Anforderungen an dynamische Workloads erfüllen können |
|
|
Autoskalierung von Ressourcen Automatisches Anpassen der Clustergröße und -komponenten basierend auf Auftragslast, Verfügbarkeit und Zeitanforderungen |
|
|
Überwachen und Analysieren Sammeln und Analysieren von Leistungsdaten mithilfe von Visualisierungstools |
|
|
Vorlagencluster Verwenden von CycleCloud-Vorlagen zum Freigeben von Clustertopologien für die Community |
|
|
Anpassen und Erweitern der Funktionalität Verwenden Sie die umfassende RESTful-API zum Anpassen und Erweitern der Funktionalität, stellen Sie einen eigenen Planer bereit, und unterstützen Sie vorhandene Workload-Manager. |
|
|
Integrieren in vorhandene Workflows Integrieren in vorhandene Workflows und Tools mithilfe der integrierten CLI |
|
|
Scheduler Agnostic Verwenden Sie HPC-Standardplaner wie Slurm, PBS Pro, LSF, Grid Engine und HTCondor, oder erweitern Sie Plug-Ins für die automatische Skalierung von CycleCloud, um mit Ihrem eigenen Planer zu arbeiten. |
|
|
Verwalten von Computeressourcen Verwalten von virtuellen Computern und Skalierungsgruppen, um eine flexible Gruppe von Computeressourcen bereitzustellen, die Ihre Anforderungen an dynamische Workloads erfüllen können |
|
|
Autoskalierung von Ressourcen Automatisches Anpassen der Clustergröße und -komponenten basierend auf Auftragslast, Verfügbarkeit und Zeitanforderungen |
|
|
Überwachen und Analysieren Sammeln und Analysieren von Leistungsdaten mithilfe von Visualisierungstools |
|
|
Vorlagencluster Verwenden von CycleCloud-Vorlagen zum Freigeben von Clustertopologien für die Community |
|
|
Anpassen und Erweitern der Funktionalität Verwenden Sie die umfassende RESTful-API zum Anpassen und Erweitern der Funktionalität, stellen Sie einen eigenen Planer bereit, und unterstützen Sie vorhandene Workload-Manager. |
|
|
Integrieren in vorhandene Workflows Integrieren in vorhandene Workflows und Tools mithilfe der integrierten CLI |
|
Wie verwende ich Azure CycleCloud?
Azure CycleCloud ist eine installierbare Webanwendung, die Sie lokal oder auf einer Azure-VM ausführen können. Nach der Installation kann CycleCloud für die Verwendung von Compute- und Datenressourcen in Ihrem vorbereiteten Azure-Abonnement konfiguriert werden. CycleCloud bietet eine Reihe von offiziellen Clustervorlagen für Scheduler (PBSPro, LSF, Grid Engine, Slurm, HTCondor) und Dateisysteme (NFS, BeeGFS). Clustervorlagen, die von der CycleCloud-Community bereitgestellt werden, sind ebenfalls verfügbar. Sie können diese Clustervorlagen unverändert verwenden oder an Ihre spezifischen Anforderungen anpassen.
Sobald ein Cluster erstellt wurde, wird er automatisch für die automatische Skalierung konfiguriert, um die Berechnungsaufträge zu verarbeiten, die an den Planer übermittelt werden. Administrative CycleCloud-Funktionen steuern den Zugriff auf den CycleCloud-Cluster für andere Benutzer in Ihrem organization.
Tools mit Vorlagen und Konfigurationsskripts ermöglichen es Ihnen, komplexe HPC-Umgebungen schnell zu erstellen und diese für separate Teams in Ihren organization zu replizieren.
Was ist CycleCloud nicht?
Es gibt keine Auftragsplanungsfunktionen in CycleCloud. Mit anderen Worten, CycleCloud ist kein Planer, sondern eine Plattform, die es Benutzern ermöglicht, ihren eigenen Planer in Azure bereitzustellen. CycleCloud bietet integrierte Unterstützung für eine Reihe von häufig verwendeten Schedulern (PBSPro, Slurm, IBM LSF, Grid Engine und HT Condor), aber CycleCloud-Benutzer implementieren häufig ihren eigenen Planer zusätzlich zur bereitgestellten API für die automatische Skalierung.
CycleCloud diktiert die Clustertopologie nicht. Die Installation enthält Vorlagen, die entwickelt wurden, um HPC-Systeme schnell in Azure zum Laufen zu bringen, aber HPC-Betreiber können diese Vorlagen anpassen, um die Infrastruktur an ihre Anforderungen anzupassen. Die Azure HPC-Community stellt meinungserprobte Vorlagen bereit, die für verschiedene Arten von Workloads und Branchen optimiert sind.
Wie eine bereitgestellte CycleCloud-Umgebung aussieht
Ein gesamtes CycleCloud HPC-System kann in der Azure-Infrastruktur bereitgestellt werden. CycleCloud selbst wird als Anwendungsserver auf einem virtuellen Computer in Azure installiert, der ausgehenden Zugriff auf Azure-Ressourcenanbieter-APIs erfordert. CycleCloud startet und verwaltet dann VMs, die die HPC-Systeme bilden. Diese bestehen in der Regel aus den HPC Scheduler-Hauptknoten und Computeknoten, können aber auch VM-basierten Network Attached Storage wie einen NFS-Server oder BeeGFS-Cluster, Anmeldeknoten, Bastionhosts und andere Komponenten umfassen, die zur Unterstützung einer HPC-Infrastruktur erforderlich sind. Die Zusammensetzung des HPC-Systems wird vollständig über CycleCloud-Vorlagen definiert. Darüber hinaus können CycleCloud HPC-Umgebungen andere PaaS-Dienste wie Azure NetApp Files, Azure HPC Cache und Azure Active Directory-Domäne Service verwenden.