Was ist neu in HDInsight auf AKS? (Vorschau)
Hinweis
Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.
Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.
Wichtig
Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.
In HDInsight auf AKS haben alle Clusterverwaltung und -vorgänge native Unterstützung für Dienstverwaltung im Azure-Portal für einzelne Cluster.
In HDInsight auf AKS werden zwei neue Konzepte eingeführt:
- Clusterpools werden zum Gruppieren und Verwalten von Clustern verwendet.
- Werden Cluster für Open Source-Berechnungen verwendet, werden sie in einem Clusterpool gehostet.
Clusterpools
HDInsight auf AKS wird auf Azure Kubernetes Service (AKS) ausgeführt. Die Ressource auf oberster Ebene ist der Clusterpool und verwaltet alle Cluster, die auf demselben AKS-Cluster ausgeführt werden. Wenn Sie einen Clusterpool erstellen, wird gleichzeitig ein zugrunde liegender AKS-Cluster erstellt, um alle Cluster im Pool zu hosten. Clusterpools sind eine logische Gruppierung von Clustern, die bei der Erstellung einer stabilen Interoperabilität über mehrere Clustertypen hinweg helfen und es Unternehmen ermöglichen, die Cluster im selben virtuellen Netzwerk zu haben. Clusterpools bieten schnellen und kostengünstigen Zugriff auf alle Clustertypen, die bei Bedarf und im Großen und Maßstab erstellt wurden. Ein Clusterpool entspricht einem Cluster in der AKS-Infrastruktur.
Cluster
Cluster sind einzelne Open-Source-Computeworkloads wie Apache Spark, Apache Flink und Trino, die in wenigen Minuten mit voreingestellten Konfigurationen und wenigen Klicks schnell erstellt werden können. Obwohl sie auf demselben Clusterpool ausgeführt wird, kann jeder Cluster eigene Konfigurationen haben, z. B. Clustertyp, Version, Größe des virtuellen Knotens, Knotenanzahl. Cluster werden auf getrennten Computeressourcen mit eigenen DNS- und Endpunkten ausgeführt.
Funktionen, die sich derzeit in der Vorschauphase befinden
In der folgenden Tabellenliste sind die Features von HDInsight auf AKS aufgeführt, die sich derzeit in der Vorschau befinden. Previewfunktionen werden alphabetisch sortiert.
| Bereich | Funktionen |
|---|---|
| Grundlagen | Erstellen von Pool und Clustern mithilfe des Portals, Unterstützung der sicheren Webshell (SSH), Auswahl der Anzahl der Workerknoten während der Clustererstellung |
| Storage | ADLS Gen2-Speicher-Support |
| Metastore | Support für externe Metastores für Trino, Spark und Flink, Integration in HDInsight |
| Sicherheit | Support für ARM RBAC, Support für MSI-basierte Authentifizierung, Option zum Bereitstellen des Clusterzugriffs auf andere Benutzer |
| Protokollierung und Überwachung | Protokollaggregation in Azure-Protokollanalysen, für Serverprotokolle, Cluster- und Dienstmetriken über verwaltetes Prometheus und Grafana, Support von Servermetriken in Azure Monitor, Dienststatusseite zur Überwachung von Integritätsdienst |
| Automatische Skalierung | Lastbasierte automatische Skalierung und Planen der automatischen Skalierung |
| Anpassen und Konfigurieren von Clustern | Support für Skriptaktionen während der Clustererstellung, Unterstützung für Bibliotheksverwaltung, Dienstkonfigurationseinstellungen nach der Clustererstellung |
| Trino | Unterstützung für Trino-Kataloge, Trino CLI-Support, DBeaver-Support für die Abfrageübermittlung, Hinzufügen oder Entfernen von Plug-Ins und Connectors, Support für Protokollierungsabfrageevents, Support für Scanabfragestatistiken für jeden Connector im Trino-Dashboard, Unterstützung für Trino-Dashboard zum Überwachen von Abfragen, Abfragezwischenspeicherung, Integration mit PowerBI, Integration mit Apache Superset, Redash, Unterstützung für mehrere Connectors |
| Flink | Unterstützung für Flink native Web-UI, Flink-Unterstützung mit HMS für DStream, Senden von Aufträgen an den Cluster mithilfe vonREST-API und Azure Portal, Ausführen von Programmen, die als JAR-Dateien über dieFlink CLI gepackt sind, Unterstützung für persistente Speicherpunkte, Unterstützung für Updates der Konfigurationsoptionen während der Auftragsausführung, Herstellen einer Verbindung mit mehreren Azure-Diensten:Azure Cosmos DB,Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Wokflow Orchestration Manager, HDInsight Kafka, Senden von Aufträgen an den Cluster mithilfe von Flink CLI und CDC mit Flink |
| Spark | Jupyter Notebook, Support für Delta Lake 2.0, Zeppelin Support, Support ATS, Support für Yarn History Server Interface, Auftragsübermittlung mit SSH, Auftragsübermittlung mit SDK und Machine Learning Notebook |
Roadmap der Funktionen
| Funktion | Geschätzte Release-Zeitachse | Status |
|---|---|---|
| Autoskalierung – Lastbasiert – Trino | Q1 2024 | Abgeschlossen |
| Lastbasierte automatische Skalierung für Spark | Q2 2024 | In Bearbeitung |
| Direktes Upgrade | Q2 2024 | Abgeschlossen |
| Support für reservierte Instanzen | Q2 2024 | In Bearbeitung |
| MSI-basierte Authentifizierung für Metastore (SQL) | Q1 2024 | In Bearbeitung |
| SPARK 3.4 | Q2 2024 | In Bearbeitung |
| Trino 426 | Q1 2024 | Abgeschlossen |
| Ranger für RBAC | Q2 2024 | In Bearbeitung |
| Unterstützung für den App-Modus für Flink | Q1 2024 | Abgeschlossen |
| Flink 1.17 | Q1 2024 | Abgeschlossen |
| Spark ACID-Support | Q1 2024 | In Bearbeitung |
| Konfigurierbare SKUs für Headnode, SSH | Q2 2024 | In Bearbeitung |
| Flink-SQL-Gateways-Support | Q1 2024 | Abgeschlossen |
| Private Cluster für HDInsight on AKS | Q1 2024 | Abgeschlossen |
| Ranger-Support für Spark SQL | Q4 2024 | In Bearbeitung |
| Ranger ACLs auf Speicherebene | Q4 2024 | In Bearbeitung |
| Unterstützung für One Lake als primärer Container | Q2 2024 | Vorgang wird ausgeführt |