Was ist HDInsight on AKS? (Vorschau)

HDInsight on AKS ist eine moderne, zuverlässige, sichere und vollständig verwaltete Plattform als Service (PaaS), die auf Azure Kubernetes Service (AKS) ausgeführt wird. HDInsight on AKS ermöglicht es Ihnen, beliebte Open-Source Analyse-Workloads wie Apache Spark™, Apache Flink®️ und Trino bereitzustellen, ohne dass der Aufwand für die Verwaltung und Überwachung von Containern besteht.

Sie können End-to-End-, Petabyte-große Big Data-Anwendungen erstellen, die das Streaming über Apache Flink, Datentechnik und maschinelles Lernen mit Apache Spark und Trinos leistungsstarkem Abfragemodul umfassen.

All diese Funktionen in Kombination mit dem starken Entwicklerfokus von HDInsight on AKS ermöglichen es Unternehmen und Digital Natives mit umfassender technischer Expertise, Anwendungen zu erstellen und zu betreiben, die ihren Anforderungen gerecht werden. HDInsight on AKS ermöglicht Entwicklern den Zugriff auf all die umfangreichen Konfigurationen, die von Open-Source-Software bereitgestellt werden, und die Erweiterbarkeit, um nahtlos andere Ökosystemangebote einzuschließen. Mit diesem Angebot können Entwickler ihre Anwendungen testen und optimieren, um optimale Leistung zu optimalen Kosten zu erzielen.

HDInsight on AKS lässt sich in das gesamte Azure-Ökosystem integrieren und kann so Implementierungszyklen kürzen und die Zeit zur Wertumsetzung erhöhen.

Technische Architektur

HDInsight on AKS führt das Konzept von Clusterpools und Clustern ein, mit denen Sie den vollständigen Wert vom Data Lakehouse realisieren können. Mithilfe von Clusterpools können Sie mehrere Compute-Workloads auf einem einzelnen Data Lake verwenden, wodurch der Aufwand für die Netzwerkverwaltung und Ressourcenplanung entfernt wird.

• Clusterpools sind eine logische Gruppierung von Clustern, die bei der Erstellung einer stabilen Interoperabilität über mehrere Clustertypen hinweg hilft und es Unternehmen ermöglicht, die Cluster im selben virtuellen Netzwerk zu haben. Clusterpools bieten schnellen und kostengünstigen Zugriff auf alle Clustertypen, die bei Bedarf und im Großen und Maßstab erstellt wurden. Ein Clusterpool entspricht einem Cluster in der AKS-Infrastruktur.
• Cluster sind einzelne Compute-Workloads wie Apache Spark, Apache Flink und Trino, die in wenigen Minuten mit voreingestellten Konfigurationen erstellt werden können.

Sie können den Pool mit einem einzelnen Cluster oder einer Kombination von Clustertypen erstellen, die auf dem Bedarf basieren und die folgenden Optionen konfigurieren können:

• Speicher
• Netzwerk
• Protokollierung
• Überwachung

Das folgende Diagramm zeigt die logische technische Architektur von Komponenten, die in einem Standardclusterpool installiert sind. Die Cluster werden mithilfe von Namespaces in AKS-Clustern isoliert.

Modernisierte cloudeigene Compute-Plattform

Die neueste Version von HDInsight wird mit AKS koordiniert, wodurch die Plattform robuster ist und die Benutzer in der Lage sind, effektiv mit den Clustern zu arbeiten. Die Bereitstellung von Clustern in HDInsight on AKS ist schnell und zuverlässig und erleichtert die Verwaltung von Clustern und das Durchführen von direkten Upgrades. Mit umfangreichen SKU-Auswahlmöglichkeiten und flexiblen Abonnementmodellen kann die Modernisierung von Data Lakehouses mit quelloffener, cloudnativer und skalierbarer Infrastruktur auf HDInsight on AKS alle Ihre Analyseanforderungen erfüllen.

Hauptfeatures sind:

• Schnelle Erstellung und Skalierung von Clustern.
• Erleichterte Wartung und regelmäßige Sicherheitsupdates.
• Clusterresilienz dank modernem cloudeigenem AKS.
• Native Unterstützung für moderne Authentifizierung mit OAuth und Microsoft Entra ID.
• Umfassende Integration in Azure Services – Azure Data Factory (ADF), Power BI, Azure Monitor.

Konnektivität mit HDInsight

HDInsight on AKS kann nahtlos mit HDInsight verbunden werden. Sie können die Vorteile der Verwendung erforderlicher Clustertypen in einem Hybridmodell nutzen. Interoperabilität mit Clustertypen von HDInsight unter Verwendung desselben Speichers und Metastores in beiden Angeboten.

HDInsight bietet Apache Kafka®, Apache HBase® und andere Analyseworkloads als PaaS-Formfaktor (Platform-as-a-Service) an.

Die folgenden Szenarien werden unterstützt:

• Apache Flink mit Verbindung zu Apache HBase
• Apache Flink mit Verbindung zu Apache Kafka
• Apache Flink mit Verbindung zu Apache HBase
• Apache Flink mit Verbindung zu Apache Kafka

Sicherheitsarchitektur

HDInsight on AKS ist standardmäßig sicher. Sie ermöglicht es Unternehmen, die Unternehmensdatenressourcen durch die Verwendung von Azure Virtual Network, Verschlüsselung und Integration von Microsoft Entra ID schützen. Darüber hinaus erfüllt es die gängigsten branchen- und behördenspezifischen Compliancestandards und hält die Azure-Standards ein. Mit mehr als 30 Zertifizierungen, die dazu beitragen, Daten zu schützen, zusammen mit regelmäßigen Updates, Integritätsratgeberbenachrichtigungen, Dienstintegritätsanalysen sowie erstklassigen Azure-Sicherheitsstandards. HDInsight on AKS bietet mehrere Methoden, um die Sicherheitsanforderungen Ihres Unternehmens zu erfüllen. Weitere Informationen finden Sie unter Sicherheit von HDInsight on AKS.

Verfügbarkeit der Region (öffentliche Vorschau)

Asien-Pazifik

• Australien (Osten)
• Indien, Mitte
• Asien, Osten
• Japan, Osten
• Korea, Mitte
• Asien, Südosten

Europa

• Frankreich, Mitte
• Nordeuropa
• Norwegen, Osten
• Schweiz, Norden
• UK, Süden
• Europa, Westen

Amerika

• Brasilien Süd
• Kanada, Mitte
• USA (Mitte)
• East US
• USA (Ost) 2
• USA, Osten 2 (EUAP)
• USA Süd Mitte
• USA (Westen)
• USA, Westen 2
• USA, Westen 3