Streamen von Daten aus Azure Stream Analytics in Confluent Cloud

In diesem Artikel wird beschrieben, wie Sie Ihren Azure Stream Analytics-Auftrag direkt Confluent Cloud Kafka als Ausgabe verbinden.

Voraussetzungen

• Sie haben einen Confluent Cloud Kafka-Cluster.
• Sie verfügen über eine API-Schlüsseldatei für Ihren Kafka-Cluster, die den API-Schlüssel enthält, der als Benutzername verwendet werden soll, ein API-Geheimnis für die Verwendung als Kennwort und die Bootstrap-Serveradresse.
• Sie haben einen Azure Stream Analytics-Auftrag. Sie können einen Azure Stream Analytics-Auftrag erstellen, indem Sie der Dokumentation Schnellstart: Erstellen eines Stream Analytics-Auftrags mithilfe des Azure-Portals folgen.
• Ihr Confluent Cloud Kafka-Cluster muss öffentlich zugänglich sein und darf sich nicht hinter einer Firewall befinden oder in einem virtuellen Netzwerk geschützt sein.
• Sie sollten einen vorhandenen Schlüsseltresor haben. Sie können eine Schlüsseltresorressource erstellen, indem Sie der Dokumentation Schnellstart: Erstellen eines Schlüsseltresors über das Azure-Portal folgen.

Konfigurieren von Azure Stream Analytics zum Verwenden der verwalteten Identität

Azure Stream Analytics erfordert, dass Sie die verwaltete Identität für den Zugriff auf den Schlüsseltresor konfigurieren. Sie können Ihren ASA-Auftrag so konfigurieren, dass verwaltete Identitäten verwendet werden. Navigieren Sie dazu auf der linken Seite unter Konfigurieren zur Registerkarte Verwaltete Identität.

1. Klicken Sie unter Konfigurieren auf die Registerkarte Verwaltete Identität.
2. Wählen Sie Identität wechseln aus, und wählen Sie die Identität aus, die für den Auftrag verwendet werden soll: systemseitig zugewiesene Identität oder benutzerseitig zugewiesene Identität.
3. Wählen Sie für eine benutzerseitig zugewiesene Identität das Abonnement aus, in dem sich Ihre benutzerseitig zugewiesene Identität befindet, und wählen Sie den Namen Ihrer Identität aus.
4. Überprüfen Sie Ihre Angaben, und speichern Sie sie.

Herunterladen des Zertifikats aus LetsEncrypt

Die Stream Analytics-Kafka-Ausgabe ist ein librdkafka-basierter Client. Damit die Ausgabe mit Confluent Cloud verbunden werden kann, benötigen Sie TLS-Zertifikate, die von der Confluent Cloud für die Serverauthentifizierung verwendet werden. Confluent Cloud verwendet TLS-Zertifikate von Let's Encrypt, einer offenen Zertifizierungsstelle (CA)

Laden Sie das ISRG Root X1-Zertifikat im PEM-Format auf der Website von LetsEncrypt herunter.

Konfigurieren Sie Key Vault mit Berechtigungen

Azure Stream Analytics wird nahtlos in Azure Key Vault integriert, um auf gespeicherte Geheimschlüssel zuzugreifen, die für die Authentifizierung und Verschlüsselung erforderlich sind, wenn mTLS oder SASL_SSL Sicherheitsprotokolle verwendet werden. Ihr Azure Stream Analytics-Auftrag stellt mit der verwalteten Identität eine Verbindung mit Ihrem Azure Key Vault her und gewährleistet so eine sichere Verbindung und vermeidet die Exfiltration von Geheimnissen. Um das heruntergeladene Zertifikat zu verwenden, müssen Sie es zuerst in den Schlüsseltresor hochladen.

Um Zertifikate hochzuladen, müssen Sie über „Schlüsseltresoradministrator-Zugriff auf Ihren Schlüsseltresor verfügen. Führen Sie die folgenden Schritte durch, um Administratorzugriff zuzuweisen:

1. Wählen Sie in Ihrem Key Vault Zugriffssteuerung (IAM) aus.

2. Wählen Sie Hinzufügen>Rollenzuweisung hinzufügen aus, um die Seite Rollenzuweisung hinzufügen zu öffnen.

3. Weisen Sie die Rolle mit der folgenden Konfiguration zu:

Hochladen des Zertifikats als Geheimnis über die Azure CLI in den Schlüsseltresor

Stellen Sie sicher, dass die Azure CLI lokal mit PowerShell konfiguriert und installiert ist. Auf dieser Seite finden Sie Anleitungen zur Einrichtung der Azure CLI: Erste Schritte mit der Azure CLI

Melden Sie sich bei der Azure CLI an:

az login

Stellen Sie eine Verbindung zu Ihrem Abonnement her, das Ihren Schlüsseltresor enthält:

az account set --subscription <subscription name>

Beispiel:

az account set --subscription mymicrosoftsubscription

Mit dem folgenden Befehl können Sie das Zertifikat als Geheimnis in Ihren Schlüsseltresor hochladen:

<your key vault> ist der Name des Schlüsseltresors, in den Sie das Zertifikat hochladen möchten. <name of the secret> ist jeder Name, den Sie Ihrem Geheimschlüssel geben möchten und wie er im Schlüsseltresor angezeigt wird. <file path to certificate> ist der Pfad zum Speicherort des heruntergeladenen Zertifikats. Sie können mit der rechten Maustaste auf das Zertifikat klicken und den Pfad zum Zertifikat kopieren.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Beispiel:

az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem

Zuweisen der Berechtigung für den Zugriff auf das Zertifikat im Schlüsseltresor zum Stream Analytics-Auftrag

Damit Ihr Azure Stream Analytics-Auftrag den geheimen Schlüssel im Schlüsseltresor lesen kann, muss der Auftrag über die Berechtigung zum Zugriff auf den Schlüsseltresor verfügen. Führen Sie die folgenden Schritte aus, um Ihrem Stream Analytics-Auftrag spezielle Berechtigungen zu erteilen:

1. Wählen Sie in Ihrem Schlüsseltresor Zugriffssteuerung (IAM) aus.

2. Wählen Sie Hinzufügen>Rollenzuweisung hinzufügen aus, um die Seite Rollenzuweisung hinzufügen zu öffnen.

3. Weisen Sie die Rolle mit der folgenden Konfiguration zu:

Konfigurieren der Kafka-Ausgabe in Ihrem Stream Analytics-Auftrag

1. Wählen Sie in Ihrem Stream Analytics-Auftrag unter Auftragstopologie die Option Eingaben aus.

2. Wählen Sie Ausgabe hinzufügen>Kafka aus, um das Konfigurationsblatt Neue Kafka-Ausgabe zu öffnen.

3. Verwenden Sie die folgende Konfiguration:

Verwenden Sie die folgende Konfiguration:

Speichern von Konfiguration und Testverbindung

Speichern Sie Ihre Konfiguration. Ihr Azure Stream Analytics-Auftrag überprüft die bereitgestellte Konfiguration. Eine erfolgreiche Testverbindung wird im Portal angezeigt, wenn Ihr Datenstromanalyseauftrag eine Verbindung mit Ihrem Kafka-Cluster herstellen kann.

Begrenzungen

• Das Zertifikat, das Sie in den Schlüsseltresor hochladen, muss im PEM-Format vorliegen.
• Es ist mindestens Kafka Version 0.10 erforderlich.
• Azure Stream Analytics unterstützt keine Authentifizierung für die Confluent Cloud mit OAuth oder SAML Single Sign-On (SSO). Sie müssen den API-Schlüssel über das SASL_SSL-Protokoll verwenden.
• Sie müssen die Azure CLI verwenden, um das Zertifikat als Geheimnis in den Schlüsseltresor hochzuladen. Sie können Zertifikate mit mehrstufigen geheimen Schlüsseln nicht mithilfe des Azure-Portals in den Schlüsseltresor hochladen.

Nächste Schritte