Konfigurieren von Apache Kafka in HDInsight für die automatische Erstellung von Themen

  • Artikel

Standardmäßig aktiviert Apache Kafka in HDInsight die automatische Themenerstellung nicht. Sie können die automatische Themenerstellung für vorhandene Cluster mithilfe von Apache Ambari aktivieren. Sie können die automatische Themenerstellung auch aktivieren, wenn Sie mithilfe einer Azure Resource Manager-Vorlage einen neuen Kafka-Cluster erstellen.

Apache Ambari-Webbenutzeroberfläche

Um die automatische Themenerstellung in einem vorhandenen Cluster über die Ambari-Web-UI zu aktivieren, führen Sie folgende Schritte aus:

  1. Wählen Sie im Azure-Portal Ihren Kafka-Cluster aus.

  2. Wählen Sie aus Clusterdashboards die Option Ambari-Homepage aus.

    Image of the portal with cluster dashboard selected.

    Bei Aufforderung authentifizieren Sie sich mit den Anmeldeinformationen (Admin) für den Cluster. Stattdessen können Sie sich auch direkt von https://CLUSTERNAME.azurehdinsight.net/ aus mit Amabri verbinden, wobei CLUSTERNAME der Name Ihres Kafka-Clusters ist.

  3. Wählen Sie auf der linken Seite aus der Liste den Kafka-Dienst aus.

    Apache Ambari service list tab.

  4. Klicken Sie in der Mitte der Seite auf „Konfigurationen“.

    Apache Ambari service configs tab.

  5. Geben Sie in das Feld „Filter“ den Wert auto.create ein.

    Apache Ambari search filter field.

    Diese Einstellung filtert die Liste der Eigenschaften und zeigt die Einstellung auto.create.topics.enable an.

  6. Ändern Sie den Wert von auto.create.topics.enable zu true, und klicken Sie dann auf Speichern. Fügen Sie einen Hinweis hinzu, und wählen Sie dann erneut Speichern.

    Image of the auto.create.topics.enable entry.

  7. Wählen Sie den Dienst Kafka, dann die Option Neu starten und abschließend die Option Neustart aller betroffenen. Klicken Sie bei entsprechender Aufforderung auf Neustart aller Dienste bestätigen.

    `Apache Ambari restart all affected`.

Hinweis

Sie können Ambari-Werte auch über die Ambari-REST-API festlegen. Dies ist im Allgemeinen schwieriger, da Sie mehrere REST-Aufrufe tätigen müssen, um die aktuelle Konfiguration abzurufen, sie zu ändern usw. Weitere Informationen finden Sie im Dokument Verwalten von HDInsight-Clustern mit dem Apache Ambari REST API-Dokument.

Resource Manager-Vorlagen

Wenn Sie einen Kafka-Cluster mithilfe einer Azure Resource Manager-Vorlage erstellen, können Sie auto.create.topics.enable durch Hinzufügen in einem kafka-broker direkt festlegen. Der folgende JSON-Codeausschnitt zeigt, wie dieser Wert auf true festgelegt wird:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Nächste Schritte

In diesem Dokument haben Sie erfahren, wie Sie die automatische Themenerstellung für Apache Kafka in HDInsight aktivieren. Weitere Informationen zur Arbeit mit Kafka finden Sie unter den folgenden Links: