Kurz: Vytvoření a použití služby Apache Kafka pro vývoj

Azure Container Apps umožňuje připojit se k vývojovým a produkčním službám, abyste svým aplikacím poskytli širokou škálu funkcí.

V tomto kurzu se naučíte vytvářet a používat vývojovou službu Apache Kafka.

V tomto kurzu jsou doporučené příkazy Azure CLI a fragmenty šablon Bicep. Pokud použijete Bicep, můžete všechny fragmenty přidat do jednoho souboru Bicep a nasadit šablonu najednou.

Požadavky

• Nainstalujte rozhraní příkazového řádku Azure CLI.
• Volitelné: Azure Developer CLI pro následující pokyny AZD.

Nastavení

1. Definujte proměnné pro běžné hodnoty.

   • Udeřit
   • Bicep
   • azd

   RESOURCE_GROUP="kafka-dev"
   LOCATION="northcentralus"
   ENVIRONMENT="aca-env"
   KAFKA_SVC="kafka01"
   KAFKA_CLI_APP="kafka-cli-app"
   KAFKA_UI_APP="kafka-ui-app"
   

2. Přihlásí se k Azure.

   az login
   

3. Upgradujte rozhraní příkazového řádku na nejnovější verzi.

   az upgrade
   

4. Upgradujte Bicep na nejnovější verzi.

   az bicep upgrade
   

5. Přidejte th containerapp extension.

   az extension add --name containerapp --upgrade
   

6. Zaregistrujte požadované obory názvů.

   az provider register --namespace Microsoft.App
   

   az provider register --namespace Microsoft.OperationalInsights
   

Vytvoření prostředí Container Apps

1. Vytvořte skupinu prostředků.

   • Udeřit
   • Bicep
   • azd

   az group create \
       --name "$RESOURCE_GROUP" \
       --location "$LOCATION"
   

2. Vytvořte prostředí Container Apps.

   • Udeřit
   • Bicep
   • azd

   az containerapp env create \
     --name "$ENVIRONMENT" \
     --resource-group "$RESOURCE_GROUP" \
     --location "$LOCATION"
   

Vytvoření služby Apache Kafka

1. Vytvořte službu Apache Kafka.

   • Udeřit
   • Bicep
   • azd

   ENVIRONMENT_ID=$(az containerapp env show \
     --name "$ENVIRONMENT" \
     --resource-group "$RESOURCE_GROUP" \
     --output tsv \
     --query id)
   

2. Nasazení šablony

   • Udeřit
   • Bicep
   • azd

       az containerapp add-on kafka create \
       --name "$KAFKA_SVC" \
       --resource-group "$RESOURCE_GROUP" \
       --environment "$ENVIRONMENT"
   

3. Zobrazení výstupu protokolu z instance Kafka

   • Udeřit
   • Bicep
   • azd

   logs K zobrazení zpráv protokolu použijte příkaz.

   az containerapp logs show \
       --name $KAFKA_SVC \
       --resource-group $RESOURCE_GROUP \
       --follow --tail 30
   

   

Vytvoření aplikace pro otestování služby

Když vytvoříte aplikaci, nastavíte ji tak, aby používala ./kafka-topics.sh./kafka-console-producer.sh, a kafka-console-consumer.sh aby se připojila k instanci Kafka.

1. Vytvořte kafka-cli-app aplikaci, která je svázaná se službou Kafka.

   • Udeřit
   • Bicep
   • azd

   az containerapp create \
       --name "$KAFKA_CLI_APP" \
       --image mcr.microsoft.com/k8se/services/kafka:3.4 \
       --bind "$KAFKA_SVC" \
       --environment "$ENVIRONMENT" \
       --resource-group "$RESOURCE_GROUP" \
       --min-replicas 1 \
       --max-replicas 1 \
       --command "/bin/sleep" "infinity"
   

2. Spuštěním příkazu rozhraní příkazového řádku exec se připojte k testovací aplikaci.

   • Udeřit
   • Bicep
   • azd

   az containerapp exec \
       --name $KAFKA_CLI_APP \
       --resource-group $RESOURCE_GROUP \
       --command /bin/bash
   

   Při použití --bind nebo serviceBinds v testovací aplikaci se informace o připojení vloží do aplikačního prostředí. Jakmile se připojíte k testovacímu kontejneru, můžete zkontrolovat hodnoty pomocí env příkazu.

   env | grep "^KAFKA_"
   
   KAFKA_SECURITYPROTOCOL=SASL_PLAINTEXT
   KAFKA_BOOTSTRAPSERVER=kafka01:9092
   KAFKA_HOME=/opt/kafka
   KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
   KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
   KAFKA_SASLUSERNAME=kafka-user
   KAFKA_SASL_USER=kafka-user
   KAFKA_VERSION=3.4.0
   KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
   KAFKA_SASL_PASSWORD=7dw...
   KAFKA_SASLPASSWORD=7dw...
   KAFKA_SASL_MECHANISM=PLAIN
   KAFKA_SASLMECHANISM=PLAIN
   

3. Slouží kafka-topics.sh k vytvoření tématu události.

   Vytvořte soubor kafka.props.

   echo "security.protocol=$KAFKA_SECURITY_PROTOCOL" >> kafka.props && \
   echo "sasl.mechanism=$KAFKA_SASL_MECHANISM" >> kafka.props && \
   echo "sasl.jaas.config=$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" >> kafka.props
   

   Vytvořte quickstart-events téma události.

   /opt/kafka/bin/kafka-topics.sh \
       --create --topic quickstart-events \
       --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
       --command-config kafka.props
   # Created topic quickstart-events.
   
   /opt/kafka/bin/kafka-topics.sh \
       --describe --topic quickstart-events \
       --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
       --command-config kafka.props
   # Topic: quickstart-events	TopicId: lCkTKmvZSgSUCHozhhvz1Q	PartitionCount: 1	ReplicationFactor: 1	Configs: segment.bytes=1073741824
   # Topic: quickstart-events	Partition: 0	Leader: 1	Replicas: 1	Isr: 1
   

4. Slouží kafka-console-producer.sh k zápisu událostí do tématu.

   /opt/kafka/bin/kafka-console-producer.sh \
       --topic quickstart-events \
       --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
       --producer.config kafka.props
   
   > this is my first event
   > this is my second event
   > this is my third event
   > CTRL-C
   

   Poznámka:

   Příkaz ./kafka-console-producer.sh vás vyzve k zápisu událostí pomocí >příkazu . Napište některé události, jak je znázorněno, a pak se stisknutím klávesy CTRL-C ukončete.

5. Slouží kafka-console-consumer.sh ke čtení událostí z tématu.

   /opt/kafka/bin/kafka-console-consumer.sh \
        --topic quickstart-events \
       --bootstrap-server $KAFKA_BOOTSTRAP_SERVERS \
       --from-beginning \
       --consumer.config kafka.props
   
   # this is my first event
   # this is my second event
   # this is my third event
   

Použití služby pro vývoj s existující aplikací

Pokud už máte aplikaci, která používá Apache Kafka, můžete změnit způsob načtení informací o připojení.

Nejprve vytvořte následující proměnné prostředí.

KAFKA_HOME=/opt/kafka
KAFKA_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka-user" password="7dw..." user_kafka-user="7dw..." ;
KAFKA_BOOTSTRAP_SERVERS=kafka01:9092
KAFKA_SASL_USER=kafka-user
KAFKA_VERSION=3.4.0
KAFKA_SECURITY_PROTOCOL=SASL_PLAINTEXT
KAFKA_SASL_PASSWORD=7dw...
KAFKA_SASL_MECHANISM=PLAIN

Pomocí rozhraní příkazového řádku (nebo Bicep) můžete aplikaci aktualizovat a přidat --bind $KAFKA_SVC tak, aby používala službu pro vývoj.

Vazba na službu pro vývoj

Nasaďte kafka-ui pro zobrazení a správu instance Kafka.

resource kafkaUi 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaUiAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      ingress: {
        external: true
        targetPort: 8080
      }
    }
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
          name: 'kafka'
        }
      ]
      containers: [
        {
          name: 'kafka-ui'
          image: 'docker.io/provectuslabs/kafka-ui:latest'
          command: [
            '/bin/sh'
          ]
          args: [
            '-c'
            '''export KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS="$KAFKA_BOOTSTRAP_SERVERS" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG="$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM="$KAFKA_SASL_MECHANISM" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL="$KAFKA_SECURITY_PROTOCOL" && \
            java $JAVA_OPTS -jar kafka-ui-api.jar'''
          ]
          resources: {
            cpu: json('1.0')
            memory: '2.0Gi'
          }
        }
      ]
    }
  }
}

output kafkaUiUrl string = 'https://${kafkaUi.properties.configuration.ingress.fqdn}'

module kafkaUi './core/host/container-app.bicep' = {
  name: 'kafka-ui'
  scope: rg
  params: {
    name: kafkaUiAppName
    location: location
    tags: tags
    environmentId: appEnvironment.outputs.appEnvironmentId
    serviceId: kafka.outputs.serviceId
    containerImage: 'docker.io/provectuslabs/kafka-ui:latest'
    containerName: 'kafka-ui'
    maxReplicas: 1
    minReplicas: 1
    containerCommands: [ '/bin/sh' ]
    containerArgs: [ 
      '-c'
      '''export KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS="$KAFKA_BOOTSTRAP_SERVERS" && \
      export KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG="$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" && \
      export KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM="$KAFKA_SASL_MECHANISM" && \
      export KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL="$KAFKA_SECURITY_PROTOCOL" && \
      java $JAVA_OPTS -jar kafka-ui-api.jar'''
    ]
    targetPort: 8080
    externalIngress: true
  }
}

azd up

Nasazení všech prostředků

Pokud chcete nasadit všechny prostředky najednou, použijte následující příklady.

Bicep

Následující šablona Bicep obsahuje všechny prostředky v tomto kurzu.

Soubor s tímto obsahem kafka-dev.bicep můžete vytvořit.

targetScope = 'resourceGroup'
param location string = resourceGroup().location
param appEnvironmentName string = 'aca-env'
param kafkaSvcName string = 'kafka01'
param kafkaCliAppName string = 'kafka-cli-app'
param kafkaUiAppName string = 'kafka-ui'

resource logAnalytics 'Microsoft.OperationalInsights/workspaces@2022-10-01' = {
  name: '${appEnvironmentName}-log-analytics'
  location: location
  properties: {
    sku: {
      name: 'PerGB2018'
    }
  }
}

resource appEnvironment 'Microsoft.App/managedEnvironments@2023-04-01-preview' = {
  name: appEnvironmentName
  location: location
  properties: {
    appLogsConfiguration: {
      destination: 'log-analytics'
      logAnalyticsConfiguration: {
        customerId: logAnalytics.properties.customerId
        sharedKey: logAnalytics.listKeys().primarySharedKey
      }
    }
  }
}

resource kafka 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaSvcName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      service: {
          type: 'kafka'
      }
    }
  }
}

resource kafkaCli 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaCliAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
        }
      ]
      containers: [
        {
          name: 'kafka-cli'
          image: 'mcr.microsoft.com/k8se/services/kafka:3.4'
          command: [ '/bin/sleep', 'infinity' ]
        }
      ]
      scale: {
        minReplicas: 1
        maxReplicas: 1
      }
    }
  }
}

resource kafkaUi 'Microsoft.App/containerApps@2023-04-01-preview' = {
  name: kafkaUiAppName
  location: location
  properties: {
    environmentId: appEnvironment.id
    configuration: {
      ingress: {
        external: true
        targetPort: 8080
      }
    }
    template: {
      serviceBinds: [
        {
          serviceId: kafka.id
          name: 'kafka'
        }
      ]
      containers: [
        {
          name: 'kafka-ui'
          image: 'docker.io/provectuslabs/kafka-ui:latest'
          command: [
            '/bin/sh'
          ]
          args: [
            '-c'
            '''export KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS="$KAFKA_BOOTSTRAP_SERVERS" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG="$KAFKA_PROPERTIES_SASL_JAAS_CONFIG" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM="$KAFKA_SASL_MECHANISM" && \
            export KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL="$KAFKA_SECURITY_PROTOCOL" && \
            java $JAVA_OPTS -jar kafka-ui-api.jar'''
          ]
          resources: {
            cpu: json('1.0')
            memory: '2.0Gi'
          }
        }
      ]
    }
  }
}

output kafkaUiUrl string = 'https://${kafkaUi.properties.configuration.ingress.fqdn}'

output kafkaCliExec string = 'az containerapp exec -n ${kafkaCli.name} -g ${resourceGroup().name} --command /bin/bash'

output kafkaLogs string = 'az containerapp logs show -n ${kafka.name} -g ${resourceGroup().name} --follow --tail 30'

K nasazení šablony použijte Azure CLI.

RESOURCE_GROUP="kafka-dev"
LOCATION="northcentralus"

az group create \
    --name "$RESOURCE_GROUP" \
    --location "$LOCATION"

az deployment group create -g $RESOURCE_GROUP \
    --query 'properties.outputs.*.value' \
    --template-file kafka-dev.bicep

Azure Developer CLI

Konečná šablona je k dispozici na GitHubu.

Slouží azd up k nasazení šablony.

git clone https://github.com/Azure-Samples/aca-dev-service-kafka-azd
cd aca-dev-service-kafka-azd
azd up

Vyčištění prostředků

Jakmile budete hotovi, spuštěním následujícího příkazu odstraňte skupinu prostředků, která obsahuje vaše prostředky Container Apps.

az group delete \
    --resource-group $RESOURCE_GROUP