O que é o Hubs de Eventos do Azure para Apache Kafka

Este artigo explica como usar os Hubs de Eventos do Azure para transmitir dados de aplicativos Apache Kafka sem configurar um cluster do Kafka por conta própria.

Visão geral

Os Hubs de Eventos do Azure fornecem um ponto de extremidade do Apache Kafka em um hub de eventos, que permite que os usuários se conectem ao hub de eventos usando o protocolo Kafka. Geralmente, você pode usar o ponto de extremidade Kafka de um hub de eventos em seus aplicativos sem nenhuma alteração de código. Você modifica apenas a configuração, isto é, atualiza a cadeia de conexão nas configurações para apontar para o ponto de extremidade do Kafka exposto pelo hub de eventos, em vez de apontar para um cluster do Kafka. Em seguida, você pode iniciar eventos de streaming de seus aplicativos que usam o protocolo Kafka em hubs de eventos, que são equivalentes aos tópicos do Kafka.

Para saber mais sobre como migrar seus aplicativos Kafka para os Hubs de Eventos do Azure, consulte o guia de migração.

Mapeamento conceitual do Apache Kafka e dos Hubs de Eventos do Azure

Conceitualmente, o Kafka e os Hubs de Eventos são muito semelhantes. Ambos são logs particionados compilados para dados de streaming, pelos quais cliente controla a parte do log retido que ele deseja ler. A tabela a seguir mapeia conceitos entre Kafka e Hubs de Eventos.

Recursos do Apache Kafka com suporte nos Hubs de Eventos do Azure

Kafka Streams

Kafka Streams é uma biblioteca de clientes do Stream Analytics que faz parte do projeto de código aberto do Apache Kafka, mas está separada do agente de fluxo de evento do Apache Kafka.

Os Hubs de Eventos do Azure dão suporte à biblioteca de clientes do Kafka Streams, com detalhes e conceitos disponíveis aqui.

O motivo mais comum para os clientes dos Hubs de Eventos do Azure solicitarem suporte ao Kafka Streams é o interesse no produto "ksqlDB" do Confluent. "ksqlDB" é um projeto proprietário de origem compartilhada e licenciado de modo que nenhum fornecedor que "ofereça software como serviço, plataforma como serviço, infraestrutura como serviço ou outros serviços online semelhantes que concorrem com produtos ou serviços do Confluent" tenha permissão para usar ou dar suporte ao "ksqlDB". Na prática, se você usar ksqlDB, você deve operar o Kafka por conta própria ou usar as ofertas de nuvem do Confluent. Os termos de licenciamento também podem afetar os clientes do Azure que oferecem serviços para uma finalidade não incluída na licença.

Autônomo e sem ksqlDB, o Kafka Stream tem menos recursos que muitas estruturas e serviços alternativos, a maioria das quais tem interfaces SQL de streaming internas e todas se integram com os Hubs de Eventos do Azure atualmente:

• Azure Stream Analytics
• Azure Synapse Analytics (via Captura de Hubs de Eventos)
• Azure Databricks
• Apache Samza
• Apache Storm
• Apache Spark
• Apache Flink
• Apache Flink no HDInsight no AKS
• Akka Streams

Transações do Kafka

Os Hubs de Eventos do Azure dão suporte a transações do Kafka. Mais detalhes sobre o suporte e os conceitos estão disponíveis aqui

Compactação

O recurso de compactação do lado do cliente no Apache Kafka conserva recursos de computação e largura de banda compactando um lote de várias mensagens em uma única mensagem no lado do produtor e descompacta o lote no lado do consumidor. O agente do Apache Kafka trata o lote como uma mensagem especial.

Os desenvolvedores de aplicativos produtores do Kafka podem habilitar a compactação de mensagens definindo a propriedade compression.type. Atualmente, os Hubs de Eventos do Azure dão suporte à compactação gzip.

Compression.type = none | gzip

Embora o recurso seja compatível apenas com o tráfego do Apache Kafka para produtores e consumidores, o consumidor AMQP pode consumir o tráfego Kafka compactado como mensagens descompactadas.

Principais diferenças entre Apache Kafka e Hubs de Eventos do Azure

Embora o Apache Kafka seja o software que você normalmente precisa instalar e operar, os Hubs de Eventos são um serviço totalmente gerenciado e nativo de nuvem. Não há servidores, discos ou redes para gerenciar e monitorar e nenhum agente para considerar ou configurar. Você cria um namespace, que é um ponto de extremidade com um nome de domínio totalmente qualificado e depois cria Hubs de Eventos (tópicos) dentro desse namespace.

Para obter mais informações sobre namespaces e Hubs de Eventos, consulte Recursos de Hubs de Eventos. Como um serviço de nuvem, os Hubs de Eventos usam um único endereço IP virtual estável como o ponto de extremidade, para que os clientes não precisem saber sobre os agentes ou computadores em um cluster. Embora os Hubs de Eventos implementem o mesmo protocolo, essa diferença significa que todo o tráfego Kafka de todas as partições é roteado de forma previsível por meio desse ponto de extremidade, em vez de exigir acesso de firewall para todos os agentes de um cluster.

A escala nos Hubs de Eventos é controlada por quantas unidades de produtividade (TUs) ou unidades de processamento você compra. Se você habilitar o recurso Ampliação automática para um namespace de camada standard, os Hubs de Eventos vão automaticamente escalar verticalmente as TUs quando você atingir o limite de taxa de transferência. Esse recurso também funciona com o suporte do protocolo Apache Kafka. Para um namespace de camada premium, você pode aumentar o número de unidades de processamento atribuídas ao namespace.

O Apache Kafka é a solução certa para sua carga de trabalho?

Se você cria aplicativos que usam Apache Kafka, também é importante entender que os Hubs de Eventos do Azure fazem parte de uma frota de serviços, que também inclui o Barramento de Serviço do Azure e a Grade de Eventos do Azure.

Embora alguns provedores de distribuições comerciais do Apache Kafka sugiram que a solução seja completa para todas as necessidades de plataforma de mensagens, na verdade, ele não implementa, por exemplo, o padrão de fila de consumidor concorrente e não tem suporte para publicação/assinatura em um nível que permite aos assinantes acesso a mensagens de entrada com base em regras avaliadas pelo servidor que não sejam de deslocamentos simples. Além disso, a solução não tem recursos para acompanhar o ciclo de vida de um trabalho iniciado por uma mensagem ou para mover mensagens com falha para uma fila de mensagens mortas, fundamentais em muitos cenários de sistema de mensagem corporativo.

Para entender as diferenças entre padrões e identificar quais serviços oferecem a melhor cobertura para quais padrões, confira as diretrizes Opções de mensagens assíncronas no Azure. Como usuário do Apache Kafka, você pode ver que os caminhos de comunicação que você tem até agora com o Kafka podem ser obtidos com complexidade muito menos básica e com recursos mais poderosos usando a Grade de Eventos ou o Barramento de Serviço.

Se você precisar de recursos específicos do Apache Kafka que não estão disponíveis na interface dos Hubs de Eventos no Apache Kafka ou se o padrão de implementação exceder as cotas dos Hubs de Eventos, também poderá executar um cluster do Apache Kafka nativo no Azure HDInsight.

Segurança e autenticação

Sempre que você publica ou consome eventos de Hubs de Eventos para Kafka, o cliente está tentando acessar os recursos dos Hubs de Eventos. Garanta que os recursos sejam acessados usando uma entidade autorizada. Ao usar o protocolo Apache Kafka com os clientes, você pode definir a configuração de autenticação e criptografia usando os mecanismos SASL. Usar os Hubs de Eventos no Kafka exige a criptografia TLS, pois todos os dados em trânsito com os Hubs de Eventos são criptografados por TLS. Para isso, você pode especificar a opção SASL_SSL no arquivo de configuração.

Os Hubs de Eventos do Azure fornecem várias opções para autorizar o acesso aos recursos seguros.

• OAuth 2.0
• Assinatura de acesso compartilhado (SAS)

OAuth 2.0

Os Hubs de Eventos se integram ao Microsoft Entra ID, que fornece um servidor de autorização centralizado compatível com OAuth 2.0. Com o Microsoft Entra ID, é possível usar o Azure RBAC (controle de acesso baseado em função do Azure) para conceder permissões refinadas às identidades de cliente. Você pode usar esse recurso com os clientes do Kafka especificando SASL_SSL para o protocolo e OAUTHBEARER para o mecanismo. Para mais detalhes sobre as funções e os níveis do Azure para o acesso ao escopo, confira Autorizar acesso com o Microsoft Entra ID.

bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=OAUTHBEARER
sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
sasl.login.callback.handler.class=CustomAuthenticateCallbackHandler

SAS (Assinatura de Acesso Compartilhado)

Os Hubs de Eventos também fornecem as SAS (assinaturas de acesso compartilhado) para acesso delegado aos Hubs de Eventos para recursos Kafka. A autorização de acesso usando o mecanismo baseado em token OAuth 2.0 fornece segurança superior e facilidade de uso do que SAS. As funções internas também podem eliminar a necessidade de autorização baseada em ACL, que deve ser mantida e gerenciada pelo usuário. Você pode usar esse recurso com os clientes do Kafka especificando SASL_SSL para o protocolo e PLAIN para o mecanismo.

bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

Exemplos

Para obter um tutorial com as instruções detalhadas para criar um hub de eventos e acessá-lo usando SAS ou OAuth, confira Início Rápido: streaming de dados com Hubs de Eventos usando o protocolo Kafka.

Outros recursos do Hubs de Eventos do Azure

O recurso Hubs de Eventos para Apache Kafka é um dos três protocolos disponíveis simultaneamente nos Hubs de Eventos do Azure, complementando HTTP e AMQP. Você pode fazer uma gravação com qualquer um desses protocolos e ler com qualquer outro, para que seus produtores do Apache Kafka atuais continuem publicando via Apache Kafka. No entanto, o leitor pode se beneficiar da integração nativa com a interface AMQP dos Hubs de Eventos, como o Azure Stream Analytics ou o Azure Functions. Por outro lado, você pode integrar rapidamente os Hubs de Eventos do Azure em redes de roteamento AMQP como um ponto de extremidade de destino e, ainda assim, ler dados por meio de integrações do Apache Kafka.

Além disso, os recursos dos Hubs de Eventos, como Captura, que permitem arquivamento de longo prazo extremamente econômico por meio do Armazenamento de Blobs do Azure e do Azure Data Lake Storage e a Recuperação de Desastre Geográfico também funcionam com o recurso dos Hubs de Eventos no Kafka.

Idempotência

Os Hubs de Eventos do Azure para Apache Kafka dão suporte a produtores e consumidores idempotentes.

Um dos princípios básicos dos Hubs de Eventos do Azure é o conceito de entrega pelo menos uma vez. Essa abordagem garante que os eventos sempre serão entregues. Isso também significa que os eventos podem ser recebidos mais de uma vez, mesmo repetidamente, pelos consumidores como uma função. Por esse motivo, é importante que o consumidor dê suporte ao padrão de consumidor idempotente.

Próximas etapas

Este artigo forneceu uma introdução aos Hubs de Eventos para Kafka. Para saber mais, confira Guia do desenvolvedor do Apache Kafka para Hubs de Eventos do Azure.

Para obter um tutorial com as instruções detalhadas para criar um hub de eventos e acessá-lo usando SAS ou OAuth, confira Início Rápido: streaming de dados com Hubs de Eventos usando o protocolo Kafka.

Além disso, confira os exemplos de OAuth no GitHub.