Informazioni su Hub eventi di Azure per Apache Kafka

Questo articolo illustra come usare Hub eventi di Azure per trasmettere dati da applicazioni Apache Kafka senza configurare un cluster Kafka autonomamente.

Panoramica

Hub eventi di Azure fornisce un endpoint Apache Kafka in un hub eventi, che consente agli utenti di connettersi all'hub eventi usando il protocollo Kafka. È spesso possibile usare l'endpoint Kafka di un hub eventi dalle applicazioni senza apportare modifiche al codice. È necessario solamente modificare la configurazione, ossia aggiornare la stringa di connessione nelle configurazioni in modo che punti all'endpoint di Kafka esposto dall'hub eventi invece di puntare al cluster Kafka. È quindi possibile iniziare a trasmettere gli eventi dalle applicazioni che usano il protocollo Kafka negli Hub eventi, equivalenti agli argomenti Kafka.

Per altre informazioni su come eseguire la migrazione delle applicazioni Kafka a Hub eventi di Azure, vedere la guida alla migrazione.

Mapping concettuale di Apache Kafka e Hub eventi di Azure

Concettualmente, Kafka e Hub eventi sono molto simili. Sono entrambi log partizionati creati per i dati di streaming, in cui il client controlla quale parte del log conservato vuole leggere. Nella tabella seguente vengono associati i concetti tra Kafka e Hub eventi.

Funzionalità di Apache Kafka supportate in Hub eventi di Azure

Kafka Streams

Kafka Streams è una libreria client per l'analisi di flusso che fa parte del progetto open source Apache Kafka, ma è separata dal broker eventi Apache Kafka.

Hub eventi di Azure supporta la libreria client Kafka Streams, con dettagli e concetti disponibili qui.

Il motivo più comune per cui i clienti di Hub eventi di Azure chiedono il supporto di Kafka Streams è dovuto al fatto che sono interessati al prodotto "ksqlDB" di Confluent. "ksqlDB" è un progetto di origine condiviso proprietario concesso in licenza in modo che nessun fornitore "che offre software come servizio, piattaforma distribuita come servizio, infrastruttura distribuita come servizio o altri servizi online simili che competono con prodotti o servizi Confluent" possa usare o offrire supporto "ksqlDB". Praticamente, se si usa ksqlDB, è necessario operare manualmente Kafka oppure usare le offerte cloud di Confluent. Le condizioni di licenza possono influire anche sui clienti di Azure che offrono servizi per uno scopo escluso dalla licenza.

Autonomo e senza ksqlDB, Kafka Streams offre meno funzionalità rispetto a molti framework e servizi alternativi, la maggior parte dei quali dispone di interfacce SQL di streaming predefinite e tutte integrate con Hub eventi di Azure:

• Analisi di flusso di Azure
• Azure Synapse Analytics (tramite l'acquisizione di Hub eventi)
• Azure Databricks
• Apache Samza
• Apache Storm
• Apache Spark
• Apache Flink
• Apache Flink in HDInsight nel servizio Azure Kubernetes
• Akka Streams

Transazioni Kafka

Hub eventi di Azure supporta le transazioni Kafka. Altre informazioni sul supporto e sui concetti sono disponibili qui

Compressione

La funzionalità di compressione lato client nei client Apache Kafka consente di risparmiare risorse di calcolo e larghezza di banda comprimendo un batch di più messaggi in un singolo messaggio sul lato producer e decomprimendo il batch sul lato consumer. Il broker Apache Kafka considera il batch come messaggio speciale.

Gli sviluppatori di applicazioni producer Kafka possono abilitare la compressione dei messaggi impostando la proprietà compression.type. Hub eventi di Azure supporta attualmente la compressione gzip.

Compression.type = none | gzip

Sebbene la funzionalità sia supportata solo per il producer di traffico Apache Kafka e il traffico consumer, il consumer AMQP può utilizzare il traffico Kafka compresso come messaggi decompressi.

Differenze principali tra Apache Kafka e Hub eventi di Azure

Anche se Apache Kafka è un software che in genere è necessario installare e gestire, Hub eventi è un servizio nativo del cloud completamente gestito. Non ci sono server, dischi o reti da gestire e monitorare e nessun broker da considerare o configurare. Si crea uno spazio dei nomi, ovvero un endpoint con un nome di dominio completo, quindi si creano hub eventi (argomenti) all'interno di tale spazio dei nomi.

Per altre informazioni su Hub eventi e sugli spazi dei nomi, vedere Funzionalità di Hub eventi?. In quanto servizio cloud, Hub eventi usa un singolo indirizzo IP virtuale stabile come endpoint, in modo che i client non debbano necessariamente disporre di informazioni sui broker o sui computer all'interno di un cluster. Anche se Hub eventi implementa lo stesso protocollo, questa differenza significa che tutto il traffico Kafka per tutte le partizioni viene instradato in modo prevedibile attraverso questo endpoint anziché richiedere l'accesso firewall per tutti i broker di un cluster.

La scalabilità in Hub eventi è controllata dal numero di unità di velocità effettiva (TU) o unità di elaborazione acquistate. Se si abilita la funzionalità di Aumento automatico per uno spazio dei nomi di livello standard, Hub eventi aumenta automaticamente le unità elaborate quando si raggiunge il limite di velocità effettiva. Questa funzionalità opera anche con il supporto del protocollo Apache Kafka. Per uno spazio dei nomi di livello Premium, è possibile aumentare il numero di unità di elaborazione assegnate allo spazio dei nomi.

Apache Kafka è la soluzione più adatta per il carico di lavoro?

Partendo dalla creazione di applicazioni con Apache Kafka, è utile anche comprendere che Hub eventi di Azure fa parte di una flotta di servizi, che include anche Bus di servizio di Azuree Griglia di eventi di Azure.

Anche se alcuni provider di distribuzioni commerciali di Apache Kafka potrebbero far pensare che Apache Kafka sia ottimale per tutte le esigenze della piattaforma di messaggistica, la realtà è che Apache Kafka non implementa, ad esempio, il modello di coda consumer concorrente, non ha supporto per pubblicazione e sottoscrizione a un livello che consenta ai sottoscrittori di accedere ai messaggi in ingresso in base a regole valutate dal server che siano diverse da offset semplici e, inoltre, non dispone di strutture per tenere traccia del ciclo di vita di un processo avviato da un messaggio o per effettuare il sidelining di messaggi difettosi in una coda di messaggi non recapitabili, tutti fondamentali per molti scenari di messaggistica aziendale.

Per comprendere le differenze tra i modelli e quale modello è meglio coperto da quale servizio, vedere le indicazioni sulle Opzioni di messaggistica asincrona in Azure. In qualità di utente Apache Kafka, si può riscontrare che i percorsi di comunicazione finora realizzati con Kafka possono essere realizzati con complessità di base molto inferiore e con funzionalità ancora più potenti usando Griglia di eventi o il bus di servizio.

Se sono necessarie funzionalità specifiche di Apache Kafka non disponibili tramite l'interfaccia di Hub eventi per Apache Kafka o se il modello di implementazione supera le quote di Hub eventi, è anche possibile eseguire un cluster Apache Kafka nativo in Azure HDInsight.

Sicurezza e autenticazione

Ogni volta che si pubblicano o si utilizzano eventi da un hub event per Kafka, il client tenta di accedere alle risorse di Hub eventi. Ci si vuole assicurare che le risorse siano accessibili usando un'entità autorizzata. Quando si usa il protocollo Apache Kafka con i client, è possibile impostare la configurazione per l'autenticazione e la crittografia usando i meccanismi SASL. Quando si usa Hub eventi per Kafka è richiesta la crittografia TLS (poiché tutti i dati in transito con Hub eventi sono crittografati con TLS) ed è possibile specificare l'opzione SASL_SSL nel file di configurazione.

Hub eventi di Azure offre più opzioni per autorizzare l'accesso alle risorse sicure.

• OAuth 2.0
• Firma di accesso condiviso (SAS)

OAuth 2.0

Hub eventi si integra con Microsoft Entra ID, che fornisce un server di autorizzazione centralizzato conforme a OAuth 2.0. Con Microsoft Entra ID è possibile usare il controllo degli accessi in base al ruolo di Azure per concedere autorizzazioni granulari alle identità client. È possibile usare questa funzionalità con i client Kafka specificando SASL_SSL per il protocollo e OAUTHBEARER per il meccanismo. Per informazioni dettagliate sui ruoli e i livelli di Azure per l'ambito dell'accesso, vedere Autorizzare l'accesso con Microsoft Entra ID.

bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=OAUTHBEARER
sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
sasl.login.callback.handler.class=CustomAuthenticateCallbackHandler

Firma di accesso condiviso

Hub eventi fornisce anche le firme di accesso condiviso (SAS) per l'accesso delegato a Hub eventi per le risorse Kafka. L'autorizzazione dell'accesso tramite il meccanismo basato su token OAuth 2.0 offre sicurezza e facilità d'uso superiori rispetto alla firma di accesso condiviso. I ruoli predefiniti possono anche eliminare la necessità di autorizzazione basata su ACL, che deve essere mantenuta e gestita dall'utente. È possibile usare questa funzionalità con i client Kafka specificando SASL_SSL per il protocollo e PLAIN per il meccanismo.

bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

Esempi

Per un'esercitazione con istruzioni dettagliate per creare un hub eventi e accedervi tramite firma di accesso condiviso o OAuth, vedere Guida introduttiva: Flusso di dati con Hub eventi usando il protocollo Kafka.

Altre funzionalità di Hub eventi di Azure

La funzionalità Hub eventi per Apache Kafka è uno dei tre protocolli disponibili simultaneamente in Hub eventi di Azure, che integra HTTP e AMQP. È possibile scrivere con uno qualsiasi di questi protocolli e leggere con un altro protocollo, in modo che i producer Apache Kafka correnti possano continuare a pubblicare tramite Apache Kafka. Tuttavia, il lettore può trarre vantaggio dall'integrazione nativa con l'interfaccia AMQP di Hub eventi, ad esempio Analisi di flusso di Azure o Funzioni di Azure. Al contrario, è possibile integrare facilmente Hub eventi di Azure in reti di routing AMQP come endpoint di destinazione e leggere i dati tramite le integrazioni di Apache Kafka.

Inoltre, anche le funzionalità di Hub eventi, ad esempio Acquisisci, che consente un'archiviazione a lungo termine estremamente conveniente tramite Archiviazione BLOB di Azure e Azure Data Lake Storage, e Ripristino di emergenza geografico funzionano con Kafka.

Idempotenza

Hub eventi di Azure per Apache Kafka supporta sia i producer idempotenti che i consumer idempotenti.

Uno dei set principali di Hub eventi di Azure è il concetto di recapito almeno una volta. Questo approccio garantisce che gli eventi vengano sempre recapitati. Significa anche che gli eventi possono essere ricevuti più volte, anche ripetutamente, dai consumer, ad esempio una funzione. Per questo motivo, è importante che il consumer supporti il modello di consumer idempotente.

Passaggi successivi

In questo articolo è stata fornita un'introduzione a Hub eventi per Kafka. Per altre informazioni, vedere Guida per sviluppatori Apache Kafka per Hub eventi di Azure.

Per un'esercitazione con istruzioni dettagliate per creare un hub eventi e accedervi tramite firma di accesso condiviso o OAuth, vedere Guida introduttiva: Flusso di dati con Hub eventi usando il protocollo Kafka.

Vedere anche gli esempi di OAuth in GitHub.