Flussi di eventi di Microsoft Fabric - Panoramica
La funzionalità flussi di eventi nell'esperienza di Intelligence in tempo reale di Microsoft Fabric consente di portare eventi in tempo reale in Fabric, trasformarli e quindi indirizzarli a varie destinazioni senza codice. Si crea un eventstream, che è un'istanza dell'elemento Eventstream in Fabric, si aggiungono origini dati evento al flusso, facoltativamente si aggiungono trasformazioni per trasformare i dati dell'evento e quindi si instradano i dati alle destinazioni supportate. Inoltre, con gli endpoint Apache Kafka disponibili nell'elemento Eventstream, è possibile inviare o utilizzare eventi in tempo reale usando il protocollo Kafka.
Inserire eventi in Fabric
La funzionalità flussi di eventi offre vari connettori di origine per recuperare i dati degli eventi dalle varie origini. Quando si abilitano Funzionalità avanzate al momento della creazione di un eventstream, sono disponibili più origini.
Importante
Le funzionalità avanzate dei flussi di eventi di Fabric sono attualmente in anteprima.
| Origini | Descrizione |
|---|---|
| Hub eventi di Azure | Se si dispone di un hub eventi di Azure, è possibile inserire i dati dell'hub eventi in Microsoft Fabric usando Eventstream. |
| Hub IoT di Azure | Se si ha un hub IoT di Azure, è possibile inserire dati IoT in Microsoft Fabric usando Eventstream. |
| Database SQL di Azure con Change Data Capture (CDC) | Il connettore di origine CDC del Database SQL di Azure consente di acquisire uno snapshot dei dati correnti in un database SQL di Azure. Il connettore monitora e registra poi eventuali modifiche future a livello di riga a questi dati. |
| Database PostgreSQL CDC | Il connettore di origine Change Data Capture (CDC) del Database PostgreSQL consente di acquisire uno snapshot dei dati correnti nel Database di PostgreSQL. Il connettore monitora e registra poi eventuali modifiche future a livello di riga a questi dati. |
| Database MySQL CDC | Il connettore di origine Change Data Capture (CDC) di Database MySQL di Azure consente di acquisire uno snapshot dei dati correnti in un database nel Database di Azure per MySQL. È possibile specificare le tabelle da monitorare e il flusso di eventi registra eventuali modifiche future a livello di riga nelle tabelle. |
| CDC Azure Cosmos DB | Il connettore di origine Change Data Capture (CDC) di Azure Cosmos DB per i flussi di eventi di Microsoft Fabric consente di acquisire uno snapshot dei dati correnti nel database di Azure Cosmos DB. Il connettore monitora e registra poi eventuali modifiche future a livello di riga a questi dati. |
| SQL Server nel database VM (CDC) | Il connettore di origine di SQL Server nel database vm (CDC) per i flussi di eventi di Fabric consente di acquisire uno snapshot dei dati correnti in un database di SQL Server nella macchina virtuale. Il connettore monitora e registra quindi eventuali modifiche future a livello di riga ai dati. |
| Istanza gestita di SQL di Azure CDC | Il connettore di origine CDC Istanza gestita di SQL di Azure per i flussi di eventi di Microsoft Fabric consente di acquisire uno snapshot dei dati correnti in un database Istanza gestita di SQL. Il connettore monitora e registra poi eventuali modifiche future a livello di riga a questi dati. |
| Google Cloud Pub/Sub | Google Pub/Sub è un servizio di messaggistica che consente di pubblicare e sottoscrivere flussi di eventi. È possibile aggiungere Google Pub/Sub come fonte al flusso di eventi per acquisire, trasformare e indirizzare gli eventi in tempo reale a varie destinazioni in Fabric. |
| Flussi di dati Amazon Kinesis | Amazon Kinesis Data Streams è un servizio di inserimento ed elaborazione dei dati altamente scalabile e duraturo, ottimizzato per lo streaming di dati. Integrando Amazon Kinesis Data Streams come sorgente all'interno dell'eventstream, è possibile elaborare senza problemi i flussi di dati in tempo reale prima di indirizzarli verso più destinazioni all'interno di Fabric. |
| Confluent Cloud di Kafka | Confluent Cloud di Kafka è una piattaforma di streaming che offre potenti funzionalità di streaming ed elaborazione dei dati con Apache Kafka. Integrando Confluent Cloud di Kafka come sorgente all'interno dell'eventstream, è possibile elaborare senza problemi i flussi di dati in tempo reale prima di indirizzarli verso più destinazioni all'interno di Fabric. |
| Apache Kafka | Apache Kafka è una piattaforma open source distribuita per la creazione di sistemi dati scalabili e in tempo reale. Integrando Apache Kafka come origine all'interno del flusso di eventi, è possibile portare facilmente eventi in tempo reale da Apache Kafka ed elaborarli prima del routing a più destinazioni all'interno di Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka è un servizio Kafka completamente gestito che semplifica la configurazione, il ridimensionamento e la gestione. Integrando Amazon MSK Kafka come origine all'interno del flusso di eventi, è possibile portare facilmente gli eventi in tempo reale da MSK Kafka ed elaborarli prima di instradarli a più destinazioni all'interno di Fabric. |
| Eventi di archiviazione BLOB di Azure | Gli eventi di Archiviazione BLOB di Azure vengono attivati quando un client crea, sostituisce o elimina un BLOB. Il connettore consente di collegare gli eventi di archiviazione BLOB agli eventi di Fabric nell'hub in tempo reale. È possibile convertire questi eventi in flussi di dati continui e trasformarli prima di indirizzarli a varie destinazioni in Fabric. |
| Eventi dell'Elemento dell'Area di lavoro di Fabric | Gli eventi dell'elemento dell'area di lavoro di fabric sono eventi discreti che si verificano quando vengono apportate modifiche all'area di lavoro di Fabric. Queste modifiche includono la creazione, l'aggiornamento o l'eliminazione di un articolo di Fabric. Con i flussi di eventi di Fabric è possibile acquisire questi eventi dell'area di lavoro Fabric, trasformarli e indirizzarli a varie destinazioni in Fabric per un'ulteriore analisi. |
| Dati di esempio | È possibile scegliere Biciclette, Taxi Giallo o Eventi del Mercato Azionario come origine dati di esempio per testare l'inserimento dei dati durante la configurazione di un flusso di eventi. |
| Endpoint personalizzato (ad esempio, App personalizzata nella funzionalità standard) | La funzionalità endpoint personalizzato consente alle applicazioni o ai client Kafka di connettersi a Eventstream usando un stringa di connessione, permettendo l'inserimento uniforme dei dati di streaming in Eventstream. |
Elaborare eventi usando un'esperienza senza codice
L'esperienza di trascinamento della selezione offre un modo intuitivo e semplice per creare l'elaborazione dati degli eventi, la trasformazione e la logica di pianificazione percorso senza codice. Un diagramma di flusso dei dati end-to-end in un flusso di eventi può offrire una conoscenza completa del flusso di dati e dell'organizzazione. L'editor del processore di eventi è un'esperienza senza codice che consente di trascinare e rilasciare per progettare la logica di elaborazione dati dell'evento.
| Trasformazione | Descrizione |
|---|---|
| Filtro | Usare la trasformazione Filtro per filtrare gli eventi in base al valore di un campo nell'input. A seconda del tipo di dati (numero o testo), la trasformazione mantiene i valori corrispondenti alla condizione selezionata, ad esempio è is null o is not null. |
| Gestire i campi | La trasformazione Gestisci campi consente di aggiungere, rimuovere, cambiare il tipo di dati o rinominare i campi provenienti da un input o da un'altra trasformazione. |
| Aggregazione | È possibile usare la trasformazione Aggrega per calcolare un'aggregazione (Somma, Minimo, Massimo o Media) ogni volta che si verifica un nuovo evento in un periodo di tempo. Questa operazione consente anche la ridenominazione di queste colonne calcolate e il filtro o il sezionamento dell'aggregazione in base ad altre dimensioni nei dati. È possibile avere una o più aggregazioni nella stessa trasformazione. |
| Raggruppa per | Usare la trasformazione Raggruppa per per calcolare le aggregazioni in tutti gli eventi in un determinato intervallo di tempo. Puoi raggruppare i valori di uno o più campi. È come la trasformazione Aggregazione che consente di rinominare le colonne, ma offre altre opzioni per l'aggregazione e include opzioni più complesse per le finestre temporali. Come Aggregazione, puoi aggiungere più aggregazioni per trasformazione. |
| Union | Usa la trasformazione Unione per connettere due o più nodi e aggiungere eventi con campi condivisi (con lo stesso nome e tipo di dati) in una tabella. I campi che non corrispondono vengono rimossi e non vengono inclusi nell'output. |
| Espandi | Usare la trasformazione Espandi matrice per creare una nuova riga per ogni valore all'interno di una matrice. |
| Join. | Usa la trasformazione Join per combinare i dati di due flussi in base a una condizione di corrispondenza tra di essi. |
Se sono state abilitate Funzionalità avanzate durante la creazione di un eventstream, le operazioni di trasformazione sono supportate per tutte le destinazioni (con flusso derivato che funge da ponte intermedio per alcune destinazioni, ad esempio endpoint personalizzato, Reflex). In caso contrario, le operazioni di trasformazione sono disponibili solo per le destinazioni Lakehouse e Eventhouse (elaborazione eventi prima dell'inserimento).
Indirizzare gli eventi alle destinazioni
La funzionalità Flussi di eventi di Fabric supporta l'invio di dati alle seguenti destinazioni supportate.
| Destinazione | Descrizione |
|---|---|
| Endpoint personalizzato (ad esempio, App personalizzata nella funzionalità standard) | Con questa destinazione, è possibile indirizzare facilmente gli eventi in tempo reale a un endpoint personalizzato. È possibile connettere le proprie applicazioni al flusso di eventi e utilizzare i dati dell'evento in tempo reale. Questa destinazione è utile quando si vogliono far uscire dati in tempo reale verso un sistema esterno al di fuori di Microsoft Fabric. |
| Eventhouse | Questa destinazione consente di inserire i dati degli eventi in tempo reale in un'istanza di Eventhouse, in cui è possibile usare la potente Linguaggio di query Kusto (KQL) per eseguire query e analizzare i dati. Con i dati in Eventhouse, è possibile ottenere informazioni più approfondite sui dati degli eventi e creare report e dashboard avanzati. È possibile scegliere tra due modalità di inserimento: Inserimento diretto ed Elaborazione degli eventi prima dell'inserimento. |
| Lakehouse | Questa destinazione offre la possibilità di trasformare gli eventi in tempo reale prima di inserirli nella lakehouse. Gli eventi in tempo reale vengono convertiti in formato Delta Lake e archiviati nelle tabelle lakehouse designate. Questa destinazione supporta scenari di archiviazione dati. |
| Reflex | Questa destinazione consente di connettere direttamente i dati degli eventi in tempo reale a Reflex. Riflesso è un tipo di agente intelligente che contiene tutte le informazioni necessarie per connettersi ai dati, monitorare le condizioni e agire. Quando i dati raggiungono determinate soglie o corrispondono ad altri modelli, Reflex esegue automaticamente azioni appropriate, ad esempio avvisando gli utenti o avviando i flussi di lavoro di Power Automate. |
| Flusso derivato | Lo stream derivato è una destinazione specializzata creata dopo l'applicazione di operazioni di stream come Filtro o Gestisci campi in eventstream. Il flusso derivato rappresenta il flusso predefinito trasformato dopo l'elaborazione del flusso. È possibile indirizzare lo stream derivato a più destinazioni in Fabric e visualizzare lo stream derivato nell'hub in tempo reale. |
È possibile collegare più destinazioni in un flusso di eventi per ricevere contemporaneamente i dati dai flussi di eventi senza interferenze reciproche.
Nota
È consigliabile usare la funzionalità flussi di eventi di Microsoft Fabric con almeno 4 unità di capacità (SKU: F4)
Apache Kafka nei flussi di eventi di Fabric
La funzionalità Flussi di eventi di Fabric offre un endpoint Apache Kafka nell'elemento Eventstream, consentendo agli utenti di connettersi e utilizzare eventi di streaming tramite il protocollo Kafka. Se si dispone già di un'applicazione che usa il protocollo Apache Kafka per inviare o utilizzare eventi di streaming con argomenti Kafka specifici, è possibile adattare facilmente la stessa applicazione per inviare o utilizzare gli eventi di streaming all'interno del flusso di eventi semplicemente aggiornando le impostazioni di connessione in modo che puntino all'endpoint Kafka fornito nel flusso di eventi.
La funzionalità Flussi di eventi dell'infrastruttura è basata su Hub eventi di Azure, un servizio nativo del cloud completamente gestito. Quando viene creato un flusso di eventi, viene eseguito automaticamente il provisioning di uno spazio dei nomi dell'hub eventi e un hub eventi viene allocato al flusso predefinito senza richiedere configurazioni di provisioning. Per altre informazioni sulle funzionalità compatibili con Kafka nel servizio Hub eventi di Azure, vedere Hub eventi di Azure per Apache Kafka
Per altre informazioni su come ottenere i dettagli dell'endpoint Kafka per l'invio di eventi a eventstream, vedere Aggiungere un'origine endpoint personalizzata a un flusso di eventi e per l'utilizzo di eventi da eventstream, vedere Aggiungere una destinazione endpoint personalizzata a un flusso di eventi.
Funzionalità avanzate (anteprima)
Sono disponibili altre funzionalità, origini e destinazioni quando si abilita l'opzione Funzionalità avanzate (anteprima) durante la creazione di un eventstream. Usare le schede Funzionalità avanzate (anteprima) e Funzionalità Standard per ottenere informazioni su origini e destinazioni aggiuntive supportate con le funzionalità avanzate.
Ecco alcune altre funzionalità importanti delle funzionalità avanzate (anteprima):
- Modalità di modifica e visualizzazione in diretta. Esplorare due modalità distinte per la visualizzazione e la progettazione dell'elaborazione del flusso.
- Stream predefiniti e derivati. Creare un flusso continuo di flussi con il formato progettato, con un processore di eventi che può essere usato in un secondo momento nell'hub in tempo reale.
- Indirizzare i flussi di dati in base al contenuto. Trasformare e instradare i flussi di dati ovunque all'interno di Fabric in base al contenuto del flusso di dati progettato con il processore di eventi.