Data Factory in Microsoft Fabric - Domande frequenti

Data Factory aiuta a risolvere scenari complessi di integrazione ed ETL dei dati con servizi di spostamento e trasformazione dei dati su scala cloud, mentre l'ingegneria dei dati aiuta a creare lakehouse e a utilizzare Apache Spark per trasformare e preparare i dati. Le differenze tra le varie terminologie/esperienze di Fabric sono disponibili nella Terminologia di Microsoft Fabric.

Gli amministratori della capacità di Microsoft Fabric possono usare l'app Microsoft Fabric Capacity Metrics, conosciuta anche come app per le metriche, per ottenere un quadro delle risorse della capacità. Questa appconsente agli amministratori di vedere l'utilizzo della CPU, del tempo di elaborazione e della memoria da parte di pipeline di dati, flussi di dati e altri elementi nelle rispettive aree di lavoro abilitate alla capacità di Fabric. Ottenere un quadro delle cause di sovraccarico, degli orari di picco della domanda, del consumo di risorse e altro ancora e individuare facilmente gli elementi più impegnativi o più richiesti.

È possibile separare i diversi carichi di lavoro tra aree di lavoro e utilizzare ruoli come membro e visualizzatore per avere un'area di lavoro per l'ingegneria dei dati che prepara i dati per un'area di lavoro utilizzata per la creazione di report o per l’addestramento dell' IA. Con il ruolo visualizzatore, è possibile usare i dati dell'area di lavoro di ingegneria dei dati.

Attualmente, il gateway di rete virtuale offre un metodo immediato per integrarsi perfettamente nella rete virtuale, offrendo una soluzione solida per l'utilizzo di endpoint privati per stabilire connessioni sicure agli archivi dati. È importante sottolineare che al momento il gateway di rete virtuale ospita solo flussi di dati Fabric. Tuttavia, le prossime iniziative prevedono l'espansione delle sue capacità per includere le pipeline di Fabric.

Quando si usa il gateway dati locale, è possibile connettersi a origini dati locali usando flussi di dati e pipeline di dat (anteprima) con Data Factory. Per altre informazioni, si veda Come accedere alle origini dati locali in Data Factory.

Gli aggiornamenti mensili di Fabric sono disponibili nel blog di Microsoft Fabric.

I prezzi di Data Factory in Microsoft Fabric forniscono una guida completa al calcolo dei costi per le pipeline di dati e Dataflow Gen2. Comprende diversi scenari di esempi di prezzi utili a comprendere meglio il modello di determinazione dei prezzi.

Le novità e i progetti di Data Factory in Microsoft Fabric forniscono informazioni sulle funzionalità in arrivo e sulle tempistiche di rilascio previste per i prossimi mesi.

Fabric Data Factory consente di sviluppare pipeline che ottimizzano la produttività dello spostamento dati per l'ambiente in uso. Queste pipeline utilizzano al meglio le risorse seguenti:

• Larghezza di banda di rete tra gli archivi dati di origine e destinazione
• Operazioni di input/output dell'archivio dati di origine o di destinazione al secondo e larghezza di banda L’utilizzo completo consente di stimare la velocità effettiva complessiva misurando la velocità effettiva minima disponibile con le seguenti risorse:
• Archivio dati di origine
• Archivio dati di destinazione
• La larghezza di banda di rete tra gli archivi dati di origine e di destinazione Nel frattempo, lavoriamo costantemente alle innovazioni per incrementare la migliore velocità effettiva possibile. Attualmente, il servizio è in grado di spostare un set di dati TPC-DI da 1 TB (file di parquet) sia nella tabella Fabric Lakehouse sia nel Data Warehouse in 5 minuti - spostando 1B di righe in 1 minuto; le prestazioni indicate sono solo un riferimento per l'esecuzione del set di dati di test di cui sopra. La velocità effettiva dipende comunque dai fattori precedentemente elencati. Inoltre, è sempre possibile moltiplicare la velocità effettiva eseguendo più attività Copy in parallelo. Ad esempio, usando il loop ForEach.

L'obiettivo attuale riguarda lo sviluppo attivo della funzionalità CDC all'interno di Data Factory in Fabric. Questa nuova funzionalità consente di spostare i dati tra più origini dati combinando diversi modelli di copia, tra cui il modello di copia bulk/batch, il modello di copia incrementale/continua (CDC) e il modello di copia in tempo reale in un'unica esperienza 5x5.

L'attività Power Query all'interno di ADF presenta delle somiglianze con Dataflow Gen2, ma ha funzionalità aggiuntive che consentono azioni come la scrittura su destinazioni di dati specifiche e così via. Il confronto è più corretto con Dataflow Gen1 (flussi di dati di Power BI o Power Apps). Per altre informazioni, si veda Differenze tra Dataflow Gen1 e Dataflow Gen2.

In alcune esperienze d'uso, si possono incontrare artefatti di sistema non destinati all'interazione. Si consiglia di ignorare questi artefatti, poiché in futuro verranno rimossi dalle esperienze di Acquisisci dati.

Questo messaggio di errore viene generato quando l'utente che ha creato il primo flusso di dati nell'area di lavoro non ha effettuato l'accesso a Fabric per più di 90 giorni o ha lasciato l'organizzazione. Per risolvere il problema, l'utente indicato nel messaggio di errore deve effettuare l’accesso a Fabric. Se l'utente ha lasciato l'organizzazione, aprire un ticket di supporto.

Le pipeline di Azure Data Factory (ADF) e Azure Synapse prevedono una roadmap PaaS (Platform as a Service) separata. Queste due soluzioni continuano a coesistere insieme a Fabric Data Factory, che funge da offerta SaaS (Software as a Service). Le pipeline di Azure Data Factory e Synapse restano completamente supportate e non sono previsti piani per la deprecazione. Si sottolinea che, per quanto riguarda i progetti futuri, è consigliabile avviarli usando Fabric Data Factory. Inoltre, sono state messe in atto strategie per facilitare la transizione delle pipeline ADF e Synapse a Fabric Data Factory, consentendo loro di sfruttare le nuove funzionalità di Fabric. Per altre informazioni, vedere qui.

Mentre ci si sforza di colmare le lacune di funzionalità e di incorporare le solide capacità di orchestrazione di pipeline di dati e di flussi di lavoro presenti nelle pipeline ADF / Azure Synapse in Fabric Data Factory, si riconosce anche che alcune funzionalità presenti nelle pipeline ADF / Synapse potrebbero essere essenziali per le esigenze degli utenti. Sebbene gli utenti siano incoraggiati a continuare a utilizzare le pipeline ADF / Synapse se queste funzionalità sono necessarie, li invitiamo a esplorare prima le nuove possibilità di integrazione dei dati in Fabric. Il feedback su quali funzionalità sono fondamentali per il successo è davvero prezioso. Per facilitare questo problema, si sta studiando l'introduzione di una nuova funzionalità che consenta la migrazione delle data factory esistenti da Azure alle aree di lavoro di Fabric.

Non viene eseguito il backport delle nuove funzionalità dalle pipeline di Fabric nelle pipeline ADF/Synapse. Vengono mantenute due roadmap separate per Fabric Data Factory e per ADF/Synapse. Le richieste backport vengono valutate in risposta ai feedback ricevuti.

La funzione principale della pipeline di Fabric è simile a quella della pipeline di Azure Synapse, ma utilizzando la pipeline di Fabric gli utenti possono applicare tutte le funzionalità di analisi dei dati della piattaforma Fabric. Differenze significative e mapping delle funzionalità tra la pipeline di Fabric e la pipeline di Azure Synapse sono disponibili qui: Differenze tra Data Factory in Fabric e Azure.

Per facilitare la transizione dei clienti a Microsoft Fabric da Azure Data Factory (ADF), viene proposta una gamma di funzionalità essenziali e meccanismi di supporto. In primo luogo, viene fornito un supporto completo per la maggior parte delle attività usate in Azure Data Factory all'interno di Fabric, oltre all'aggiunta di nuove attività personalizzate per le notifiche, ad esempio le funzionalità di Teams e Outlook. I clienti possono accedere a un elenco dettagliato delle attività disponibili in Data Factory all'interno di Fabric. Inoltre, sono stati introdotti i connettori Fabric Lakehouse / Warehouse in Azure Data Factory, che consentono una perfetta integrazione dei dati nell'ambiente OneLake di Fabric per i clienti Azure Data Factory. È inoltre disponibile una guida per i clienti di Azure Data Factory che consente di eseguire il mapping delle trasformazioni esistenti del flusso di dati di mapping rispetto alle nuove trasformazioni di Dataflow Gen2. Come si vedrà in futuro, si include la funzionalità per montare le risorse di Azure Data Factory in Fabric nella roadmap, che consentirà ai clienti di mantenere le funzionalità delle loro pipeline ADF esistenti su Azure mentre esplorano Fabric e pianificano strategie di aggiornamento complete. Stiamo collaborando a stretto contatto con i clienti e la community per individuare i modi più efficaci per supportare la migrazione delle pipeline di dati da ADF a Fabric. Nell'ambito di questo impegno, verrà offerta un'esperienza di aggiornamento che consentirà di testare le pipeline di dati attuali in Fabric attraverso il processo di montaggio e aggiornamento.

Contenuto correlato

Introduzione - Esercitazione su Data Factory