Inserire dati con Azure Synapse Link
Seguire i passaggi descritti in questo articolo per importare i dati ambientali della tua organizzazione dal modello di dati Sustainability Manager in Dataverse a IngestedRawData lakehouse nella tua area di lavoro Fabric utilizzando Azure Synapse Link.
Prerequisiti
- Distribuisci la funzionalità di dati e approfondimenti ambientali nell'area di lavoro Fabric.
- Assicurati che Microsoft Sustainability Manager sia installato e configurato nel tuo Dataverse ambiente.
- Assicurati di avere il sistema amministratore ruolo di sicurezza. Dataverse
- Distribuisci la funzionalità di dati e approfondimenti ambientali nel tuo spazio di lavoro Fabric.
- Assicurati di disporre di un account di archiviazione Gen2. Azure Data Lake Storage
- Assicurati di avere il sistema amministratore ruolo di sicurezza. Dataverse
- Assicurati di disporre di un account Gen2 e di accesso al ruolo Proprietario e Dati BLOB di archiviazione contributore. Azure Data Lake Storage L'account di archiviazione deve abilitare lo spazio dei nomi gerarchico sia per la configurazione iniziale che per la sincronizzazione delta. Consenti l'accesso alla chiave dell'account di archiviazione è obbligatorio solo per la configurazione iniziale.
Passaggio 1: impostare Azure Synapse Link
In questo passaggio, imposti un Azure Synapse Link per il Sustainability Manager ambiente da cui vuoi importare i dati nelle soluzioni dati di sostenibilità nell'area di lavoro Fabric.
Aprire il Power Apps portale. In alto a destra, Seleziona il tuo Dataverse ambiente dove è installato Sustainability Manager.
Seleziona Azure Synapse Link dal riquadro di sinistra, quindi Seleziona New collegare. Se non è già presente, Seleziona More, Seleziona Scopri tutto, Seleziona Gestione dati e quindi Seleziona Azure Synapse Link.
Non selezionare Connettiti ad Azure Synapse Analytics workspace. Esegui gli script di integrazione e trasformazione in Fabric e non in Synapse.
Immetti i dettagli dell'account di archiviazione e della sottoscrizione, quindi seleziona Avanti. Puoi selezionare solo un account di archiviazione che si trova nella stessa ubicazione del tuo ambiente. Se, ad esempio, l'ambiente si trova negli Stati Uniti occidentali, l'account di archiviazione deve essere in Stati Uniti occidentali o in Stati Uniti occidentali 2.
Seleziona tutto le tue tabelle Sustainability Manager dall'elenco e Seleziona Salva. Puoi filtrare per msdyn_ per visualizzare le tabelle pertinenti.
Viene creato un Azure Synapse Link per l'account di archiviazione e le tabelle selezionate vengono esportate nell'account di archiviazione. Puoi aggiungere o rimuovere le tabelle in collegare tornando a Azure Synapse Link, selezionando il collegare che hai creato e quindi selezionando Gestisci tabelle.
Apri l'account Data Lake Storage Gen2 fornito durante la creazione di collegare nei passaggi precedenti. Un nuovo contenitore che inizia con Dataverse- viene creato nel tuo account di archiviazione con tutte le tabelle selezionate esportate nella struttura di cartelle in formato CSV insieme a un file model.json che contiene lo schema per tutte le tabelle. I dati di Sustainability Manager sono ora disponibili nel tuo account di archiviazione.
Passaggio 2: collegare il contenitore Data Lake Storage
In questo passaggio, collegare il contenitore di archiviazione Data Lake con i dati Sustainability Manager in IngestedRawData lakehouse della capacità distribuita utilizzando la funzionalità di collegamento Fabric.
Apri l'area di lavoro in Fabric in cui hai distribuito la soluzione di sostenibilità. Per aprire la soluzione, selezionala nella visualizzazione elenco. Seleziona la funzionalità di gestione dei dati ambientali, sociali e di governance (ESG) dalla vista elenco Gestisci funzionalità distribuite per raggiungere la pagina delle funzionalità gestite.
Dalla pagina delle funzionalità gestite dal patrimonio dati ESG, Seleziona the IngestedRawData lakehouse.
Seleziona Nuovo collegamento dal menu dei puntini di sospensione di File. Nella finestra di dialogo Nuovo collegamento , Seleziona il riquadro Azure Data Lake Storage Gen2, quindi fornisci i seguenti dettagli di connessione a Connetti al contenitore di archiviazione Data Lake contenente i dati Sustainability Manager esportati.
- URL: Vai all'account di archiviazione Data Lake. Sul lato sinistro, Seleziona endpoint. Quindi copia la fine puntare per Data Lake Storage e incollala nel campo URL .
- Connessione: Seleziona Crea nuova connessione.
- Tipo di autenticazione: Seleziona Account organizzazione, accedi al tuo account di archiviazione Data Lake, quindi fai clic su Seleziona Avanti.
Per il nome del collegamento, immetti MSMData, imposta il percorso secondario come nome del contenitore che contiene i dati di Sustainability Manager con il prefisso /, quindi seleziona Crea. I dati di Sustainability Manager sono integrati correttamente con il data lake in File.
Passaggio 3: trasformare i dati
Dopo che i dati Sustainability Manager si integrano in IngestedRawData lakehouse, è necessario unificare e armonizzare i dati trasformandoli nello schema del modello di dati ESG]. L'implementazione delle capacità ha creato ProcessedESGData lakehouse nell'area di lavoro per l'archiviazione dei dati armonizzati.
Lo schema del modello di dati ESG collega le entità di dati ESG ad altre entità di dati che descrivono altre aree funzionali di un'azienda, come risorse umane, IT o produzione finanziaria.
Per trasformare i dati Sustainability Manager nello schema del modello di dati ESG, la funzionalità fornisce notebook e pipeline di dati che utilizzano tecnologie di trasformazione e orchestrazione predefinite mediante librerie archiviate in ConfigAndDemoData lakehouse nell'area di lavoro. ...
Attivare il primo passaggio ed eseguire la pipeline dati TransformMSMDataToProcessedESGData_DTPL per caricare e trasformare i dati Sustainability Manager nello schema del modello dati ESG nel ProcessedESGData lakehouse.
La pipeline dei dati esegue i seguenti passaggi:
Questo passaggio è disattivato per impostazione predefinita e deve essere attivato prima di eseguire la pipeline. Carica i dati Sustainability Manager collegati come tabelle lakehouse. Le librerie di trasformazione richiedono che i dati di origine siano in formato di tabella delta. Il notebook LoadMSMDataToLakehouseTables_INTB carica i dati Sustainability Manager collegati nelle tabelle lakehouse. Dopo l'esecuzione corretta di questo notebook, è possibile convalidare i dati nelle tabelle IngestedRawData lakehouse.
La trasformazione dei dati Sustainability Manager nello schema del modello di dati ESG è un processo in due fasi: ...
- Innanzitutto, il notebook TransformMSMDataToProcessedESGData_INTB trasforma i dati nelle tabelle di importazione dei dati grezzi intermedi. Microsoft Sustainability Manager
- Quindi, il notebook TransformRawImportESGDataToProcessedESGData_INTB trasforma i dati dalle tabelle di importazione dei dati grezzi allo schema del modello di dati ESG .
