Importazione di dati
Nel mondo della contabilità e della creazione di report sulla sostenibilità, la trasformazione e l’importazione dei dati svolgono un ruolo cruciale nel garantire informazioni dettagliate accurate, affidabili e complete sulla sostenibilità. Tuttavia, le organizzazioni spesso affrontano problemi tecnici e aziendali nel gestire e sfruttare in modo efficace i dati sulla sostenibilità per scopi di reporting.
Alcune delle sfide chiave sono:
Granularità e complessità dei dati: la gestione di diversi dati sulla sostenibilità provenienti da più origini e categorie è essenziale per creare un quadro completo e granulare dei progressi in materia di efficienza ambientale, che comprenda l’efficienza del carbonio, dell’acqua e dei rifiuti.
Qualità e coerenza dei dati: dati accurati, affidabili e coerenti lungo tutto il percorso di sostenibilità di un'organizzazione sono importanti per reporting e conformità accurati.
Scalabilità e prestazioni: la gestione e l'elaborazione di set di dati di grandi dimensioni in modo efficiente mantenendo prestazioni ottimali è fondamentale per le organizzazioni nel breve e lungo termine.
Disponibilità dei dati: i dati possono avere formati diversi o richiedere l'acquisizione manuale.
Inoltre, le aziende si trovano ad affrontare una pressione crescente da parte di stakeholder, investitori, clienti e organismi di regolamentazione affinché divulghino informazioni complete sulla sostenibilità. La soddisfazione di queste aspettative richiede processi efficienti di inserimento e acquisizione dei dati.
Questa sezione è incentrata sugli ultimi miglioramenti e funzionalità del processo di inserimento che si basa sulle funzionalità esistenti di Microsoft Sustainability Manager. Le nuove funzionalità forniscono una piattaforma ottimizzata e avanzata per gestire il processo di trasformazione e inserimento dei dati. Fornisce un'interfaccia utente semplificata, diversi metodi di inserimento dati, modelli e funzionalità di mapping.
Esperienza utente di importazione dati
Un'interfaccia utente semplificata e guidata è una funzionalità estremamente necessaria affinché le organizzazioni possano eseguire con successo la trasformazione dei dati e l'inserimento dei propri dati ambientali.
L'esperienza di inserimento dati di Sustainability Manager mantiene il modello dati in primo piano durante l'esperienza di inserimento per limitare gli errori dell'utente. Gli utenti possono sfruttare la flessibilità e i molteplici metodi di inserimento in base ai propri requisiti e considerazioni di progettazione. Inoltre, i dati possono essere inseriti in più entità e categorie tramite un'importazione una tantum utilizzando lo stesso inserimento. Questi meccanismi di inserimento sono standardizzati tra carbonio, acqua e rifiuti.
Un aspetto importante del processo di inserimento dati è lo scollegamento tra trasformazione dei dati, mapping dei dati e importazione dei dati. Questo scollegamento aiuta anche a mitigare i rischi di errori umani nell'estrazione, trasformazione e caricamento dei dati.
Durante il processo di connessione dei dati, gli utenti dell'organizzazione possono utilizzare la barra laterale degli strumenti di trasformazione dei dati per:
Configurare i set di dati da importare.
Utilizzare gli elenchi di controllo per convalidare i set di dati. Gli elenchi di controllo garantiscono la corretta importazione dei dati e risolvono i problemi relativi alle colonne di dati obbligatori, alle mancate corrispondenze dei tipi di dati, al popolamento dei valori set di opzioni e alla ricerca dei dati di riferimento.
Metodi di inserimento integrati e considerazioni sulla progettazione
Sustainability Manager fornisce quattro metodi di inserimento, a seconda di:
- Tipo di dati
- Origine
- Esigenze di trasformazione dei dati
- Livello di esperienza dell'utente
- Frequenza di importazione
Puoi utilizzare questi diversi metodi tenendo conto delle seguenti considerazioni.
| Metodo e descrizione | Considerazioni relative alla progettazione | Utilizzo |
|---|---|---|
| I modelli Excel sono integrati in Microsoft Sustainability Manager e gli utenti possono scaricarli, preparare i propri dati e importarli in entità specifiche. | I modelli Excel vengono aggiornati periodicamente. È consigliabile scaricare i modelli Excel più recenti durante ogni importazione.
Poiché i modelli Excel seguono la convenzione di denominazione del modello di dati, non richiedono il mapping dei dati al modello. I modelli Excel rappresentano la forma più semplice di importazione dei dati. Sono adatti per set di dati più piccoli che un file Excel può supportare e per la preparazione iniziale del sistema. I modelli Excel contengono un set predefinito di entità per abilitare l'importazione dei dati. |
I modelli Excel sono utilizzati al meglio quando la preparazione/trasformazione dei dati viene eseguita all'esterno di Sustainability Manager e i dati sono pronti per un'importazione diretta.
Esempio: Contoso Coffee, un produttore di caffè può utilizzare i modelli Excel per configurare le proprie strutture utilizzando il modello di dati di riferimento, quindi procedere con la configurazione dell'attività di carbonio e dei dati sulle emissioni precalcolati utilizzando i modelli di dati di attività ed emissioni. Quindi possono eseguire un'importazione di un unico elemento di tutti e tre i tipi di dati con un unico inserimento. |
| L'esperienza guidata di Power Query è un'esperienza incentrata sul mapping dei dati, che guida gli utenti finali con un'esperienza di carrello degli acquisti per ridurre al minimo gli errori di inserimento. | Power Query fornisce un approccio completo alla trasformazione e all'inserimento dei dati, rendendolo efficiente per la gestione di varie origini dati.
Power Query è vantaggioso per le origini dati che dispongono di connettori integrati disponibili in Microsoft Sustainability Manager, semplificando il processo di importazione dei dati. L'esperienza guidata di Power Query fornisce flessibilità e indicazioni dettagliate durante tutto il processo di inserimento, consentendo agli utenti di aggiungere e rimuovere entità secondo necessità. |
Utilizza Power Query quando devi: - importare dati per più entità da varie origini. - avere connettori Power Query integrati disponibili in Microsoft Sustainability Manager. - richiedere frequenti importazioni e aggiornamenti dei dati - necessiti della trasformazione dei dati durante il processo di inserimento. - preferisci l'esperienza guidata con flessibilità per la manipolazione delle entità e il mapping dei dati. - diversi tipi di origine devono essere gestiti con la trasformazione dei dati prima del mapping al modello di dati. Esempio: Contoso Coffee, un produttore di caffè desidera importare i dati sulle emissioni dal sistema ERP della catena di approvvigionamento e i dati specificati dal fornitore in Azure Synapse. Contoso può utilizzare l'esperienza guidata di Power Query per trasformare ed eseguire il mapping utilizzando le indicazioni dettagliate fornite nell'editor. |
| Connettori partner: sono un catalogo di connettori per importare dati dalle soluzioni dei partner. | Sustainability Manager include connettori per importare dati dalle soluzioni dei partner.
La piattaforma offre un catalogo affidabile di connettori predefiniti e personalizzati da fornitori di dati operativi. Un aspetto importante dell'importazione dei dati utilizzando i connettori partner è che il mapping e la trasformazione dei dati sono incapsulate all'interno del connettore. Non è necessario eseguirli durante il processo di importazione. |
Da utilizzare quando è necessario importare dati da una soluzione partner e nel catalogo è presente il connettore corrispondente.
Esempio: Contoso Coffee utilizza la soluzione cloud di Arcadia per acquisire i dati sull'elettricità e sul gas naturale acquistati per le sue strutture. Utilizzano il connettore Arcadia per importare i dati sull'elettricità acquistata in Sustainability Manager. Questo connettore consente di calcolare le emissioni di ambito 2 per tutte le loro strutture globali. |
| Importazione manuale dei dati in Sustainability Manager | Microsoft Sustainability Manager fornisce due metodi per importare manualmente i dati.
Il primo metodo consente l'inserimento di singoli record, utile per importare dati di Configurazione come dati di riferimento. Il secondo metodo consente l'importazione in blocco di record di attività e record di dati di riferimento. Per l'ambito 3, categoria 8 e categoria 13, devi selezionare la categoria secondaria dei dati per accedere alle opzioni di caricamento in blocco. Durante l'aggiornamento dei record dei dati delle attività, è necessario eliminare i dati importati in precedenza e reimportare tutti i dati. |
Prendi in considerazione l'utilizzo delle opzioni di importazione manuale dei dati in Sustainability Manager quando devi importare singoli record di dati su attività, acqua o rifiuti. Inoltre, utilizza queste opzioni quando desideri importare dati di riferimento o quando hai un grande volume di dati sulle attività da importare in blocco. Se disponi di formati di dati specifici per l'importazione in blocco, come Excel, CSV o XML, l'opzione di caricamento in blocco manuale è la scelta ideale. Ad esempio, uno specialista della sostenibilità che configura i dati dell'organizzazione accede a Impostazioni > Profilo aziendale > Generale per definire manualmente gli attributi dell'organizzazione. |
La tabella seguente riepiloga le considerazioni di progettazione per le organizzazioni durante la progettazione del processo di importazione dei dati. È consigliabile considerare attentamente i pro e i contro di ciascun metodo di inserimento e i relativi compromessi di progettazione.
| Metodo di inserimento | Modelli di Excel | Esperienza guidata di Power Query | Connettori di partner | Immissione manuale |
|---|---|---|---|---|
| Tipici utenti tipo | Utenti tipo aziendali | Utenti tipo aziendali/tecnici | Utenti tipo tecnici | Utenti tipo aziendali |
| È possibile la pianificazione? | ✗ | ✓ | ✓ | ✗ |
| Volume caricamento dati | In blocco | In blocco | In blocco | Singolo, in blocco |
| Consente la trasformazione dei dati? | ✗ | ✓ | ✗ | ✗ |
| Fornisce l'aggiornamento incrementale? | ✗ | ✓ | ✓ | ✗ |
| I dati vengono sostituiti durante l'importazione? | ✗ | ✓ | ✗ | ✗ |
| È possibile importare più entità? | ✓ | ✓ | ✗* | ✗ |
| Fornisce la gestione degli errori di inserimento? | ✓ | ✓ | ✓ | ND |
Nota
L'importazione di più entità utilizzando i connettori partner in un unico inserimento è inclusa nella roadmap del prodotto.
Per altre informazioni, rivedi Panoramica dell'importazione dei dati in Microsoft Sustainability Manager.
In sintesi, le seguenti considerazioni sono importanti durante l'importazione dei dati in Microsoft Sustainability Manager:
Inizia con il metodo più semplice del modello Excel per l'esperienza di inserimento. In base alla complessità dei dati e alla comprensione del modello di dati, passa alla creazione di importazioni di dati continue utilizzando l'esperienza guidata di Power Query.
Durante l'esperienza guidata di inserimento di Power Query tieni presente i seguenti suggerimenti:
- Utilizza le funzionalità di Power Query per eseguire le trasformazioni dei dati.
- Utilizza gli strumenti di trasformazione dei dati e l'elenco di controllo per riveder le tabelle di dati e i rispettivi tipi di dati.
- Durante il mapping dei dati di origine, utilizza la funzionalità di mapping automatico.
Pianifica gli intervalli di tempo e le regole di aggiornamento per consentire l'importazione continua dei dati obbligatori una volta creata e convalidata una connessione.
Aggiornamento dei dati incrementale e completo
L'importazione periodica di dati dalle origini dati è una necessità per le organizzazioni per calcolare i dati di sostenibilità più recenti per scopi di reporting. Le organizzazioni possono recuperare i dati dai propri sistemi di origine in due modi.
Aggiornamento completo dei dati: importa una copia completa dei dati del sistema di origine nell'applicazione Microsoft Sustainability Manager.
Aggiornamento incrementale dei dati: recupera e importa solo i record aggiornati o appena creati dai sistemi di origine dall'ultimo aggiornamento.
L'aggiornamento incrementale dei dati consente alle organizzazioni di importare nuovi dati quando sono disponibili per ogni aggiornamento dei dati. Le organizzazioni possono anche optare per l'aggiornamento completo se i dati devono essere aggiornati completamente durante ogni query. Questa funzionalità è disponibile solo per l'importazione basata su Power Query.
Per sfruttare questa funzionalità integrata, crea criteri di aggiornamento durante la creazione della connessione per le origini dati. Microsoft Sustainability Manager fornisce questa funzionalità per il metodo di importazione basato su Power Query. Durante il processo di creazione di una connessione, gli utenti possono definire la pianificazione e la frequenza per eseguire i processi di importazione dei dati e selezionare l'opzione per rimuovere i dati precedentemente importati, se necessario. Questa azione offre la possibilità di pianificare un aggiornamento incrementale.
L'aggiornamento completo dei dati è consigliato nelle seguenti situazioni:
Quando il modello dati dei sistemi di origine subisce modifiche, le modifiche devono riflettersi nell'applicazione per le trasformazioni o il mapping dei dati.
Quando i dati di origine sono cambiati in modo significativo e l'aggiornamento incrementale non è sufficiente per acquisire le modifiche.
Quando le regole business del sistema di origine sono state modificate ed è necessario ricalcolare i dati esistenti.
Quando la qualità o l'integrità dei dati è stata compromessa a causa di errori, danneggiamento o attacchi dannosi.
L'aggiornamento incrementale dei dati è consigliato nelle seguenti situazioni:
Quando le organizzazioni richiedono l'importazione in blocco di dati da più origini dati
Quando le organizzazioni richiedono un aggiornamento tempestivo dei dati in base a scadenze specifiche
Quando i sistemi di origine forniscono dati storici e cumulativi e le organizzazioni devono importare i nuovi dati disponibili (inserimento o upsert) dopo il caricamento iniziale dei dati
Ad esempio, se Sustainability Manager sta inserendo dati da file Excel in una raccolta documenti SharePoint aggiornata dai fornitori, sono necessari criteri di aggiornamento per utilizzare i dati più recenti su base periodica.
Mentre la pianificazione a livello di connessione dati fornisce un modo per progettare la pianificazione dell'importazione dei dati. Non risolve il problema del recupero solo dei dati delta da vari sistemi di origine. Con il processo di aggiornamento incrementale, gli amministratori dei dati possono configurare regole granulari per recuperare solo i dati incrementali. Il processo può fornire filtri, regole e timestamp aggiuntivi a ogni livello di query in una connessione dati.
Per altre informazioni sull'aggiornamento incrementale, vai a Aggiornamento incrementale dei dati in Microsoft Sustainability Manager
Connettività di rete alle origini dati
Durante la progettazione delle strategie di importazione dei dati, le organizzazioni spesso affrontano la sfida di connettersi in modo sicuro ed efficiente a origini dati remote. Queste origini dati remote potrebbero trovarsi nel cloud o in locale. I diversi standard e misure di sicurezza utilizzati dalle organizzazioni per proteggere le proprie risorse di dati aggravano ulteriormente questa sfida. Pertanto, i componenti di rete richiedono un'attenta considerazione di varie opzioni per garantire la sicurezza e l'affidabilità dei dati.
Questa sezione illustra due metodi di connessione a origini dati remote. Queste origini dati potrebbero esistere nel cloud di Azure all'interno di una rete virtuale oppure potrebbero esistere in una posizione locale. Per connettersi da Sustainability Manager a Servizi dati di Azure all'interno di una rete virtuale, le organizzazioni possono utilizzare il gateway dati di rete virtuale. Per connettersi alle origini dati locali, puoi utilizzare il gateway dati locale.
La tabella seguente descrive alcuni degli argomenti di rete importanti e considerazioni sulla progettazione durante l'importazione di dati da un'origine remota situata in un'infrastruttura locale:
| Argomento | Considerazioni relative alla progettazione |
|---|---|
| Gateway dati rete virtuale | Utilizza un gateway dati di rete virtuale per connetterti alle origini dati situate in Azure e protette da una rete virtuale. Questo approccio può essere utile quando l'origine dati non è accessibile pubblicamente.
Per informazioni su come configurare il gateway dati della rete virtuale, vai a Utilizzare il gateway dati della rete virtuale e le origini dati |
| Gateway dati locale | Utilizza i gateway on-pPremises come ponte sicuro tra le origini dati sulla sostenibilità locale e Sustainability Manager. Devi scaricare, installare e configurare il gateway dati locale.
Per altre informazioni vai a Che cos'è un gateway dati locale? |
| Autenticazione dell'origine dati | Dai priorità a un meccanismo di autenticazione avanzata per l’accesso ai dati sulla sostenibilità. Evita di utilizzare credenziali deboli e considera l'utilizzo dell'autenticazione basata su Windows o OAuth per una maggiore sicurezza. |
| Aggiungi IP all'elenco elementi consentiti dall'origine dati locale in uscita | Fai in modo che l'elenco elementi consentiti di indirizzi IP abiliti la comunicazione in uscita tra le risorse in locale e Sustainability Manager.
Per rivedere gli intervalli di indirizzi IP da inserire nell'elenco degli elementi consentiti, vai a Indirizzi IP in uscita dei connettori gestiti |
| Prestazioni | Ottimizza le query per ridurre al minimo i dati trasferiti sulla rete. Le query ottimizzate riducono la latenza, aumentano le prestazioni e preservano le risorse di rete. |
| Monitoraggio e controllo | Previeni le violazioni della sicurezza implementando il monitoraggio e la registrazione dei gateway ed effettuando revisioni periodiche con gli stakeholder della sicurezza dell'organizzazione.
Per ulteriori informazioni sulla raccolta dei log dal gateway dati, vai a Risolvere i problemi del gateway dati locale |
In sintesi, le scelte di progettazione di rete sicure e affidabili sono fondamentali per garantire un solido meccanismo di importazione per origini dati remote. Questi includono l'esecuzione dei passaggi necessari per:
- Installare gateway per origini dati in locale remote e origini dati ospitate in Azure protette tramite rete virtuale.
- Utilizzo di meccanismi di autenticazione solidi.
- Aggiungi all'elenco di elementi consentiti gli indirizzi IP in uscita per abilitare la comunicazione dalle posizioni dati in locale.
- Riduci al minimo i dati trasferiti sulla rete.
- Esegui controlli di sicurezza regolari.
Gestione degli errori
La gestione degli errori durante le importazioni dei dati svolge un ruolo fondamentale per garantire che i dati vengano importati correttamente e che i dashboard mostrino le informazioni più recenti per i report e le analisi sulla sostenibilità. Sustainability Manager consente agli utenti di esaminare e correggere gli errori nelle importazioni di dati. Questi report sugli errori sono ora disponibili per tutti e tre i tipi di importazione, i modelli, il flusso guidato di Power Query e l'esperienza dei partner.
Per ulteriori informazioni, vedi Gestione degli errori per l'importazione di dati in Microsoft Sustainability Manager