Introduzione allo strumento di etichettatura degli esempi di analisi dei documenti

Questo contenuto si applica a: v2.1.

Lo Strumento di etichettatura campioni di Informazioni sui documenti di Azure AI è uno strumento open source che consente di testare le funzionalità più recenti di Informazioni sui documenti e riconoscimento ottico dei caratteri (OCR):

• Analizzare i documenti con l'API Layout. Provare l'API Layout per estrarre testo, tabelle, indicatori di selezione e struttura dai documenti.

• Analizzare i documenti usando un modello predefinito. Iniziare con un modello predefinito per estrarre dati da fatture, ricevute, documenti di identità o biglietti da visita.

• Eseguire il training e analizzare un modulo personalizzato. Usare un modello personalizzato per estrarre dati da documenti specifici per dati aziendali e casi d'uso distinti.

Prerequisiti

Per iniziare, è necessario quanto segue:

• Una sottoscrizione di Azure: è possibile crearne una gratuitamente

• Una risorsa Servizi di Azure AI o Informazioni sui documenti. Dopo aver creato la sottoscrizione di Azure, creare una risorsa Informazioni sui documenti di tipo servizio singolo o multiservizio nel portale di Azure per ottenere la chiave e l'endpoint. È possibile usare il piano tariffario gratuito (F0) per provare il servizio ed eseguire in un secondo momento l'aggiornamento a un livello a pagamento per la produzione.

  Suggerimento

  Creare una risorsa Servizi di Azure AI se si prevede di accedere a più Servizi di Azure AI con un singolo endpoint/chiave. Solo per l'accesso a Informazioni sui documenti, creare una risorsa di Informazioni sui documenti. Si noti che sarà necessaria una risorsa di tipo servizio singolo se si intende usare l'autenticazione di Microsoft Entra.

Creare una risorsa di Informazioni sui documenti

Andare al portale di Azure e creare una nuova risorsa Document Intelligence. Nel riquadro Crea specificare le informazioni seguenti:

Recuperare la chiave e l'endpoint

Quando la distribuzione della risorsa Document Intelligence termina, individuarla e selezionarla dall'elenco Tutte le risorse nel portale. La chiave e l'endpoint si trovano nella pagina Chiave ed endpoint della risorsa in Gestione risorse. Salvarli entrambi in un percorso temporaneo prima di procedere.

Eseguire l'analisi usando un modello predefinito

Informazioni sui documenti offre diversi modelli predefiniti tra cui scegliere. Ogni modello ha un proprio set di campi supportati. Il modello da usare per l'operazione Analyze dipende dal tipo di documento da analizzare. Ecco i modelli predefiniti attualmente supportati dal servizio Informazioni sui documenti:

• Fattura: estrae testo, indicatori di selezione, tabelle, coppie chiave-valore e informazioni chiave dalle fatture.
• Ricevuta: estrae testo e informazioni chiave dalle ricevute.
• Documento di identità: estrae testo e informazioni chiave da patenti di guida e passaporti internazionali.
• Biglietto da visita: estrae testo e informazioni chiave dai biglietti da visita.

1. Passare allo Strumento di esempio di Informazioni sui documenti.

2. Nella home page dello strumento di esempio selezionare il riquadro Usa modello predefinito per ottenere i dati.

   

3. Selezionare il Tipo di modulo da analizzare nel menu a discesa.

4. Scegliere un URL per il file da analizzare dalle opzioni seguenti:

   • Documento di fattura di esempio.
   • Documento di identità di esempio.
   • Immagine della ricevuta di esempio.
   • Immagine del biglietto da visita di esempio.

5. Nel campo Origine selezionare URL nel menu a discesa, incollare l'URL selezionato e selezionare il pulsante Recupera.

   

6. Nel campo dell'endpoint del servizio Informazioni sui documenti, incollare l'endpoint ottenuto con la sottoscrizione di Informazioni sui documenti.

7. Nel campo Chiave incollare la chiave ottenuta dalla risorsa di Informazioni sui documenti.

   

8. Selezionare Esegui analisi. Lo strumento di etichettatura di esempio di Informazioni sui documenti chiama l'API Analyze Prebuilt e analizza il documento.

9. Visualizzare i risultati: esaminare le coppie chiave-valore estratte, le voci, il testo evidenziato estratto e le tabelle rilevate.

   

10. Scaricare il file di output JSON per visualizzare i risultati dettagliati.

    • Il nodo "readResults" contiene ogni riga di testo con il rispettivo posizionamento del rettangolo di selezione nella pagina.
    • Il nodo "selectionMarks" mostra ogni indicatore di selezione (casella di controllo, pulsante di opzione) e indica se il relativo stato è selected o unselected.
    • La sezione "pageResults" include le tabelle estratte. Per ogni tabella vengono estratti il testo, la riga e l'indice di colonna, lo spanning di riga e colonna, il rettangolo delimitatore e altro ancora.
    • Il campo "documentResults" contiene informazioni sulle coppie chiave-valore e informazioni sulle voci per le parti più pertinenti del documento.

Analyze Layout

L'API Layout di Informazioni sui documenti di Azure estrae testo, tabelle, indicatori di selezione e informazioni sulla struttura da documenti (PDF, TIFF) e immagini (JPG, PNG, BMP).

1. Passare allo Strumento di esempio di Informazioni sui documenti.

2. Nella home page dello strumento di esempio selezionare Usare il layout per ottenere testo, tabelle e indicatori di selezione.

   

3. Nel campo Endpoint servizio di Informazioni sui documenti incollare l'endpoint ottenuto con la sottoscrizione di Informazioni sui documenti.

4. Nel campo Chiave incollare la chiave ottenuta dalla risorsa di Informazioni sui documenti.

5. Nel campo Origine selezionare URL nel menu a discesa, incollare l'URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg seguente e selezionare il pulsante Recupera.

6. Selezionare Esegui layout. Lo Strumento di etichettatura campioni di Informazioni sui documenti chiama Analyze Layout API e analizza il documento.

   

7. Visualizzare i risultati: vedere il testo evidenziato estratto, gli indicatori di selezione rilevati e le tabelle rilevate.

   

8. Scaricare il file di output JSON per visualizzare i risultati dettagliati del layout.

   • Il nodo readResults contiene ogni riga di testo con il rispettivo posizionamento del rettangolo di selezione nella pagina.
   • Il nodo selectionMarks mostra ogni indicatore di selezione (casella di controllo, pulsante di opzione) e indica se il relativo stato è selected o unselected.
   • La sezione pageResults include le tabelle estratte. Per ogni tabella vengono estratti il testo, la riga e l'indice di colonna, lo spanning di riga e colonna, il rettangolo delimitatore e altro ancora.

Eseguire il training di un modello di modulo personalizzato

Eseguire il training di un modello di modulo personalizzato per analizzare ed estrarre dati da moduli e documenti specifici dell'azienda. L'API è un programma di apprendimento automatico sottoposto a training per riconoscere campi modulo all'interno di contenuto specifico ed estrarre coppie chiave-valore e dati di tabella. Per iniziare, sono necessari almeno cinque esempi dello stesso tipo di modulo ed è possibile eseguire il training del modello personalizzato con o senza set di dati etichettati.

Prerequisiti per il training di un modello di modulo personalizzato

• Un contenitore BLOB di Archiviazione di Azure contenente un set di dati di training. Assicurarsi che tutti i documenti di training abbiano lo stesso formato. Se si usano moduli in più formati, organizzarli in sottocartelle basate sul formato comune. Per questo progetto, è possibile usare il set di dati di esempio.

• Se non si sa come creare un account di archiviazione di Azure con un contenitore, seguire la guida di avvio rapido di Archiviazione di Azure per il portale di Azure.

• Configurare CORS

  È necessario che Condivisione di risorse tra le origini (CORS) sia configurato nell'account di archiviazione di Azure affinché sia accessibile da Studio di Informazioni sui documenti. Per configurare CORS nel portale di Azure, è necessario accedere alla scheda CORS dell'account di archiviazione.

  1. Selezionare la scheda CORS per l'account di archiviazione.

     

  2. Per iniziare, creare una nuova voce CORS nel servizio BLOB.

  3. Impostare Origini consentite su https://fott-2-1.azurewebsites.net.

     

     Suggerimento

     È possibile utilizzare il carattere jolly '*' anziché un dominio specificato per consentire a tutti i domini di origine di effettuare richieste tramite CORS.

  4. Selezionare tutte le 8 opzioni disponibili per Metodi consentiti.

  5. Approvare tutte le Intestazioni consentite e le Intestazioni esposte immettendo un * in ogni campo.

  6. Impostare la Validità massima su 120 secondi o su qualsiasi valore accettabile.

  7. Selezionare il pulsante Salva nella parte superiore della pagina e salvare le modifiche.

Usare lo strumento di etichettatura di esempio

1. Passare allo Strumento di esempio di Informazioni sui documenti.

2. Nella home page dello strumento di esempio selezionare Usa modulo personalizzato per eseguire il training di un modello con etichette e ottenere coppie chiave-valore.

   

3. Selezionare Nuovo progetto

   

Crea un nuovo progetto

Configurare i campi di Impostazioni progetto con i valori seguenti:

1. Nome visualizzato. Assegnare un nome al progetto.

2. Token di sicurezza. Ogni progetto genera automaticamente un token di sicurezza che è possibile usare per crittografare/decrittografare le impostazioni sensibili del progetto. I token di sicurezza si trovano nelle Impostazioni applicazione, selezionando l'icona dell'ingranaggio nella parte inferiore della barra di spostamento sinistra.

3. Connessione di origine. Lo strumento di etichettatura di esempio si connette a un'origine (i moduli originali caricati) e a una destinazione (le etichette create e i dati di output). Le connessioni possono essere configurate e condivise tra progetti. Si basano su un modello di provider estendibile, quindi è possibile aggiungere facilmente nuovi provider di origine/destinazione.

   • Creare una nuova connessione. Selezionare il pulsante Aggiungi connessione . Completare i campi con i valori seguenti:
   • Nome visualizzato. Assegnare un nome alla connessione.
   • Descrizione. Aggiungere una breve descrizione.
   • URL di firma di accesso condiviso. Incollare l'URL di firma di accesso condiviso del contenitore di Archiviazione BLOB di Azure.

   • Per recuperare l'URL di firma di accesso condiviso per i dati di training del modello personalizzato, passare alla risorsa di archiviazione nel portale di Azure e selezionare la scheda Storage Explorer. Passare al contenitore, fare clic con il pulsante destro del mouse e scegliere Ottieni firma di accesso condiviso. È importante ottenere la firma di accesso condiviso per il contenitore, non per l'account di archiviazione. Assicurarsi che le autorizzazioni Lettura, Scrittura, Eliminazione ed Elenco siano selezionate e selezionare Crea. A questo punto, copiare il valore dalla sezione URL in una posizione temporanea. Dovrebbe essere in questo formato: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

     

4. Percorso cartella (facoltativo). Se i moduli di origine si trovano in una cartella del contenitore BLOB, specificare il nome della cartella.

5. URI del servizio Informazioni sui documenti: URL dell'endpoint di Informazioni sui documenti.

6. Key. Chiave di Informazioni sui documenti.

7. Versione API. Mantenere il valore v2.1 (predefinito).

8. Descrizione (facoltativa). Descrivere il progetto.

   

Etichettare i moduli

Quando si crea o si apre un progetto, viene visualizzata la finestra principale dell'editor di tag. L'editor di tag è costituito da tre parti:

• Un riquadro di anteprima ridimensionabile che contiene un elenco scorrevole di moduli provenienti dalla connessione di origine.
• Il riquadro principale dell'editor che consente di applicare tag.
• Il riquadro dell'editor di tag che consente di modificare, bloccare, riordinare ed eliminare tag.

Identificare testo e tabelle

Selezionare Esegui layout su documenti non visitati nel riquadro sinistro per ottenere le informazioni sul layout del testo e della tabella per ogni documento. Lo strumento di etichettatura disegna rettangoli di selezione intorno a ogni elemento di testo.

Lo strumento di etichettatura mostra anche quali tabelle sono state estratte automaticamente. Selezionare l'icona della tabella o della griglia sul lato sinistro del documento e visualizzare la tabella estratta. Poiché il contenuto della tabella viene estratto automaticamente, non viene etichettato, ma ci si basa sull'estrazione automatica.

Applicare le etichette al testo

Creare quindi i tag (etichette) e applicarli agli elementi di testo che dovranno essere analizzati dal modello. Si noti che il set di dati Etichetta di esempio include campi già etichettati; viene quindi aggiunto un altro campo.

Usare il riquadro dell'editor di tag per creare un nuovo tag da identificare:

1. Selezionare il segno più + per creare un nuovo tag.

2. Immettere "Total" come nome del tag.

3. Selezionare Invio per salvare il tag.

4. Nell'editor principale selezionare il valore totale dagli elementi di testo evidenziati.

5. Selezionare il tag Total da applicare al valore oppure premere il tasto corrispondente sulla tastiera. I tasti numerici vengono assegnati come tasti di scelta rapida per i primi 10 tag. È possibile riordinare i tag usando le icone delle frecce su e giù nel riquadro dell'editor di tag. Seguire questa procedura per etichettare tutti e cinque i moduli nel set di dati di esempio:

   Suggerimento

   Per l'etichettatura dei moduli, tenere presenti i suggerimenti seguenti:

   • È possibile applicare un unico tag a ogni elemento di testo selezionato.

   • Ogni tag può essere applicato una sola volta per pagina. Se un valore viene visualizzato più volte nella stessa pagina, creare tag diversi per ogni istanza. Ad esempio: "invoice# 1", "invoice# 2" e così via.

   • I tag non possono estendersi in più pagine.

   • Etichettare i valori così come appaiono nel modulo. Non provare a dividere un valore in due parti con due tag diversi. Ad esempio, un campo di indirizzo deve essere etichettato con un singolo tag anche se si estende su più righe.

   • Non includere le chiavi nei campi etichettati, ma solo i valori.

   • I dati delle tabelle dovrebbero essere rilevati automaticamente e saranno disponibili nel file JSON finale di output nella sezione 'pageResults'. Tuttavia, se il modello non riesce a rilevare tutti i dati delle tabelle, è anche possibile etichettare ed eseguire il training di un modello per rilevare le tabelle, vedere Eseguire il training di un modello personalizzato | Etichettare i moduli

   • Usare i pulsanti a destra del segno + per cercare, rinominare, riordinare ed eliminare i tag.

   • Per rimuovere un tag applicato senza eliminarlo, selezionare il rettangolo con tag nella visualizzazione del documento e premere CANC.

Eseguire il training di un modello personalizzato

Scegliere l'icona del training nel riquadro sinistro e aprire la pagina corrispondente. Quindi selezionare il pulsante Training per iniziare il training del modello. Al termine del processo di training, vengono visualizzate le informazioni seguenti:

• ID modello: l'ID del modello creato e sottoposto a training. Ogni chiamata al training crea un nuovo modello con un proprio ID. Copiare questa stringa in un posto sicuro, perché è necessaria per eseguire le chiamate di previsione tramite l'API REST o la libreria client.

• Average Accuracy (Accuratezza media): l'accuratezza media del modello. È possibile migliorare l'accuratezza del modello etichettando altri moduli ed eseguendo di nuovo il training per creare un nuovo modello. È consigliabile iniziare etichettando cinque moduli per analizzare e testare i risultati e quindi, se necessario, aggiungere altri moduli in base alle esigenze.

• L'elenco dei tag e l'accuratezza stimata per ognuno. Per altre informazioni, vedere Interpretare e migliorare l'accuratezza e l'attendibilità.

  

Analizzare un modulo personalizzato

1. Selezionare l'icona Analyze dalla barra di spostamento e testare il modello.

2. Selezionare il File locale di origine e cercare un file da selezionare dal set di dati di esempio decompresso nella cartella di test.

3. Scegliere il pulsante Esegui analisi per ottenere le previsioni di coppie chiave/valore, testo e tabelle per il modulo. Lo strumento applica i tag nei riquadri di selezione e segnala l'attendibilità di ognuno.

   

Ecco fatto! Si è appreso come usare lo strumento di esempio di Analisi documenti per modelli predefiniti, layout e personalizzati di Informazioni sui documenti. Si è anche appreso come analizzare un modulo personalizzato con dati etichettati manualmente.

Passaggi successivi