Anpassade modeller för Dokumentinformation

Det här innehållet gäller för: v4.0 (förhandsversion) | Tidigare versioner: v3.1 (GA) v3.0 (GA) v2.1 (GA)

Det här innehållet gäller för: v3.1 (GA) | Senaste version: v4.0 (förhandsversion) | Tidigare versioner: v3.0 v2.1

Det här innehållet gäller för: v3.0 (GA) | Senaste versioner: v4.0 (förhandsversion) v3.1 | Tidigare version: v2.1

Det här innehållet gäller för: v2.1 | Senaste version: v4.0 (förhandsversion)

Anpassade dokumentmodelltyper

Anpassade dokumentmodeller kan vara en av två typer, anpassad mall eller anpassat formulär och anpassade neurala eller anpassade dokumentmodeller. Märknings- och träningsprocessen för båda modellerna är identisk, men modellerna skiljer sig åt på följande sätt:

Anpassade extraheringsmodeller

Skapa en anpassad extraheringsmodell genom att märka en datamängd med dokument med de värden som du vill extrahera och träna modellen på den märkta datamängden. Du behöver bara fem exempel av samma formulär- eller dokumenttyp för att komma igång.

Anpassad neural modell

Den anpassade neurala modellen (anpassat dokument) använder djupinlärningsmodeller och basmodeller som tränats på en stor samling dokument. Den här modellen finjusteras eller anpassas sedan till dina data när du tränar modellen med en märkt datauppsättning. Anpassade neurala modeller stöder extrahering av nyckeldatafält från strukturerade, halvstrukturerade och ostrukturerade dokument. När du väljer mellan de två modelltyperna börjar du med en neural modell för att avgöra om den uppfyller dina funktionella behov. Mer information om anpassade dokumentmodeller finns i neurala modeller .

Anpassad mallmodell

Den anpassade mallen eller den anpassade formulärmodellen förlitar sig på en konsekvent visuell mall för att extrahera etiketterade data. Varianser i den visuella strukturen i dina dokument påverkar modellens noggrannhet. Strukturerade formulär som enkäter eller program är exempel på konsekventa visuella mallar.

Träningsuppsättningen består av strukturerade dokument där formateringen och layouten är statiska och konstanta från en dokumentinstans till en annan. Anpassade mallmodeller stöder nyckel/värde-par, markeringsmarkeringar, tabeller, signaturfält och regioner. Mallmodeller och kan tränas på dokument på något av de språk som stöds. Mer information finns i anpassade mallmodeller.

Om språket i dina dokument och extraheringsscenarier stöder anpassade neurala modeller rekommenderar vi att du använder anpassade neurala modeller över mallmodeller för högre noggrannhet.

Indatakrav

• För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

• Filformat som stöds:

  Modell	PDF	Bild: jpeg/jpg, png, bmp, , tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Lästa	✔	✔	✔
  Layout	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview och senare)
  Allmänt dokument	✔	✔
  Inbyggda	✔	✔
  Anpassad extrahering	✔	✔
  Anpassad klassificering	✔	✔	✔

  ✱ Microsoft Office-filer stöds för närvarande inte för andra modeller eller versioner.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum.

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

• För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

• För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Optimala träningsdata

Träningsindata är grunden för alla maskininlärningsmodeller. Den avgör modellens kvalitet, noggrannhet och prestanda. Därför är det viktigt att skapa bästa möjliga träningsdata för ditt dokumentinformationsprojekt. När du använder den anpassade modellen För dokumentinformation anger du dina egna träningsdata. Här följer några tips som hjälper dig att träna dina modeller effektivt:

• Använd textbaserade i stället för bildbaserade PDF-filer när det är möjligt. Ett sätt att identifiera en bild*baserad PDF är att prova att välja specifik text i dokumentet. Om du bara kan välja hela bilden av texten är dokumentet bildbaserat, inte textbaserat.

• Organisera dina träningsdokument med hjälp av en undermapp för varje format (JPEG/JPG, PNG, BMP, PDF eller TIFF).

• Använd formulär som har alla tillgängliga fält slutförda.

• Använd formulär med olika värden i varje fält.

• Använd en större datamängd (mer än fem träningsdokument) om dina bilder är av låg kvalitet.

• Kontrollera om du behöver använda en enskild modell eller flera modeller som består av en enda modell.

• Överväg att segmentera datamängden i mappar, där varje mapp är en unik mall. Träna en modell per mapp och skriv de resulterande modellerna till en enda slutpunkt. Modellens noggrannhet kan minska när du har olika format som analyserats med en enda modell.

• Överväg att segmentera datamängden för att träna flera modeller om formuläret har variationer med format och sidbrytningar. Anpassade formulär förlitar sig på en konsekvent visuell mall.

• Se till att du har en balanserad datauppsättning genom att redovisa format, dokumenttyper och struktur.

Byggläge

Åtgärden build custom model lägger till stöd för mallen och anpassade neurala modeller. Tidigare versioner av REST-API:et och klientbiblioteken har endast stöd för ett enda byggläge som nu kallas mallläge .

• Mallmodeller accepterar endast dokument som har samma grundläggande sidstruktur – ett enhetligt visuellt utseende – eller samma relativa placering av element i dokumentet.

• Neurala modeller stöder dokument som har samma information, men olika sidstrukturer. Exempel på dessa dokument är USA W2-formulär, som delar samma information, men varierar i utseende mellan företag.

Den här tabellen innehåller länkar till SDK-referenser för programmeringsspråket build mode och kodexempel på GitHub:

Jämföra modellfunktioner

I följande tabell jämförs anpassade mallar och anpassade neurala funktioner:

Anpassad klassificeringsmodell

Dokumentklassificering är ett nytt scenario som stöds av Document Intelligence med API:et 2023-07-31 (v3.1 GA). API:et för dokumentklassificerare stöder klassificerings- och delningsscenarier. Träna en klassificeringsmodell för att identifiera de olika typer av dokument som programmet stöder. Indatafilen för klassificeringsmodellen kan innehålla flera dokument och klassificera varje dokument inom ett associerat sidintervall. Mer information finns i anpassade klassificeringsmodeller .

Anpassade modellverktyg

Dokumentinformation v3.1 och senare modeller stöder följande verktyg, program och bibliotek, program och bibliotek:

Livscykel för anpassad modell

Livscykeln för en anpassad modell beror på vilken API-version som används för att träna den. Om API-versionen är en allmän tillgänglighetsversion (GA) har den anpassade modellen samma livscykel som den versionen. Den anpassade modellen är inte tillgänglig för slutsatsdragning när API-versionen är inaktuell. Om API-versionen är en förhandsversion har den anpassade modellen samma livscykel som förhandsversionen av API:et.

Document Intelligence v2.1 stöder följande verktyg, program och bibliotek:

Exempel på märkningsverktyg

• Exempeletikettverktyget för dokumentinformation är ett öppen källkod verktyg som gör att du kan testa de senaste funktionerna i funktionerna för dokumentinformation och optisk teckenigenkänning (OCR).

• Prova snabbstarten för exempeletiketteringsverktyget för att komma igång med att skapa och använda en anpassad modell.

Document Intelligence Studio

1. På startsidan för Document Intelligence Studio väljer du Anpassade extraheringsmodeller.

2. Under Mina projekt väljer du Skapa ett projekt.

3. Fyll i fälten för projektinformation.

4. Konfigurera tjänstresursen genom att lägga till lagringskontot och blobcontainern för att ansluta din träningsdatakälla.

5. Granska och skapa projektet.

6. Lägg till exempeldokumenten för att märka, skapa och testa din anpassade modell.

En detaljerad genomgång för att skapa din första anpassade extraheringsmodell finns i Skapa en anpassad extraheringsmodell.

Sammanfattning av extrahering av anpassad modell

I den här tabellen jämförs de dataextraheringsområden som stöds:

Tabellsymboler:
✔ — Stöds
**n/a– För närvarande inte tillgänglig;
*-Beter sig olika beroende på modell. Med mallmodeller genereras syntetiska data vid träningstillfället. Med neurala modeller väljs utgående text som identifieras i regionen.

• Prova att bearbeta dina egna formulär och dokument med verktyget Exempeletiketter för dokumentinformation.

• Slutför en snabbstart för dokumentinformation och kom igång med att skapa en app för dokumentbearbetning på valfritt utvecklingsspråk.

• Prova att bearbeta dina egna formulär och dokument med Document Intelligence Studio.

• Slutför en snabbstart för dokumentinformation och kom igång med att skapa en app för dokumentbearbetning på valfritt utvecklingsspråk.