Anpassad neural modell för dokumentinformation

Anpassade neurala dokumentmodeller eller neurala modeller är en djupinlärd modelltyp som kombinerar layout- och språkfunktioner för att korrekt extrahera märkta fält från dokument. Den grundläggande anpassade neurala modellen tränas på olika dokumenttyper som gör det lämpligt att tränas för att extrahera fält från strukturerade och halvstrukturerade dokument. Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare Tabellen nedan visar vanliga dokumenttyper för varje kategori:

Anpassade neurala modeller har samma etikettformat och strategi som anpassade mallmodeller . För närvarande stöder anpassade neurala modeller endast en delmängd av de fälttyper som stöds av anpassade mallmodeller.

Modellfunktioner

Anpassade neurala modeller stöder för närvarande nyckel/värde-par och markeringsmarkeringar och strukturerade fält (tabeller).

¹ Regionetiketter i anpassade neurala modeller använder resultatet från layout-API:et för angiven region. Den här funktionen skiljer sig från mallmodeller där text genereras vid träningstillfället om inget värde finns.
² Överlappande fält stöds från och med REST API-version 2024-02-29-preview. Överlappande fält har vissa gränser. Mer information finns i överlappande fält.

Byggläge

Åtgärden Build stöder mallar och neurala anpassade modeller. Tidigare versioner av REST-API:et och klientbiblioteken har endast stöd för ett enda byggläge som nu kallas mallläge .

Neurala modeller stöder dokument som har samma information, men olika sidstrukturer. Exempel på dessa dokument är USA W2-formulär, som delar samma information, men kan variera i utseende mellan företag. Mer information finns i Byggläge för anpassad modell.

Överlappande fält

Med lanseringen av API-versioner 2024-02-29-preview och senare stöder anpassade neurala modeller överlappande fält:

Överlappande fält

Med lanseringen av API-versionerna 2024-07-31-preview och senare stöder anpassade neurala modeller överlappande fält:

Om du vill använda de överlappande fälten måste datauppsättningen innehålla minst ett exempel med den förväntade överlappningen. Om du vill märka en överlappning använder du regionetiketter för att ange vart och ett av innehållsintervallen (med överlappningen) för varje fält. Etikettering av en överlappning med fältmarkering (markera ett värde) misslyckas i Studio eftersom regionetiketter är det enda etiketteringsverktyget som stöds för att ange överlappande fält. Stöd för överlappning omfattar:

• Fullständig överlappning. Samma uppsättning token är märkta för två olika fält.
• Partiell överlappning. Vissa token tillhör båda fälten, men det finns token som bara är en del av det ena eller det andra fältet.

Överlappande fält har vissa gränser:

• En token eller ett ord kan bara märkas som två fält.
• överlappande fält i en tabell kan inte sträcka sig över tabellrader.
• Överlappande fält kan bara identifieras om minst ett exempel i datamängden innehåller överlappande etiketter för dessa fält.

Om du vill använda överlappande fält kan du märka datauppsättningen med överlappningarna och träna modellen med API-versionen 2024-02-29-preview eller senare.

Tabellfält

Med versionen av API-versionerna 2022-06-30-preview och senare stöder anpassade neurala modeller tabellfält (tabeller) för att analysera tabell-, rad- och celldata med extra konfidens:

• Modeller som tränats med API-version 2022-06-30-preview eller senare accepterar tabellfältetiketter.
• Dokument som analyseras med anpassade neurala modeller med API version 2022-06-30-preview eller senare skapar tabellfält aggregerade över tabellerna.
• Resultaten finns i objektets analyzeResult matris som returneras documents efter en analysåtgärd.

Tabellfält har stöd för korssidestabeller som standard:

• Om du vill märka en tabell som sträcker sig över flera sidor etiketterar du varje rad i tabellen på de olika sidorna i en enda tabell.
• Vi rekommenderar att du ser till att datamängden innehåller några exempel på de förväntade variationerna. Ta till exempel exempel exempel där hela tabellen finns på en enda sida och där tabellerna sträcker sig över två eller flera sidor.

Tabellfält är också användbara när du extraherar upprepad information i ett dokument som inte känns igen som en tabell. Till exempel kan ett upprepat avsnitt av arbetsupplevelser i ett CV märkas och extraheras som ett tabellfält.

Tabellfält ger tabell-, rad- och cellförtroende som börjar med API:et 2024-02-29-preview :

• Fasta eller dynamiska tabeller ger konfidensstöd för följande element:

  • Tabellförtroende, ett mått på hur exakt hela tabellen känns igen.
  • Radförtroende, ett mått på igenkänning av en enskild rad.
  • Cellförtroende, ett mått på igenkänning av en enskild cell.

• Den rekommenderade metoden är att granska noggrannheten uppifrån och ned och börja med tabellen först, följt av raden och sedan cellen. Se konfidens- och noggrannhetspoäng för att lära dig mer om tabell-, rad- och cellförtroende.

Språk och nationella inställningar som stöds

Se vår språksupport – anpassade modeller för en fullständig lista över språk som stöds.

Regioner som stöds

Från och med den 18 oktober 2022 är dokumentinformation anpassad neural modellträning endast tillgänglig i följande Azure-regioner tills vidare:

• Australien, östra
• Brasilien, södra
• Kanada, centrala
• Indien, centrala
• Central US
• Asien, östra
• East US
• USA, östra 2
• Centrala Frankrike
• Japan, östra
• USA, södra centrala
• Sydostasien
• Storbritannien, södra
• Europa, västra
• USA, västra 2
• US Gov, Arizona
• US Gov, Virginia

Indatakrav

• För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

• Filformat som stöds:

  Modell	PDF	Bild: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) och HTML
  Lästa	✔	✔	✔
  Layout	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview eller senare)
  Allmänt dokument	✔	✔
  Inbyggda	✔	✔
  Anpassad neural	✔	✔

  ✱ Microsoft Office-filer stöds för närvarande inte för andra modeller eller versioner.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum.

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

• För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

• För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Bästa praxis

Anpassade neurala modeller skiljer sig från anpassade mallmodeller på några olika sätt. Den anpassade mallen eller modellen förlitar sig på en konsekvent visuell mall för att extrahera etiketterade data. Anpassade neurala modeller stöder strukturerade och halvstrukturerade för att extrahera fält. När du väljer mellan modelltyperna börjar du med en neural modell och testar om den stöder dina funktionella behov.

• Hantera variationer – Anpassade neurala modeller kan generalisera i olika format av en enda dokumenttyp. Vi rekommenderar att du skapar en enskild modell för alla varianter av en dokumenttyp. Lägg till minst fem märkta exempel för var och en av de olika variationerna i träningsdatauppsättningen.
• Fältnamngivning – När du etiketterar data, förbättrar etikettering av det fält som är relevant för värdet noggrannheten för nyckel/värde-paren som extraheras. För ett fältvärde som innehåller leverantörs-ID kan du till exempel överväga att namnge fältet supplier_id. Fältnamnen ska vara på dokumentets språk.
• Etikettering av sammanhängande värden – Värdetoken/ord i ett fält måste vara antingen:
  • I en följdsekvens i naturlig läsordning, utan att interfoliera med andra fält
  • I en region som inte täcker några andra fält
• Representativa data – Värden i utbildningsfall bör vara olika och representativa. Om ett fält till exempel heter date ska värden för det här fältet vara ett datum. Syntetiskt värde som en slumpmässig sträng kan påverka modellens prestanda.

Aktuella begränsningar

• Den anpassade neurala modellen känner inte igen värden som delas upp över sidgränser.
• Anpassade neurala fälttyper som inte stöds ignoreras om en datauppsättning som är märkt för anpassade mallmodeller används för att träna en anpassad neural modell.
• Anpassade neurala modeller är begränsade till 20 byggåtgärder per månad. Öppna en supportbegäran om du behöver öka gränsen. Mer information finns i kvoter och gränser för Document Intelligence-tjänsten.

Träna en modell

Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare.

Åtgärden Build för att träna modellen stöder en ny buildMode egenskap, för att träna en anpassad neural modell, anger du buildMode till neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Nästa steg

Lär dig hur du skapar och skapar anpassade modeller: