Anpassad klassificeringsmodell för Dokumentinformation

Azure AI Document Intelligence är en molnbaserad Azure AI-tjänst som gör att du kan skapa intelligenta lösningar för dokumentbearbetning. API:er för dokumentinformation analyserar bilder, PDF-filer och andra dokumentfiler för att extrahera och identifiera olika innehåll, layout, format och semantiska element.

Anpassade klassificeringsmodeller är djupinlärningsmodelltyper som kombinerar layout- och språkfunktioner för att korrekt identifiera och identifiera dokument som du bearbetar i ditt program. Anpassade klassificeringsmodeller utför klassificering av en indatafil en sida i taget för att identifiera dokumenten i och kan även identifiera flera dokument eller flera instanser av ett enda dokument i en indatafil.

Modellfunktioner

Anpassade klassificeringsmodeller kan analysera ett dokument med en eller flera filer för att identifiera om någon av de tränade dokumenttyperna finns i en indatafil. Här är de scenarier som stöds för närvarande:

• En enda fil som innehåller en dokumenttyp, till exempel ett låneformulär.

• En enda fil som innehåller flera dokumenttyper. Till exempel ett låneprogrampaket som innehåller ett låneformulär, lönebesked och bankutdrag.

• En enda fil som innehåller flera instanser av samma dokument. Till exempel en samling skannade fakturor.

✔️ Träning av five en anpassad klassificerare kräver minst two distinkta klasser och minst dokumentexempel per klass. Modellsvaret innehåller sidintervallen för var och en av de dokumentklasser som identifieras.

✔️ Det maximala tillåtna antalet klasser är 500. Det maximala tillåtna antalet dokumentexempel per klass är 100.

Modellen klassificerar varje sida i indatadokumentet, om det inte anges, till någon av klasserna i den märkta datauppsättningen. Du kan också ange sidnumren som ska analyseras i indatadokumentet. Om du vill ange tröskelvärdet för ditt program använder du konfidenspoängen från svaret.

Inkrementell träning

Med anpassade modeller måste du behålla åtkomsten till träningsdatauppsättningen för att uppdatera klassificeraren med nya exempel för en befintlig klass eller lägga till nya klasser. Klassificerarmodeller stöder nu inkrementell träning där du kan referera till en befintlig klassificerare och lägga till nya exempel för en befintlig klass eller lägga till nya klasser med exempel. Inkrementell träning möjliggör scenarier där datakvarhållning är en utmaning och klassificeraren måste uppdateras för att anpassas till föränderliga affärsbehov. Inkrementell träning stöds med modeller som tränats med API-version 2024-02-29-preview och senare.

Inkrementell träning kräver att du anger det ursprungliga modell-ID:t baseClassifierIdsom . Mer information om hur du använder inkrementell träning finns i inkrementell träning .

Stöd för Office-dokumenttyp

Nu kan du träna klassificerare att identifiera dokumenttyper i olika format, inklusive PDF, bilder, Word, PowerPoint och Excel. När du monterar din träningsdatauppsättning kan du lägga till dokument av någon av de typer som stöds. Klassificeraren kräver inte att du uttryckligen etiketterar specifika typer. Bästa praxis är att se till att din träningsdatauppsättning har minst ett urval av varje format för att förbättra modellens övergripande noggrannhet.

Jämför anpassad klassificering och sammansatta modeller

En anpassad klassificeringsmodell kan ersätta en sammansatt modell i vissa scenarier, men det finns några skillnader att vara medveten om:

Språkstöd

Indatakrav

Filformat som stöds:

• Ge fem tydliga foton eller högkvalitativa genomsökningar per dokumenttyp för bästa resultat.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum (DPI).

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

• För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

• För anpassad klassificeringsmodellträning är den totala storleken på träningsdata 1 GB med högst 10 000 sidor.

Dokumentdelning

När du har fler än ett dokument i en fil kan klassificeraren identifiera de olika dokumenttyperna i indatafilen. Klassificerarens svar innehåller sidintervallen för var och en av de identifierade dokumenttyperna som finns i en fil. Det här svaret kan innehålla flera instanser av samma dokumenttyp.

Bästa praxis

Anpassade klassificeringsmodeller kräver minst fem exempel per klass för träning. Om klasserna är liknande förbättras modellens noggrannhet genom att lägga till extra träningsexempel.

Klassificeraren försöker tilldela varje dokument till en av klasserna, om du förväntar dig att modellen ska se dokumenttyper som inte finns i de klasser som ingår i träningsdatauppsättningen bör du planera att ange ett tröskelvärde för klassificeringspoängen eller lägga till några representativa exempel på dokumenttyperna i en "other" klass. Genom att lägga till en "other" klass ser du till att dokument som inte behövs inte påverkar klassificerarens kvalitet.

Träna en modell

Anpassade klassificeringsmodeller stöds av v4.0: 2024-02-29-preview, 2024-07-31-preview och v3.1: 2023-07-31 (GA) API:er. Document Intelligence Studio tillhandahåller ett användargränssnitt utan kod för att interaktivt träna en anpassad klassificerare. Följ guiden för att komma igång.

Om du använder REST-API:et kan du använda azureBlobSource egenskapen för begäran för att träna en klassificeringsmodell om du organiserar dina dokument efter mappar.

https://{endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-02-29-preview

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/deed-of-trust/"
            }
    }
  }
}

https://{endpoint}/formrecognizer/documentClassifiers:build?api-version=2023-07-31

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/deed-of-trust/"
            }
    }
  }
}

Om du har en platt lista med filer eller bara planerar att använda några få utvalda filer i varje mapp för att träna modellen kan du använda azureBlobFileListSource egenskapen för att träna modellen. Det här steget kräver ett file list I JSON Lines-format . För varje klass lägger du till en ny fil med en lista över filer som ska skickas för träning.

{
  "classifierId": "demo2",
  "description": "",
  "docTypes": {
    "car-maint": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/car-maint.jsonl"
      }
    },
    "cc-auth": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/cc-auth.jsonl"
      }
    },
    "deed-of-trust": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/deed-of-trust.jsonl"
      }
    }
  }
}

Till exempel innehåller fillistan car-maint.jsonl följande filer.

{"file":"classifier/car-maint/Commercial Motor Vehicle - Adatum.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Fincher.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Lamna.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Liberty.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Trey.pdf"}

{
  "classifierId": "existingClassifierName",
  "allowOverwrite": true,  // Default=false
  ...
}

POST https://myendpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers:authorizeCopy?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "classifierId": "targetClassifier",
  "description": "Target classifier description"
}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

POST {endpoint}/documentintelligence/documentClassifiers/{classifierId}:copyTo?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

Modellsvar

Analysera en indatafil med dokumentklassificeringsmodellen.

https://{endpoint}/documentintelligence/documentClassifiers/{classifier}:analyze?api-version=2024-02-29-preview

https://{service-endpoint}/formrecognizer/documentClassifiers/{classifier}:analyze?api-version=2023-07-31

Svaret innehåller identifierade dokument med tillhörande sidintervall i dokumentavsnittet i svaret.

{
  ...

    "documents": [
      {
        "docType": "formA",
        "boundingRegions": [
          { "pageNumber": 1, "polygon": [...] },
          { "pageNumber": 2, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      },
      {
        "docType": "formB",
        "boundingRegions": [
          { "pageNumber": 3, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      }, ...
    ]
  }

Nästa steg

Lär dig hur du skapar anpassade klassificeringsmodeller: