Trainieren eines benutzerdefinierten Modells mithilfe des Tools für die Beschriftung von Beispielen

Dieser Inhalt gilt für: Version 2.1.

In diesem Artikel verwenden Sie die REST-API von Dokument Intelligenz zusammen mit dem Tool für die Stichprobenbeschriftung, um ein benutzerdefiniertes Modell mit manuell beschrifteten Daten zu trainieren.

Voraussetzungen

Sie benötigen die folgenden Ressourcen, um dieses Projekt abzuschließen:

• Azure-Abonnement – Erstellen eines kostenlosen Kontos
• Wenn Sie über Ihr Azure-Abonnement verfügen, sollten Sie im Azure-Portal eine Dokument Intelligenz-Ressource erstellen, um Ihren Schlüssel und Endpunkt zu erhalten. Wählen Sie nach Abschluss der Bereitstellung Zu Ressource wechseln aus.
  • Sie benötigen den Schlüssel und Endpunkt der von Ihnen erstellten Ressource, um Ihre Anwendung mit der Dokument Intelligenz-API zu verbinden. Den Schlüssel und den Endpunkt werden Sie später im Schnellstart in den Code einfügen.
  • Sie können den kostenlosen Tarif (F0) verwenden, um den Dienst zu testen, und später für die Produktion auf einen kostenpflichtigen Tarif upgraden.
• Einen Satz mit mindestens sechs Formularen desselben Typs. Diese Daten verwenden Sie zum Trainieren des Modells und zum Testen eines Formulars. Sie können ein Beispieldataset für diese Schnellstartanleitung verwenden (sample_data.zip herunterladen und extrahieren). Laden Sie die Trainingsdateien in das Stammverzeichnis eines Blobspeichercontainers in einem Azure Storage-Konto mit der Leistungsstufe „Standard“ hoch.

Erstellen einer Dokument Intelligenz-Ressource

Wechseln Sie zum Azure-Portal und erstellen Sie eine neue Dokument Intelligenz-Ressource . Geben Sie im Bereich Erstellen die folgenden Informationen an:

Abrufen des Schlüssels und des Endpunkts

Nach Abschluss der Bereitstellung Ihrer Dokument Intelligenz-Ressource suchen Sie diese im Portal in der Liste Alle Ressourcen und wählen sie aus. Schlüssel und Endpunkt befinden sich auf der entsprechenden Seite der Ressource unter Ressourcenverwaltung. Speichern Sie diese beiden Elemente an einem temporären Speicherort, bevor Sie fortfahren.

Ausprobieren

Probieren Sie das Stichprobenbeschriftungstool von Dokument Intelligenz online aus:

Sie benötigen ein Azure-Abonnement (kostenlos erstellen), einen Dokument Intelligenz-Ressourcenendpunkt und einen Schlüssel, um den Dokument Intelligenz-Dienst auszuprobieren.

Einrichten des Tools für die Beschriftung von Beispielen

Sie verwenden die Docker-Engine, um das Tool für die Stichprobenbeschriftung auszuführen. Gehen Sie folgendermaßen vor, um den Docker-Container einzurichten. Eine Einführung in Docker und Container finden Sie in der Docker-Übersicht.

1. Installieren Sie zunächst Docker auf einem Hostcomputer. Diese Anleitung zeigt Ihnen, wie Sie einen lokalen Computer als Host verwenden können. Wenn Sie einen Docker-Hostingdienst in Azure verwenden möchten, hilft Ihnen die Anleitung zum Bereitstellen des Tools für die Beschriftung von Beispielen weiter.

   Der Hostcomputer muss die folgenden Hardwareanforderungen erfüllen:

   Container	Minimum	Empfohlen
   Tool für die Beschriftung von Beispielen	2 Kerne, 4 GB Arbeitsspeicher	4 Kerne, 8 GB Arbeitsspeicher

   Installieren Sie Docker auf Ihrem Computer, indem Sie die passenden Anweisungen für Ihr Betriebssystem befolgen:

   • Windows
   • macOS
   • Linux

2. Rufen Sie mit dem docker pull-Befehl den Container für das Tool für die Beschriftung von Beispielen ab.

    docker pull mcr.microsoft.com/azure-cognitive-services/custom-form/labeltool:latest-2.1
   

3. Jetzt können Sie mit docker run den Container ausführen.

    docker run -it -p 3000:80 mcr.microsoft.com/azure-cognitive-services/custom-form/labeltool:latest-2.1 eula=accept
   

   Dieser Befehl macht das Tool für Stichprobenbeschriftung über einen Webbrowser verfügbar. Gehe zu http://localhost:3000.

Einrichten von Eingabedaten

Stellen Sie zunächst sicher, dass alle Trainingsdokumente im selben Format vorliegen. Wenn Ihre Formulare unterschiedliche Formate aufweisen, sortieren Sie sie in Unterordner für jeweils ein Format. Beim Trainieren müssen Sie die API an einen Unterordner verweisen.

Konfigurieren der Ressourcenfreigabe zwischen verschiedenen Ursprüngen (CORS)

Aktivieren Sie CORS in Ihrem Speicherkonto. Wählen Sie im Azure-Portal Ihr Speicherkonto und dann im linken Bereich die Registerkarte CORS aus. Geben Sie auf der untersten Zeile die folgenden Werte ein. Wählen Sie oben Speichern aus.

• Zulässige Ursprünge = *
• Zulässige Methoden = [Alle auswählen]
• Zulässige Header = *
• Verfügbar gemachte Header = *
• Max. Alter = 200

Herstellen einer Verbindung mit dem Tool für die Beschriftung von Beispielen

Das Tool für die Beschriftung von Beispielen stellt eine Verbindung mit einer Quelle (Ihre hochgeladenen Originalformulare) und einem Ziel (erstellte Beschriftungen und Ausgabedaten) her.

Verbindungen können projektübergreifend eingerichtet und freigegeben werden. Dabei wird ein erweiterbares Anbietermodell verwendet, sodass Sie ganz einfach neue Anbieter von Quellen und Zielen hinzufügen können.

Um eine neue Verbindung zu erstellen, wählen Sie auf der linken Navigationsleiste das Symbol für Neue Verbindung (Stecker) aus.

Geben Sie die folgenden Werte in die Felder ein:

• Anzeigename: der Anzeigename der Verbindung.

• Beschreibung: die Beschreibung Ihres Projekts.

• SAS-URL: die Shared Access Signature-URL (SAS) Ihres Azure Blob Storage-Containers. Navigieren Sie zu Ihrer Speicherressource im Azure-Portal, und wählen Sie die Registerkarte Speicher-Explorer aus, um die SAS-URL für Ihre benutzerdefinierten Modelltrainingdaten abzurufen. Wechseln Sie zum Container, klicken Sie mit der rechten Maustaste auf diesen, und wählen Sie Shared Access Signature abrufen aus. Achten Sie darauf, die SAS für den Container abzurufen, nicht für das Speicherkonto. Stellen Sie sicher, dass die Berechtigungen Lesen, Schreiben, Löschen und Auflisten aktiviert sind, und klicken Sie anschließend auf Erstellen. Kopieren Sie den Wert im Abschnitt URL dann an einen temporären Speicherort. Er muss das Format https://<storage account>.blob.core.windows.net/<container name>?<SAS value> aufweisen.

  

Erstellen eines neuen Projekts

Im Tool für die Beschriftung von Beispielen werden Ihre Konfigurationen und Einstellungen in Projekten gespeichert. Erstellen Sie ein neues Projekt, und geben Sie die folgenden Werte in die Felder ein:

• Anzeigename: der Anzeigename des Projekts.
• Sicherheitstoken: Einige Projekteinstellungen können vertrauliche Werte wie z. B. Schlüssel oder andere gemeinsam genutzte Geheimnisse enthalten. Jedes Projekt generiert ein Sicherheitstoken, das zum Verschlüsseln/Entschlüsseln von vertraulichen Projekteinstellungen verwendet werden kann. Sie finden die Sicherheitstoken in den Anwendungseinstellungen, indem Sie unten auf der linken Navigationsleiste das Zahnradsymbol auswählen.
• Quellverbindung: Die von Ihnen im vorherigen Schritt erstellte Azure Blob Storage-Verbindung, die Sie für dieses Projekt verwenden möchten.
• Ordnerpfad (optional): Wenn Ihre Quellformulare in einem Ordner im Blobcontainer gespeichert sind, geben Sie hier den Ordnernamen an.
• Dokument Intelligenz-Dienst-URI – Ihre Endpunkt-URL für Dokument Intelligenz.
• Schlüssel: Ihr Dokument Intelligenz-Schlüssel.
• Beschreibung (optional): Projektbeschreibung.

Beschriften Ihrer Formulare

Wenn Sie ein Projekt erstellen oder öffnen, wird das Hauptfenster des Beschriftungs-Editors geöffnet. Der Beschriftungs-Editor besteht aus drei Teilen:

• Ein v3.0-Bereich, dessen Größe angepasst werden kann und der eine scrollbare Liste mit Formularen aus der Quellverbindung enthält
• Der Hauptbereich des Editors, in dem Sie Beschriftungen anwenden können.
• Der Bearbeitungsbereich des Editors, in dem Sie Beschriftungen ändern, sperren, neu anordnen und löschen können.

Identifizieren von Text und Tabellen

Wählen Sie im linken Bereich Layout für nicht besuchte Dokumente ausführen aus, um Text- und Tabellenlayoutinformationen für jedes Dokument abzurufen. Das Beschriftungstool zeichnet einen Begrenzungsrahmen um jedes Textelement.

Das Beschriftungstool zeigt außerdem an, welche Tabellen automatisch extrahiert wurden. Wählen Sie das Tabellen-/Rastersymbol auf der linken Seite des Dokuments aus, um die extrahierte Tabelle anzuzeigen. Da in dieser Schnellstartanleitung der Tabelleninhalt automatisch extrahiert wird, versehen wir ihn nicht bezeichnen, sondern verlassen uns stattdessen auf die automatisierte Extraktion.

Ist im Trainingsdokument kein Wert angegeben, können Sie in v2.1 ein Kästchen an der Stelle zeichnen, an der sich der Wert befinden sollte. Verwenden Sie Bereich zeichnen in der oberen linken Ecke des Fensters, damit die Region mit Tags versehen werden kann.

Anwenden von Beschriftungen auf Text

Als Nächstes erstellen Sie Tags (Bezeichnungen) und wenden sie auf die Textelemente an, die das Modell analysieren soll.

1. Verwenden Sie zuerst den Bearbeitungsbereich des Editors, um die Tags zu erstellen, die Sie identifizieren möchten.
   1. Wählen Sie + aus, um ein neues Tag zu erstellen.
   2. Geben Sie den Tagnamen ein.
   3. Drücken Sie die EINGABETASTE, um das Tag zu speichern.
2. Wählen Sie im Hauptbereich des Editors Wörter aus den markierten Textelementen oder aus einem Bereich aus, den Sie gezeichnet haben.
3. Wählen Sie das Tag aus, das Sie anwenden möchten, oder drücken Sie die entsprechende Taste auf der Tastatur. Die Zifferntasten sind als Schnellzugriffstasten für die ersten zehn Tags zugewiesen. Sie können die Beschriftungen mithilfe der nach oben und unten weisenden Pfeilsymbole im Bearbeitungsbereich neu anordnen.
4. Führen Sie diese Schritte aus, um mindestens fünf Ihrer Formulare zu beschriften.

   Tipp

   Beachten Sie beim Beschriften Ihrer Formulare die folgenden Tipps:

   • Sie können auf jedes ausgewählte Element nur ein Tag anwenden.
   • Jedes Tag kann nur einmal pro Seite angewendet werden. Wenn ein Wert in demselben Formular mehrfach erscheint, sollten Sie für jede Instanz andere Tags erstellen. Beispiel: „rechnung 1“, „rechnung 2“ usw.
   • Tags können nicht seitenübergreifend genutzt werden.
   • Beschriften Sie Werte so, wie sie im Formular vorkommen. Versuchen Sie nicht, einen Wert mit zwei unterschiedlichen Tags in zwei Teile zu unterteilen. Ein Adressfeld sollte beispielsweise auch dann nur mit einem Tag beschriftet werden, wenn es über mehrere Zeilen verläuft.
   • Fügen Sie in Ihre beschrifteten Felder keine Schlüssel ein, sondern nur die Werte.
   • Die Tabellendaten sollten automatisch erkannt werden und sind in der fertigen JSON-Ausgabedatei enthalten. Falls das Modell nicht Ihre gesamten Tabellendaten erkennen kann, können Sie diese Felder auch manuell beschriften. Verwenden Sie für jede Zelle der Tabelle eine andere Beschriftung. Falls Ihre Formulare über Tabellen mit unterschiedlicher Anzahl von Zeilen verfügen, sollten Sie sicherstellen, dass Sie mindestens ein Formular mit der größtmöglichen Tabelle beschriften.
   • Verwenden Sie die Schaltflächen rechts neben dem + -Zeichen, um Ihre Tags zu suchen, umzubenennen, neu anzuordnen und zu löschen.
   • Um ein angewendetes Tag zu entfernen, ohne das Tag selbst zu löschen, wählen Sie das Tagrechteck in der Dokumentansicht aus und drücken die Taste ENTF.

Angeben von Tagwerttypen

Sie können den erwarteten Datentyp für jedes Tag festlegen. Öffnen Sie das Kontextmenü rechts neben einem Tag, und wählen Sie im Menü einen Typ aus. Diese Funktion ermöglicht es dem Erkennungsalgorithmus, Annahmen zu treffen, welche die Genauigkeit der Texterkennung verbessern. Es wird ebenfalls sichergestellt, dass die erkannten Werte in der endgültigen JSON-Ausgabe in einem standardisierten Format zurückgegeben werden. Informationen zum Werttyp werden in der Datei fields.json unter demselben Pfad wie Ihre Beschriftungsdateien gespeichert.

Derzeit werden die folgenden Werttypen und Variationen unterstützt:

• string

  • Standardwert, no-whitespaces, alphanumeric

• number

  • Standardwert, currency
  • Als Gleitkommawert formatiert.
  • Beispiel: 1234.98 auf dem Dokument wird in der Ausgabe in 1234.98 formatiert

• date

  • Standardwert, dmy, mdy, ymd

• time

• integer

  • Formatiert als ganzzahliger Wert.
  • Beispiel: 1234.98 auf dem Dokument wird in der Ausgabe in 123498 formatiert.

• selectionMark

Beschriften von Tabellen (nur v2.1)

Manchmal ist es besser, Ihre Daten als Tabelle und nicht als Schlüssel-Wert-Paare zu beschriften. In diesem Fall können Sie ein Tabellentag erstellen, indem Sie Add a new table tag (Neues Tabellentag hinzufügen) wählen. Geben Sie an, ob die Tabelle abhängig vom Dokument eine feste oder variable Anzahl von Zeilen aufweist, und definieren Sie das Schema.

Nachdem Sie das Tabellentag definiert haben, versehen Sie die Zellenwerte mit Tags.

Trainieren eines benutzerdefinierten Modells

Wählen Sie im linken Bereich das Symbol „Trainieren“ aus, um die Seite „Training“ zu öffnen. Wählen Sie dann die Schaltfläche Trainieren aus, um mit dem Training des Modells zu beginnen. Sobald der Trainingsprozess abgeschlossen ist, sehen Sie folgende Informationen:

• Modell-ID: Die ID des Modells, das erstellt und trainiert wurde. Jeder Trainingsaufruf erstellt ein neues Modell mit eigener ID. Kopieren Sie diese Zeichenfolge an einen sicheren Speicherort. Sie werden sie benötigen, wenn Sie Vorhersageaufrufe über die REST-API oder den Leitfaden der Clientbibliothek ausführen wollen.
• Durchschnittliche Genauigkeit: Die durchschnittliche Genauigkeit des Modells. Sie können die Modellgenauigkeit verbessern, indem Sie weitere Formulare hinzufügen und beschriften und dann erneut ein Training ausführen, um ein neues Modell zu erstellen. Wir empfehlen, zunächst fünf Formulare zu beschriften und dann bei Bedarf weitere Formulare hinzuzufügen.
• Die Liste der Beschriftungen und die geschätzte Genauigkeit für jede Beschriftung.

Untersuchen Sie nach Abschluss des Trainings den Wert Durchschnittliche Genauigkeit. Wenn dieser Wert niedrig ist, sollten Sie weitere Eingabedokumente hinzufügen und die Schritte zur Beschriftung wiederholen. Die von Ihnen bereits beschrifteten Dokumente verbleiben im Projektindex.

Erstellen trainierter Modelle

Mit der Modellerstellung können Sie bis zu 200 Modelle mit einer einzelnen Modell-ID erstellen. Wenn Sie mit dieser erstellten modelID die Funktion „Analysieren“ aufrufen, klassifiziert Dokument Intelligenz das übermittelte Formular, wählt das am besten übereinstimmende Modell aus und gibt dann Ergebnisse für dieses Modell zurück. Dieser Vorgang ist nützlich, wenn eingehende Formulare zu einer von mehreren Vorlagen gehören können.

• Um Modelle im Tool für die Beschriftung von Beispielen zu erstellen, wählen Sie auf der Navigationsleiste das Symbol zum Erstellen von Modellen (zusammengeführter Pfeil) aus.
• Wählen Sie die Modelle aus, die Sie zusammen erstellen möchten. Modelle mit dem Pfeilsymbol sind bereits zusammengesetzte Modelle.
• Wählen Sie die Schaltfläche Erstellen aus. Geben Sie im Popupfenster einen Namen für Ihr neu erstelltes Modell ein, und wählen Sie Erstellen aus.
• Nach Abschluss des Vorgangs sollte das neue erstellte Modell in der Liste angezeigt werden.

Analysieren eines Formulars

Wählen Sie das Symbol Analyze auf der Navigationsleiste aus, um Ihr Modell zu testen. Wählen Sie die Quelle Lokale Datei aus. Suchen Sie nach einer Datei, und wählen Sie eine Datei aus dem Beispieldataset aus, das Sie im Testordner entzippt haben. Wählen Sie dann die Schaltfläche Analyse ausführen aus, um Schlüssel-Wert-Paare, Text- und Tabellenvorhersagen für das Formular abzurufen. Das Tool wendet Tags in Begrenzungsrahmen an und berichtet die Konfidenz jeder Beschriftung.

Verbessern der Ergebnisse

Je nach gemeldeter Genauigkeit können Sie weitere Trainingsiterationen durchführen, um das Modell zu verbessern. Überprüfen Sie nach Abschluss einer Vorhersage die Konfidenzwerte für die jeden angewendeten Tag. Wenn der durchschnittliche Genauigkeitswert im Training hoch war, aber die Zuverlässigkeitsbewertungen niedrig (oder die Ergebnisse ungenau) sind, fügen Sie die für die Vorhersage verwendete Datei zum Trainingssatz hinzu, beschriften Sie sie und führen Sie das Training erneut durch.

Die gemeldete durchschnittliche Genauigkeit, die Zuverlässigkeitsbewertungen und die tatsächliche Genauigkeit können inkonsistent sein, wenn sich die analysierten Dokumente von den im Training verwendeten Dokumenten unterscheiden. Denken Sie daran, dass Dokumente für das menschliche Auge gleich aussehen können, für das KI-Modell aber unterschiedlich sind. Ein Beispiel: Sie führen das Training mit einem Formulartyp durch, der zwei Variationen aufweist. Der Trainingssatz besteht zu 20 % aus Variation A und zu 80 % aus Variation B. In diesem Fall ist es wahrscheinlich, dass die Konfidenzscores für Variation A bei der Vorhersage niedriger sind.

Speichern und späteres Fortsetzen eines Projekts

Um Ihr Projekt zu einem anderen Zeitpunkt oder in einem anderen Browser fortzusetzen, müssen Sie das Sicherheitstoken des Projekts speichern und später erneut eingeben.

Abrufen der Projektanmeldeinformationen

Wechseln Sie zur Seite mit den Projekteinstellungen (Schiebereglersymbol), und merken Sie sich den Namen des Sicherheitstokens. Wechseln Sie dann zu Ihren Anwendungseinstellungen (Zahnradsymbol), in denen alle Sicherheitstoken in Ihrer aktuellen Browserinstanz angezeigt werden. Suchen Sie nach dem Sicherheitstoken Ihres Projekts, und kopieren Sie den Namen und Schlüsselwert an einen sicheren Speicherort.

Wiederherstellen der Projektanmeldeinformationen

Wenn Sie Ihr Projekt fortsetzen möchten, müssen Sie zunächst eine Verbindung mit demselben Blobspeichercontainer herstellen. Wiederholen Sie dazu die genannten Schritte. Wechseln Sie zur Seite mit den Anwendungseinstellungen (Zahnradsymbol), und überprüfen Sie, ob sich das Sicherheitstoken Ihres Projekts dort befindet. Wenn dies nicht der Fall ist, fügen Sie ein neues Sicherheitstoken hinzu, und fügen Sie den Namen und Schlüssel des Tokens aus dem vorherigen Schritt ein. Wählen Sie Speichern aus, um Ihre Einstellungen beizubehalten.

Fortsetzen eines Projekts

Wechseln Sie abschließend auf die Hauptseite (Haussymbol), und wählen Sie Cloudprojekt öffnen aus. Wählen Sie die Verbindung mit dem Blobspeicher und dann die Datei vom Typ .fott Ihres Projekts aus. Die Anwendung lädt sämtliche Projekteinstellungen, weil sie über das Sicherheitstoken verfügt.

Nächste Schritte

In diesem Schnellstart haben Sie erfahren, wie Sie das Beispielbeschriftungstool von Dokument Intelligenz verwenden, um ein Modell mit manuell beschrifteten Daten zu trainieren. Wenn Sie ein eigenes Hilfsprogramm zum Beschriften von Trainingsdaten erstellen möchten, verwenden Sie die REST-APIs für das Trainieren beschrifteter Daten.

• Was ist Dokument Intelligenz?
• Schnellstart für Dokument Intelligenz