Einrichten eines Bildbeschriftungsprojekts

Erfahren Sie, wie Sie Datenbeschriftungsprojekte erstellen und ausführen, um Bilder in Azure Machine Learning zu beschriften. Verwenden Sie das von maschinellem Lernen (ML) unterstützte Datenbeschriften oder das Beschriften durch Menschen in der Mitte, um bei der Aufgabe zu helfen.

Richten Sie Bezeichnungen für Klassifizierung, Objekterkennung (Begrenzungsrahmen), Instanzsegmentierung (Polygon) oder semantische Segmentierung (Vorschau) ein.

Sie können auch das Datenbeschriftungstool in Azure Machine Learning verwenden, um ein Textbeschriftungsprojekt zu erstellen.

Bildbeschriftungsfunktionen

Die Azure Machine Learning-Datenbeschriftung ist ein Tool zum Erstellen, Verwalten und Überwachen von Datenbeschriftungsprojekten verwenden können. Verwenden Sie es zu folgenden Zwecken:

• Koordinieren Sie Daten, Beschriftungen und Teammitgliedern, um die Beschriftungsaufgaben effizient zu verwalten.
• Nachverfolgen des Fortschritts und Verwalten der Warteschlange mit unvollständigen Beschriftungsaufgaben
• Starten und Beenden des Projekts und Steuern des Beschriftungsfortschritts
• Überprüfen und Exportieren der beschrifteten Daten als Azure Machine Learning-Dataset

Bilddaten können eine beliebige Datei mit einer der folgenden Dateierweiterungen sein:

• .jpg
• .jpeg
• .png
• .jpe
• .jfif
• .bmp
• .tif
• .tiff
• .dcm
• .dicom

Jede Datei ist ein zu beschriftendes Element.

Sie können auch eine MLTable-Datenressource als Eingabe für ein Bildbezeichnungsprojekt verwenden, solange die Bilder in der Tabelle eines der oben genannten Formate aufweisen. Weitere Informationen finden Sie unter Verwenden von MLTable-Datenassets.

Voraussetzungen

Sie verwenden diese Elemente, um die Bildbeschriftung in Azure Machine Learning einzurichten:

• Die zu beschriftenden Daten, entweder in lokalen Dateien oder in Azure Blob Storage.
• Der Satz von Beschriftungen, die Sie anwenden möchten.
• Die Anweisungen für die Beschriftung.
• Ein Azure-Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
• Ein Azure Machine Learning-Arbeitsbereich. Weitere Informationen finden Sie unter Erstellen eines Azure Machine Learning-Arbeitsbereichs.

Erstellen eines Bildbeschriftungsprojekts

Beschriftungsprojekte werden in Azure Machine Learning verwaltet. Verwenden Sie die Seite Datenbeschriftung in Machine Learning, um Ihre Projekte zu verwalten.

Wenn sich Ihre Daten bereits in Azure Blob Storage befinden, sollten Sie sicherstellen, dass dieser als Datenspeicher verfügbar ist, bevor Sie das Beschriftungsprojekt erstellen.

1. Zum Erstellen eines Projekts wählen Sie Projekt hinzufügen aus.

2. Geben Sie unter Projektname einen Namen für das Projekt ein.

   Sie können den Projektnamen nicht wiederverwenden, selbst wenn Sie das Projekt löschen.

3. Um ein Bildbeschriftungsprojekt zu erstellen, wählen Sie unter Medientypdie Option Bild aus.

4. Wählen Sie unter Beschriftungsaufgabentyp eine Option für Ihr Szenario aus:

   • Um nur eine einzelne Bezeichnung auf ein Bild aus einem Satz von Bezeichnungen anzuwenden, wählen Sie Multi-Klassen-Bildklassifizierung aus.
   • Um eine oder mehrere Bezeichnungen auf ein Bild aus einem Satz von Bezeichnungen anzuwenden, wählen Sie Multi-Bezeichnung-Bildklassifizierung aus. Ein Foto eines Hunds z. B. kann sowohl mit Hund als auch mit Tag beschriftet werden.
   • Um jedem Objekt innerhalb eines Bilds eine Bezeichnung zuzuweisen und Begrenzungsrahmen hinzuzufügen, wählen Sie Objektidentifikation (Begrenzungsrahmen) aus.
   • Um jedem Objekt innerhalb eines Bilds eine Bezeichnung zuzuweisen und ein Polygon um jedes Objekt zu zeichnen, wählen Sie Polygon (Instanzsegmentierung) aus.
   • Um Masken für ein Bild zu zeichnen und eine Bezeichnungsklasse auf Pixelebene zuzuweisen, wählen Sie semantische Segmentierung (Vorschau)aus.

   

5. Klicken Sie auf Weiter, um fortzufahren.

Arbeitskräfte hinzufügen (optional)

Wählen Sie Anbieterbezeichnungsunternehmen von Azure Marketplace verwenden nur dann aus, wenn Sie ein Datenbeschriftungsunternehmen von Azure Marketplace beauftragt haben. Wählen Sie dann den Anbieter aus. Wenn Ihr Anbieter nicht in der Liste angezeigt wird, löschen Sie diese Option.

Stellen Sie sicher, dass Sie sich zuerst an den Anbieter wenden und einen Vertrag unterzeichnen. Weitere Informationen finden Sie unter Arbeiten mit einem Datenbeschriftungsanbieterunternehmen (Vorschau).

Klicken Sie auf Weiter, um fortzufahren.

Festlegen der zu beschriftenden Daten

Wenn Sie bereits ein Dataset mit Ihren Daten erstellt haben, wählen Sie das Dataset aus der Dropdownliste Vorhandenes Dataset auswählen aus.

Sie können auch Dataset erstellen auswählen, um einen vorhandenen Azure-Datenspeicher zu verwenden oder lokale Dateien hochzuladen.

Datenspaltenzuordnung (Vorschau)

Wenn Sie eine MLTable-Datenressource auswählen, wird ein anderer Schritt Datenspaltenzuordnung angezeigt, um die Spalte anzugeben, die die Bild-URLs enthält.

Sie müssen eine Spalte angeben, die dem Bildfeld zugeordnet ist. Sie können auch optional andere Spalten zuordnen, die in den Daten vorhanden sind. Wenn Ihre Daten beispielsweise eine Spalte für Bezeichnungen enthalten, können Sie sie dem Feld Kategorie zuordnen. Wenn Ihre Daten eine Konfidenz-Spalte enthalten, können Sie sie dem Feld Konfidenz zuordnen.

Wenn Sie Bezeichnungen aus einem vorherigen Projekt importieren, müssen die Bezeichnungen im gleichen Format wie die von Ihnen erstellten Bezeichnungen vorliegen. Wenn Sie beispielsweise Begrenzungsfeldbeschriftungen erstellen, müssen die importierten Bezeichnungen auch Begrenzungsfeldbeschriftungen sein.

Importoptionen (Vorschau)

Wenn Sie eine Spalte für die Kategorie im Schritt Datenspaltenzuordnung einschließen, verwenden Sie Importoptionen, um anzugeben, wie die bezeichneten Daten behandelt werden sollen.

Sie müssen eine Spalte angeben, die dem Bildfeld zugeordnet ist. Sie können auch optional andere Spalten zuordnen, die in den Daten vorhanden sind. Wenn Ihre Daten beispielsweise eine Spalte für Bezeichnungen enthalten, können Sie sie dem Feld Kategorie zuordnen. Wenn Ihre Daten eine Konfidenz-Spalte enthalten, können Sie sie dem Feld Konfidenz zuordnen.

Wenn Sie Bezeichnungen aus einem vorherigen Projekt importieren, müssen die Bezeichnungen im gleichen Format wie die von Ihnen erstellten Bezeichnungen vorliegen. Wenn Sie beispielsweise Begrenzungsfeldbeschriftungen erstellen, müssen die importierten Bezeichnungen auch Begrenzungsfeldbeschriftungen sein.

Erstellen eines Datasets aus einem Azure-Datenspeicher

In vielen Fällen können Sie lokale Dateien hochladen. Azure Storage-Explorer bietet jedoch eine schnellere und stabilere Methode zum Übertragen großer Datenmengen. Es wird empfohlen, Storage-Explorer als Standardmethode zum Verschieben von Dateien zu verwenden.

So erstellen Sie ein Dataset aus Daten, die Sie bereits in einem Blob Storage gespeichert haben:

1. Klicken Sie auf Erstellen.
2. Geben Sie unter Name einen Namen für Ihr Dataset ein. Geben Sie optional eine Beschreibung ein.
3. Stellen Sie sicher, dass Datasettyp auf Datei festgelegt ist. Für Bilder werden nur Dateien als Datasettypen unterstützt.
4. Wählen Sie Weiter aus.
5. Wählen Sie Aus Azure-Speicher und dann Weiter aus.
6. Wählen Sie den Datenspeicher und dann Weiter aus.
7. Wenn sich Ihre Daten in einem Unterordner innerhalb von Blob Storage befinden, wählen Sie Durchsuchen aus, um den Pfad auszuwählen.
   • Fügen Sie /** an den Pfad an, um alle Dateien in den Unterordnern des ausgewählten Pfads einzubeziehen.
   • Fügen Sie **/*.* an den Pfad an, um alle Daten im aktuellen Container und seinen Unterordnern einzubeziehen.
8. Klicken Sie auf Erstellen.
9. Wählen Sie die von Ihnen erstellte Datenressource aus.

Erstellen eines Datasets aus hochgeladenen Daten

Direktes Hochladen Ihrer Daten:

1. Klicken Sie auf Erstellen.
2. Geben Sie unter Name einen Namen für Ihr Dataset ein. Geben Sie optional eine Beschreibung ein.
3. Stellen Sie sicher, dass Datasettyp auf Datei festgelegt ist. Für Bilder werden nur Dateien als Datasettypen unterstützt.
4. Wählen Sie Weiter aus.
5. Wählen Sie Aus lokalen Dateien und dann Weiter aus.
6. (Optional) Wählen Sie einen Datenspeicher aus. Sie können auch die Standardeinstellung belassen, um in den Standardblobspeicher (workspaceblobstore) Ihres Machine Learning-Arbeitsbereichs hochladen.
7. Wählen Sie Weiter aus.
8. Wählen Sie Hochladen>Dateien hochladen oder Hochladen>Ordner hochladen aus, um die lokalen Dateien oder Ordner auszuwählen, die hochgeladen werden sollen.
9. Suchen Sie im Browserfenster nach Ihren Dateien oder Ordnern, und wählen Sie dann Öffnen aus.
10. Wählen Sie weiterhin Hochladen aus, bis Sie alle Ihre Dateien und Ordner angegeben haben.
11. Optional können Sie das Kontrollkästchen Überschreiben, wenn bereits vorhanden aktivieren. Überprüfen Sie die Liste der Dateien und Ordner.
12. Wählen Sie Weiter aus.
13. Bestätigen Sie die Informationen. Wählen Sie Zurück aus, um Einstellungen zu ändern, oder Erstellen aus, um das Dataset zu erstellen.
14. Wählen Sie abschließend die von Ihnen erstellte Datenressource aus.

Konfigurieren inkrementeller Aktualisierungen

Wenn Sie dem Dataset neue Datendateien hinzufügen möchten, verwenden Sie die inkrementelle Aktualisierung, um Ihrem Projekt die Dateien hinzuzufügen.

Wenn die Option Inkrementelle Aktualisierung in regelmäßigen Abständen aktivieren festgelegt ist, wird das Dataset auf der Grundlage der Vervollständigungsrate der Beschriftung regelmäßig auf neue Dateien überprüft, die einem Projekt hinzugefügt werden sollen. Die Überprüfung auf neue Daten wird beendet, wenn das Projekt die Obergrenze von 500.000 Dateien erreicht.

Wählen Sie das Kontrollkästchen Inkrementelle Aktualisierung in regelmäßigen Abständen aktivieren aus, wenn das Projekt den Datenspeicher kontinuierlich auf neue Daten überwachen soll.

Deaktivieren Sie diese Option, wenn neue Dateien im Datenspeicher dem Projekt nicht automatisch hinzugefügt werden sollen.

Nachdem das Projekt erstellt wurde, verwenden Sie die Registerkarte Details, um die inkrementelle Aktualisierung zu ändern, den Zeitstempel für die letzte Aktualisierung anzuzeigen und eine sofortige Aktualisierung der Daten anzufordern.

Angeben von Beschriftungsklassen

Auf der Seite Bezeichnungskategorien geben Sie einen Satz von Klassen zum Kategorisieren Ihrer Daten an.

Die Genauigkeit und Geschwindigkeit Ihrer Bezeichnungsersteller wird durch ihre Möglichkeit der Auswahl zwischen den Klassen beeinflusst. Beispiel: Anstatt Gattung und Art von Pflanzen oder Tieren vollständig anzugeben, wird empfohlen, einen Feldcode zu verwenden oder die Gattung abzukürzen.

Sie können entweder eine flache Liste verwenden oder Gruppen von Bezeichnungen erstellen.

• Um eine flache Liste zu erstellen, wählen Sie Bezeichnungskategorie hinzufügen aus, um die einzelnen Bezeichnungen zu erstellen.

  

• Um Bezeichnungen in verschiedenen Gruppen zu erstellen, wählen Sie Bezeichnungskategorie hinzufügen aus, um die Bezeichnungen der obersten Ebene zu erstellen. Wählen Sie dann unter jeder obersten Ebene das Pluszeichen (+) aus, um die nächste Bezeichnungsebene für diese Kategorie zu erstellen. Sie können bis zu sechs Ebenen für jede Gruppierung erstellen.

  

Sie können Bezeichnungen während des Taggingprozesses auf jeder Ebene auswählen. Beispielsweise sind die Bezeichnungen Animal, Animal/Cat, Animal/Dog, Color, Color/Black, Color/Whiteund Color/Silver alle verfügbaren Optionen für eine Bezeichnung. In einem Projekt mit mehreren Bezeichnungen muss nicht von jeder Kategorie eine ausgewählt werden. Wenn dies Ihre Absicht ist, nehmen Sie diese Informationen in Ihre Anweisungen auf.

Beschreiben der Bildbeschriftungsaufgabe

Es ist wichtig, die Beschriftungsaufgabe genau zu erläutern. Auf der Seite Beschriftungsanweisungen können Sie einen Link zu einer externen Website mit Beschriftungsanweisungen hinzufügen, oder Sie können Anweisungen im Bearbeitungsfeld auf der Seite bereitstellen. Stellen Sie Anweisungen bereit, die aufgabenorientiert und für die Zielgruppe geeignet sind. Stellen Sie sich die folgenden Fragen:

• Welche Bezeichnungen sehen die Beschriftungsersteller, und wie treffen sie ihre Auswahl? Gibt es einen Referenztext, auf den man sich beziehen kann?
• Was sollen sie tun, wenn keine Beschriftung geeignet erscheint?
• Was sollen sie tun, wenn mehrere Beschriftungen geeignet erscheinen?
• Welchen Konfidenzschwellenwert sollen sie einer Beschriftung zuweisen? Möchten Sie die beste Schätzung des Beschriftungserstellers, wenn er sich nicht sicher ist?
• Was sollen sie tun, wenn interessante Objekte teilweise verdeckt sind oder sich überlappen?
• Was sollen sie tun, wenn ein interessantes Objekt am Bildrand abgeschnitten ist?
• Was sollen sie tun, wenn sie glauben, dass sie einen Fehler gemacht haben, nachdem sie eine Bezeichnung eingereicht haben?
• Wie sollten sie vorgehen, wenn sie Probleme mit der Bildqualität entdecken, einschließlich schlechte Beleuchtungsbedingungen, Reflexionen, Fokusverlust, unerwünschte Hintergründe, ungewöhnliche Kamerawinkel und weitere?
• Was sollten sie tun, wenn mehrere Prüfer unterschiedliche Meinungen zum Anwenden einer Bezeichnung haben?

Für Begrenzungsrahmen stellen sich folgende wichtige Fragen:

• Wie wird der Begrenzungsrahmen für diese Aufgabe definiert? Soll er vollständig im Inneren des Objekts verbleiben, oder soll er sich auf der Außenseite befinden? Soll er so weit wie möglich zugeschnitten werden, oder ist ein gewisser Spielraum akzeptabel?
• Welches Maß an Sorgfalt und Konsistenz erwarten Sie von den Beschriftungserstellern beim Definieren von Begrenzungsrahmen?
• Wie lautet die visuelle Definition der jeweiligen Bezeichnungsklasse? Können Sie eine Liste der normalen, Edge- und Indikatorfälle für jede Klasse bereitstellen?
• Was sollten die Bezeichner tun, wenn das Objekt klein ist? Sollte es als Objekt bezeichnet werden, oder sollten sie dieses Objekt als Hintergrund ignorieren?
• Wie sollten Beschriftungsersteller ein Objekt behandeln, das nur teilweise im Bild angezeigt ist?
• Wie sollten Beschriftungsersteller ein Objekt behandeln, das teilweise von einem anderen Objekt verdeckt wird?
• Wie sollten Beschriftungsersteller ein Objekt behandeln, das keine klare Grenze aufweist?
• Wie sollten Beschriftungsersteller ein Objekt behandeln, das nicht der Objektklasse von Interesse angehört, aber visuelle Ähnlichkeiten mit einem relevanten Objekttyp aufweist?

Qualitätslenkung (Vorschau)

Um genauere Bezeichnungen zu erhalten, verwenden Sie die Seite Qualitätslenkung, um jedes Element an mehrere Bezeichnungsersteller zu senden.

Wählen Sie Aktivieren der Konsensbeschriftung (Vorschau) aus, damit jedes Element an mehrere Beschriftungsersteller gesendet wird. Legen Sie dann die Werte für Mindestanzahl von Beschriftungsersteller und Höchstzahl von Beschriftungsersteller fest, um anzugeben, wie viele Beschriftungsersteller verwendet werden sollen. Stellen Sie sicher, dass die Höchstzahl von Beschriftungserstellern verfügbar ist. Sie können diese Einstellungen nach dem Start des Projekts nicht mehr ändern.

Wenn bei der Mindestanzahl von Bezeichnungserstellern ein Konsens erzielt wird, wird das Element bezeichnet. Wenn kein Konsens erreicht wird, wird das Element an weitere Beschriftungsersteller gesendet. Wenn kein Konsens besteht, nachdem das Element an die Höchstzahl von Beschriftungserstellern gesendet worden ist, ist sein Status Review erforderlich, und der Projektbesitzer ist für die Beschriftung des Elements verantwortlich.

Verwenden der ML-gestützten Datenbeschriftung

Auf der Seite ML-unterstützte Beschriftung können Sie automatische Machine Learning-Modelle auslösen, um Beschriftungsaufgaben zu beschleunigen. Medizinische Bilder (Dateien mit der Erweiterung .dcm) sind in der unterstützten Beschriftung nicht enthalten. Wenn der Projekttyp die Semantiksegmentierung (Vorschau) ist, ist die ML-unterstützte Bezeichnung nicht verfügbar.

Zu Beginn Ihres Beschriftungsprojekts werden die Elemente in eine zufällige Reihenfolge gebracht, um potenzielle Verzerrungen zu verringern. Das trainierte Modell spiegelt jedoch alle Trends wider, die im Dataset vorhanden sind. Wenn es sich also beispielsweise bei 80 Prozent Ihrer Elemente um eine einzelne Klasse handelt, landen ungefähr 80 Prozent der Daten, die zum Trainieren des Modells verwendet werden, in dieser Klasse.

Wählen Sie ML-unterstützte Beschriftung aktivieren aus, und geben Sie eine GPU an, um die unterstützte Beschriftung zu aktivieren. Wenn Sie in Ihrem Arbeitsbereich noch nicht über eine GPU verfügen, wird ein GPU-Cluster (Ressourcenname: „DefLabelNC6v3“, VM-Größe: Standard_NC6s_v3) für Sie erstellt und Ihrem Arbeitsbereich hinzugefügt. Der Cluster wird mit einem Minimum von null Knoten erstellt, d. h. er kostet nichts, wenn er nicht verwendet wird.

Die ML-unterstützte Beschriftung umfasst zwei Phasen:

• Clustering
• Vorabbeschriftung

Die genaue Anzahl bezeichneter Datenelemente, die zum Starten der unterstützten Beschriftung erforderlich sind, ist keine feste Zahl. Dieser Wert kann zwischen Beschriftungsprojekten stark variieren. Bei manchen Projekten werden Clustering- oder Vorabbeschriftungsaufgaben nach der manuellen Beschriftung von 300 Elementen angezeigt. Die ML-unterstützte Beschriftung verwendet eine Technik, die als Lerntransfer bezeichnet wird. Lerntransfer verwendet ein vorab trainiertes Model, um den Trainingsprozess in Gang zu setzen. Wenn die Klassen Ihres Datasets den Klassen im vorab trainierten Modell ähneln, werden Vorabbezeichnungen möglicherweise nach nur wenigen hundert manuell bezeichneten Elementen verfügbar. Wenn sich Ihr Dataset erheblich von den Daten unterscheidet, die zum vorherigen Trainieren des Modells verwendet werden, wird der Prozess möglicherweise mehr Zeit in Anspruch nehmen.

Wenn Sie die Konsensbeschriftung verwenden, wird sie für das Training verwendet.

Da die abschließenden Bezeichnungen weiterhin von den Eingaben des Beschriftungserstellers abhängig sind, wird diese Technologie manchmal auch als Mensch in der Mitte-Beschriftung bezeichnet.

Clustering

Nach Übermittlung einiger Bezeichnungen beginnt das Machine Learning-Modell mit der Gruppierung ähnlicher Elemente. Diese ähnlichen Bilder werden Beschriftungserstellern auf derselben Seite präsentiert, um das manuelle Tagging effizienter zu gestalten. Das Clustering ist besonders nützlich, wenn der Beschriftungsersteller ein Raster von vier, sechs oder neun Bildern anzeigt.

Nachdem ein Machine Learning-Modell mit Ihren manuell bezeichneten Daten trainiert ist, wird das Modell auf seine letzte vollständig verbundene Ebene gekürzt. Nicht beschriftete Bilder durchlaufen dann das gekürzte Modell in einem Prozess, der in der Regel als Einbettung oder Featurisierung bezeichnet wird. Bei diesem Prozess wird jedes Bild in einen hochdimensionalen Raum eingebettet, den die Modellebene definiert. Andere Bilder im Raum, die dem Bild am nächsten sind, werden für Clusteringaufgaben verwendet.

Die Clusteringphase wird für Objekterkennungsmodelle oder die Textklassifizierung nicht angezeigt.

Vorabbeschriftung

Nachdem Sie genügend Bezeichnungen für das Training übermittelt haben, sagt entweder ein Klassifizierungsmodell Tags vorher, oder ein Objekterkennungsmodell sagt Begrenzungsrahmen vorher. Dem Beschriftungsersteller werden nun Seiten angezeigt, auf denen bereits vorhergesagte Beschriftungen für die einzelnen Elemente vorhanden sind. Bei der Objekterkennung werden auch vorhergesagte Rahmen angezeigt. Die Aufgabe umfasst das Überprüfen dieser Vorhersagen und das Korrigieren falsch bezeichneter Bilder vor der Seitenübermittlung.

Nachdem ein Machine Learning-Modell mit Ihren manuell bezeichneten Daten trainiert ist, wird es anhand eines Testsatzes manuell beschrifteter Elemente ausgewertet. Die Auswertung hilft dabei, die Genauigkeit des Modells an unterschiedlichen Konfidenzschwellenwerten zu bestimmen. Dieser Auswertungsprozess legt einen Konfidenzschwellenwert fest, über dem das Modell genau genug ist, um Vorabbezeichnungen anzuzeigen. Anschließend wird das Modell anhand von nicht beschrifteten Daten ausgewertet. Elemente mit Vorhersagen, die zuverlässiger sind als der Schwellenwert, werden für die Vorbeschriftung verwendet.

Initialisieren des Bildbeschriftungsprojekts

Nach dem Initialisieren das Beschriftungsprojekts sind einige Aspekte des Projekts unveränderlich. Sie können den Aufgabentyp oder das Dataset nicht ändern. Beschriftungen sowie die URL für die Aufgabenbeschreibung können dagegen geändert werden. Überprüfen Sie die Einstellungen sorgfältig, bevor Sie das Projekt erstellen. Nachdem Sie das Projekt übermittelt haben, kehren Sie zur Übersichtsseite für die Datenbeschriftung zurück, auf der das Projekt als Wird initialisiert angezeigt wird.

Problembehandlung

Wenn Sie Probleme beim Erstellen eines Projekts oder beim Zugreifen auf Daten haben, finden Sie weitere Informationen unter Problembehandlung bei der Datenbeschriftung.

Zugehöriger Inhalt

• Verwalten von Bezeichnungsprojekten
• Markieren von Bildern