ラベル付けプロジェクトを管理する

  • [アーティクル]

Azure Machine Learning でラベル付けプロジェクトを管理する方法について説明します。 この記事の対象者は、テキストまたは画像のラベル付けプロジェクトの管理を担当するプロジェクト マネージャーです。 プロジェクトの作成方法については、テキスト ラベル付けプロジェクトの設定に関する記事または「画像ラベル付けプロジェクトを設定する」をご覧ください。

重要

この記事で "(プレビュー)" と付記されている項目は、現在、パブリック プレビュー段階です。 プレビュー バージョンはサービス レベル アグリーメントなしで提供されています。運用環境のワークロードに使用することはお勧めできません。 特定の機能はサポート対象ではなく、機能が制限されることがあります。 詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

プロジェクトを実行して監視する

プロジェクトを初期化すると、Azure によって実行が開始されます。 プロジェクトを管理するには、メインの [データのラベル付け] ページでプロジェクトを選びます。

プロジェクトを一時停止または再起動するには、プロジェクトのコマンド バーで [実行中] の状態を切り替えます。 データにラベルを付けることができるのは、プロジェクトが実行されているときだけです。

進行状況の監視

[ダッシュボード] タブに、ラベル付けタスクの進行状況が表示されます。

[データのラベル付け] ダッシュボードを示すスクリーンショット。

進行状況のグラフでは、ラベル付けされた項目、スキップされた項目、レビューが必要な項目、まだ完了されていない項目の数が示されます。 グラフの上にカーソルを合わせると、各セクションの項目数が表示されます。

グラフの下に、完了したタスクのラベルの分布が表示されます。 プロジェクトの種類によっては、1 つの項目に複数のラベルを付けることができます。 ラベルの合計数が項目の合計数を超える場合があります。

ラベラーの分布と、それらがラベル付けした項目の数も示されます。

中央のセクションに、割り当てられていないタスクのキューを含むテーブルが表示されます。 支援付き機械学習ラベル付けが無効になっている場合、このセクションには割り当てを待っている手動タスクの数が表示されます。

支援付き機械学習ラベル付けが有効な場合、このセクションには次の内容も表示されます。

  • キュー内のクラスター化された項目を含むタスク。
  • 事前にラベル付けされた項目がキューに含まれるタスク。

また、支援付き機械学習ラベル付けを有効にした場合は、下にスクロールして、支援付き機械学習ラベル付けの状態を確認することができます。 [ジョブ] セクションに、機械学習の各実行のリンクが用意されています。

  • トレーニング: ラベルを予測できるようにモデルをトレーニングします。
  • 検証: 項目の事前ラベル付けでこのモデルの予測が使われているかどうかを確認します。
  • 推論: 新しい項目について予測を実行します。
  • 特徴量化: 項目をクラスター化します (画像の分類プロジェクトの場合のみ)。

データとラベルを確認する

[データ] タブでは、データセットをプレビューして、ラベル付けされたデータを確認します。

ヒント

レビューする前に、他のレビュー担当者と調整を行ってください。 調整を行わないことにより、同じラベルを二人が同時に承認しようとして、どちらかが更新できないことがあります。

ラベルを表示するには、ラベル付けされたデータをスクロールします。 間違ってラベル付けされたデータが表示された場合は、それを選んで [拒否] を選ぶことで、ラベルを削除し、データをラベルなしのキューに戻すことができます。

スキップされた項目

一連のフィルターが、レビューしている項目に適用されます。 既定では、ラベル付けされたデータをレビューします。 スキップされた項目を確認するには、[資産の種類] フィルターを選んで種類を *[スキップ済み] に切り替えます。

スクリーンショットは、ラベルを確認するためのフィルターを示しています。

スキップされたデータにラベルを付ける必要があると思われる場合は、[拒否] を選んでラベル付けされていないキューに戻します。 スキップされたデータがプロジェクトに関係ないと思う場合は、[承諾] を選んでプロジェクトから削除します。

合意ラベル付け

プロジェクトで合意によるラベル付けを使っている場合は、合意のない画像を確認します。

  1. [データ] タブを選択します。

  2. 左側のメニューで [ラベルの確認] を選択します。

  3. [ラベルの確認] の上にあるコマンド バーで、[すべてのフィルター] を選択します。

    合意ラベルの問題を確認するためのフィルターを選択する方法を示したスクリーンショット。

  4. [ラベル付きデータポイント] で [確認する必要がある合意ラベル] を選び、ラベラーが合意に至らなかった画像のみを表示します。

    レビューが必要なラベルを選択する方法を示すスクリーンショット。

  5. 確認する画像ごとに、[合意ラベル] ドロップダウンを選び、競合するラベルを表示します。

    [コンセンサス ラベル] ドロップダウンを選択して、競合するラベルを確認しているスクリーンショット。

  6. 個々のラベラーを選んでそのラベルのみを表示できますが、ラベルを更新または拒否するには、一番上の選択肢である [合意ラベル (プレビュー)] を使用する必要があります。

プロジェクトの詳細を変更する

[の詳細] タブで、プロジェクトの詳細の表示と変更を行います。このタブでは、次のことができます。

  • プロジェクトの詳細と入力データセットを表示します。
  • [一定の間隔での増分更新を有効にする] を選択するか、解除します。または、即時更新を要求します。
  • プロジェクトでのラベル付きの出力を格納するために使用するストレージ コンテナーの詳細を表示します。
  • プロジェクトにラベルを追加します。
  • ラベルに付ける指示を編集します。
  • 支援付き機械学習ラベル付けの設定を変更し、ラベル付けタスクを開始します。

Azure AI サービスで作成されたプロジェクト

ラベル付けプロジェクトが Vision Studio または Language Studio から作成された場合は、[詳細] ページに追加のタブが表示されます。 このタブでは、Azure Machine Learning でのラベル付けと、Vision Studio または Language Studio でのラベル付けを切り替えることができます。

プロジェクトが Vision Studio から作成された場合は、[Vision Studio] タブも表示されます。[Vision Studio に移動する] を選択して Vision Studio に戻ります。 Vision Studio に戻ると、ラベルの付いたデータをインポートできるようになります。

プロジェクトに新しいラベルを追加する

データのラベル付けプロセスの間、項目を分類する目的で追加するラベルを増やしたいと思うかもしれません。 たとえば、"不明" や "その他" など、あいまいなラベルを追加することがあります。

プロジェクトに 1 つ以上のラベルを追加するには、次の手順に従います。

  1. メインの [データのラベル付け] ページでプロジェクトを選択します。

  2. プロジェクトのコマンド バーで、状態を [実行中] から [一時停止] に切り替えて、ラベル付けアクティビティを停止します。

  3. [詳細] タブを選択します。

  4. 左側の一覧で、[ラベル カテゴリ] を選択します。

  5. ラベルを変更します。

    Machine Learning Studio でラベルを追加する方法を示すスクリーンショット。

  6. フォームで、新しいラベルを追加します。 次に、プロジェクトを続行する方法を選択します。 使用できるラベルを変更したので、既にラベル付けされたデータの処理方法を選びます。

    • 既存のすべてのラベルを削除して最初からやり直します。 新たに追加されたすべてのラベルを使用して最初からラベル付けしたい場合は、このオプションを選択します。
    • 既存のすべてのラベルを保持したまま最初からやり直します。 すべてのデータをまだラベル付けされていないものとしてマークしたうえで、過去にラベル付けされた画像について、既存のラベルを既定のタグとして保持する場合は、このオプションを選択します。
    • 既存のすべてのラベルを保持したまま続行します。 既にラベル付けされたデータはすべてそのまま維持し、まだラベル付けされていないデータについては、新しいラベルを使用し始めます。

  7. 新しいラベルの指示ページを必要に応じて変更します。

  8. 新しいラベルをすべて追加したら、[一時停止] を [実行中] に切り替えて、プロジェクトを再開します。

支援付き機械学習ラベル付けタスクを開始する

支援付き機械学習ラベル付けは、いくつかの項目がラベル付けされた後、自動的に開始します。 この自動しきい値は、プロジェクトによって異なります。 いくつかのラベル付けされたデータがプロジェクトに含まれていれば、支援付き機械学習トレーニングの実行を手動で開始できます。

注意

オンデマンド トレーニングは、2022 年 12 月より前に作成されたプロジェクトでは使用できません。 この機能を使用するには、新しいプロジェクトを作成します。

新しい支援付き機械学習トレーニングの実行を開始するには、次の手順を実行します。

  1. プロジェクトの上部で [詳細] を選択します。
  2. 左側のメニューで [支援付き機械学習ラベル付け] を選択します。
  3. ページの下部付近にある [オンデマンド トレーニング] で、[開始] を選択します。

ラベルをエクスポートする

ラベルをエクスポートするには、プロジェクトのコマンド バーで [エクスポート] ボタンを選びます。 いつでも、Machine Learning の実験用にラベル データをエクスポートできます。

プロジェクトの種類がセマンティック セグメント化 (プレビュー) の場合は、Azure MLTable データ資産が作成されます。

他のすべてのプロジェクトの種類では、画像ラベルを次のようにエクスポートできます。

  • CSV ファイル。 Azure Machine Learning により、Labeling/export/csv 内のフォルダーに CSV ファイルが作成されます。
  • COCO 形式ファイル。 Azure Machine Learning により、Labeling/export/coco 内のフォルダーに COCO ファイルが作成されます。
  • ラベル付き Azure Machine Learning データセット。
  • CSV ファイル。 Azure Machine Learning により、Labeling/export/csv 内のフォルダーに CSV ファイルが作成されます。
  • COCO 形式ファイル。 Azure Machine Learning により、Labeling/export/coco 内のフォルダーに COCO ファイルが作成されます。
  • Azure MLTable データ資産。

CSV または COCO ファイルをエクスポートすると、ファイルをダウンロードする準備ができたときに、通知が短時間表示されます。 [ファイルのダウンロード] リンクを選び、結果をダウンロードします。 通知は、上部のバーの [通知] セクションにも表示されます。

ファイルのダウンロードの通知を示すスクリーンショット。

エクスポートした Azure Machine Learning データセットとデータ資産には、Machine Learning の [データセット] セクションでアクセスします。 また、データの詳細ページには、Python でラベルにアクセスするために使用できるサンプル コードも用意されています。

Machine Learning のデータセットの詳細ページの例を示すスクリーンショット。

ラベル付きデータを Azure Machine Learning データセットにエクスポートした後、AutoML を使って、ラベル付きデータでトレーニングされたコンピューター ビジョン モデルを作成できます。 詳しくは、Python でコンピューター ビジョン モデルをトレーニングするための AutoML の設定に関する記事をご覧ください

ラベルをインポートする (プレビュー)

現在のデータに対するラベルを含む Azure MLTable データ資産または COCO ファイルがある場合は、これらのラベルをプロジェクトにインポートできます。 たとえば、同じデータを使っている以前のラベル付けプロジェクトからエクスポートされたラベルがあるとします。 ラベルのインポート機能は、画像プロジェクトでのみ使用できます。

ラベルをインポートするには、プロジェクトのコマンド バーで [インポート] ボタンを選びます。 いつでも、Machine Learning の実験用にラベル付けされたデータをインポートできます。

COCO ファイルまたは Azure MLTable データ資産からインポートします。

データ マッピング

[画像] フィールドにマップする列を指定する必要があります。 必要に応じて、データに存在する他の列をマップすることもできます。 たとえば、データに [ラベル] 列が含まれている場合は、それを [カテゴリ] フィールドにマップできます。 データに [信頼度] 列が含まれている場合は、それを [信頼度] フィールドにマップできます。

前のプロジェクトからラベルをインポートする場合、ラベルは、作成するラベルと同じ形式にする必要があります。 たとえば、境界ボックス ラベルを作成する場合は、インポートするラベルも境界ボックス ラベルである必要があります。

インポート オプション

インポートしたラベルの処理方法を選択します。

  • 事前ラベル付けデータとして - インポートしたラベルを事前ラベル付けデータとして使用するには、このオプションを選択します。 その後、ラベラーが事前ラベル付けデータをレビューし、エラーがあればラベルの提出前に修正できます。
  • 最終的なラベルとして - ラベルを最終的なラベルとしてインポートするには、このオプションを選択します。 ラベルがまだ含まれていないデータのみがタスクとしてラベラーに提示されます。

ラベラー用のアクセス権

お客様のワークスペースへの共同作成者または所有者のアクセス権を持つユーザーはいずれも、お客様のプロジェクト内のデータにラベルを付けることができます。

また、ユーザーを追加し、アクセス許可をカスタマイズすることで、それらがラベル付けにはアクセスできるが、ワークスペースまたはお客様のラベル付けプロジェクトの他の部分にはアクセスできないようにすることもできます。 詳細については、「データ ラベル付けプロジェクトにユーザーを追加する」を参照してください。

問題のトラブルシューティング

プロジェクトの管理中に次のいずれかの問題が発生した場合は、これらのヒントを使用します。

問題 解決方法
BLOB データストアに作成されたデータセットしか使用できない。 この問題は、現在のリリースでの既知の制限です。
プロジェクトで使用するデータセットからデータを削除すると、プロジェクトでエラーが発生します。 ラベル付けプロジェクトで使用したデータセットのバージョンからデータを削除しないでください。 使用するデータセットの新しいバージョンを作成して、データを削除してください。
プロジェクトが作成さた後、プロジェクトの状態が長時間 [初期化中] である。 ページを手動で最新の情報に更新してください。 初期化は、1 秒あたり約 20 データ ポイントの速度で完了します。 自動更新しないのは、既知の問題です。
新しくラベル付けされた項目がデータ レビューで表示されない。 ラベル付けされたすべての項目を読み込むには、[初回] ボタンを選択します。 [初回] ボタンを選択すると、リストの先頭に戻りますが、ラベル付けされたデータはすべて読み込まれます。
特定のラベラーに一連のタスクを割り当てることができない。 この問題は、現在のリリースでの既知の制限です。

オブジェクト検出のトラブルシューティング

問題 解像度
オブジェクト検出用にラベルを付けるときに Esc キーを選択すると、サイズが 0 のラベルが作成され、ラベルの送信は失敗します。 ラベルを削除するには、ラベルの横にある [X] 削除アイコンを選択します。

プロジェクトの作成に問題がある場合は、「データ ラベル付けプロジェクトの作成時の問題のトラブルシューティング」を参照してください

次のステップ

画像とテキスト ドキュメントにラベルを付ける