物体検出の分析情報を取得する

  • [アーティクル]

オブジェクトの検出

Azure AI Video Indexer は、自動車、バッグ、バックパック、ノート PC などのビデオ内のオブジェクトを検出します。

サポート対象のオブジェクト

  • airplane
  • apple
  • リュックサック
  • banana
  • 野球のグローブ
  • ベッド
  • ベンチ
  • 自転車
  • boat
  • 本
  • ボトル
  • Excel
  • ブロッコリー
  • bus
  • ケーキ
  • car
  • ニンジン
  • 携帯電話
  • 椅子
  • clock
  • コンピューターのマウス
  • ソファ
  • cup
  • ダイニング テーブル
  • ドーナツ
  • 消火栓
  • フォーク
  • フリスビー
  • ヘアドライヤー
  • ハンドバッグ
  • ホットドッグ
  • keyboard
  • 凧
  • knife
  • laptop
  • 電子レンジ
  • motorcycle
  • コンピューターのマウス
  • ネクタイ
  • orange
  • oven
  • パーキング メーター
  • pizza
  • 鉢植え
  • sandwich
  • scissors
  • シンク
  • スケートボード
  • スキー
  • スノーボード
  • スプーン
  • スポーツのボール
  • 一時停止標識
  • スーツケース
  • サーフボード
  • テディベア
  • テニス ラケット
  • toaster
  • toilet
  • 歯ブラシ
  • 信号機
  • トレーニング
  • 傘
  • 花瓶
  • ワイン グラス

Web ポータルで分析情報 JSON を表示する

ビデオをアップロードしてインデックスを作成すると、Web ポータルを使用してダウンロードするための JSON 形式で分析情報を入手できます。

  1. Library タブを選択します。
  2. 操作するメディアを選択します。
  3. ダウンロードを選択し、Insights (JSON)を選択します。 JSON ファイルが新しいブラウザー タブで開きます。
  4. 応答例で説明されているキー ペアを探します。

API の使用

  1. Get Video Index 要求を使用します。 &includeSummarizedInsights=false渡すことをお勧めします。
  2. 応答例で説明されているキー ペアを探します。

応答の例

検出されたオブジェクトと追跡されたオブジェクトは、ダウンロードした insights.json ファイルの [検出されたオブジェクト] の下に表示されます。 一意の物体が検出されるたびに、その物体に ID が付けられます。 また、その物体は追跡されます。つまり、検出された物体が再度フレームに表示されないか、モデルによって監視されます。 再度表示されると、その物体のインスタンスに、開始時刻と終了時刻が異なる別のインスタンスが追加されます。

この例では、最初に自動車が検出されたとき、それは最初に検出された物体でもあったので、ID は 1 になりました。 その後、別の自動車が検出されたとき、それは 23 番目に検出された物体でした。したがって、その自動車の ID は 23 になりました。 その後、最初の車が再び表示され、別のインスタンスが JSON に追加されました。 結果の JSON を次に示します。

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]
Key 定義
ID メディア ファイル内で検出された物体の増分 ID 番号
Type 物体の種類 (例: 自動車)
ThumbnailID 単一の物体検出を表す GUID
displayName VI ポータル エクスペリエンスに表示される名前
WikiDataID WikiData 構造体の一意識別子
インスタンス 追跡されたすべてのインスタンスのリスト
信頼度 物体検出の信頼度を示す 0 ～ 1 のスコア
adjustedStart エディター使用時のビデオの調整済み開始時刻
adjustedEnd エディター使用時のビデオの調整済み終了時刻
start 物体がフレームに出現する時刻
終了 物体がフレームに表示されなくなる時刻

コンポーネント

オブジェクト検出用のコンポーネントは定義されていません。

透明性に関するメモ

重要

すべてのVI機能の トランスパレンシーノートの概要 を読む必要があります。 各分析情報には、独自の透明性に関するメモもあります。

  • 標準および高度な処理用にフレームあたり最大 20 個の検出があり、クラスあたり 35 トラックがあります。
  • 物体のサイズはフレームの 90% を超えてはなりません。 フレームの大部分に一貫してまたがっている非常に大きなオブジェクトは認識されない場合があります。
  • 小さいオブジェクトやぼやけたオブジェクトは、検出が困難な場合があります。 見逃されたり、誤って分類されたりする可能性があります (ワイングラス、カップ)。
  • 一時的で、ごく少数のフレームに表示されるオブジェクトは認識されない場合があります。
  • 物体検出の精度に影響を与える可能性のあるその他の要因には、低い光条件、カメラの動き、オクルージョンなどがあります。
  • Azure AI Video Indexer では、実際のオブジェクトのみがサポートされます。 アニメーションや CGI はサポートされません。 コンピューターで生成されたグラフィックス (ニュース ステッカーなど) は、奇妙な結果を生み出す可能性があります。
  • バインダー、パンフレット、その他の筆記資料は、"書籍" として検出される傾向があります。

サンプル コード

VIのすべてのサンプルを見る