カウント変換の構築

複数のデータセットに変換を適用できるように、カウントテーブルを特徴に変換する変換を作成します。

カテゴリ:カウントを含むラーニング

モジュールの概要

この記事では、Machine Learning Studio (クラシック) のカウント変換の構築モジュールを使用して、トレーニングデータを分析する方法について説明します。 このデータから、モジュールは カウントテーブル と、予測モデルで使用できる カウントベースの特徴 のセットを構築します。

カウントテーブルには、指定されたラベル列に対して、すべての特徴列の結合分布が含まれます。 このような統計は、最も情報の価値がある列を特定するのに役立ちます。 カウントベースの特性付け は、このような機能は元のトレーニングデータよりもコンパクトであるため便利ですが、最も有用な情報がすべてキャプチャされます。 モジュールパラメーターを使用すると、カウントを新しい一連の機能に変換する方法をカスタマイズできます。

カウントを生成し、それらを機能に変換した後、関連するデータに再利用するための変換として、プロセスを保存できます。 新しい数のセットを生成することなく、一連の機能を変更したり、カウントや機能を別の数や機能にマージしたりすることもできます。

カウントベースの機能を再利用して再適用する機能は、次のようなシナリオで役立ちます。

• データセットのカバレッジまたはバランスを改善するために、新しいデータが使用できるようになります。
• 元のカウントと機能は、再処理する必要のない非常に大きなデータセットに基づいていました。 新しいデータで更新できる数をマージします。
• 実験で使用しているすべてのデータセットに、同じカウントベースの機能セットが適用されていることを確認する必要があります。

ビルドカウント変換を構成する方法

カウントベースの特徴変換をデータセットから直接作成し、実験を実行するたびに再実行することができます。 または、カウントのセットを生成し、それを新しいデータとマージして、更新されたカウントテーブルを作成することもできます。

• データセットからカウントベースの特徴を作成する

  前にカウントを作成していない場合は、ここから開始します。 カウントテーブルを作成し、一連の機能を自動的に生成するには、カウント 変換の構築 モジュールを使用します。

  このプロセスでは、 変換の適用 モジュールを使用してデータセットに適用できる機能変換を作成します。

• 複数のデータセットのカウントと特徴のマージ

  以前のデータセットからカウントテーブルを既に生成している場合は、新しいデータだけにカウントを生成するか、以前のバージョンの Machine Learning で作成した既存のカウントテーブルをインポートします。 次に、カウントテーブルの2つのセットをマージします。

  このプロセスでは、 変換の適用 モジュールを使用してデータセットに適用できる新しい機能変換を作成します。

データセットからカウントベースの特徴を作成する

1. Machine Learning Studio (クラシック) で、[カウント変換のビルド] モジュールを実験に追加します。 モジュールは、[データ変換] の下の [カテゴリラーニング] の下にカウント付きで表示されます。

2. カウントベースの特徴の基礎として使用するデータセットを Connect します。

3. [ クラスの数 ] オプションを使用して、ラベル列の値の数を指定します。

   • 二項分類の問題については、「」と入力 2 します。
   • 2 つより多い出力を持つ可能性のある分類問題の場合、カウントするクラスの正確な数を事前に指定する必要があります。 実際のクラス数よりも小さい数値を入力すると、モジュールはエラーを返します。
   • データセットに複数のクラス値が含まれており、クラスラベル値が連続していない場合は、[ メタデータの編集 ] を使用して、列にカテゴリ値が含まれることを指定する必要があります。

4. オプションでは、 ハッシュ関数のビットは、値をハッシュするときに使用するビット数を示します。

   多くの場合、カウントする値が多いことがわかっていて、より高いビット数が必要である場合を除き、通常は既定値をそのまま使用してもかまいません。

5. ハッシュ関数のシードでは、必要に応じて、ハッシュ関数をシードする値を指定できます。 シードを手動で設定するのは、通常、同じ実験の実行全体でハッシュの結果が決定的であることを確認する場合に行います。

6. [ モジュールの種類 ] オプションを使用して、ストレージモードに基づいて、カウントするデータの種類を指定します。

   • データセット: Machine Learning Studio (クラシック) にデータセットとして保存されているデータをカウントする場合は、このオプションを選択します。

   • Blob: カウントの構築に使用されるソースデータが Windows Azure storage にブロック Blob として格納されている場合は、このオプションを選択します。

   • MapReduce: データを処理するために Map/Reduce 関数を呼び出す場合は、このオプションを選択します。

     このオプションを使用するには Windows Azure storage に新しいデータを blob として指定し、デプロイされた HDInsight クラスターへのアクセス権を持っている必要があります。 実験を実行すると、カウントを実行するために、Map/Reduce ジョブがクラスターで開始されます。

     非常に大規模なデータセットの場合は、可能な限りこのオプションを使用することをお勧めします。 HDInsight サービスの使用には追加コストが発生する場合もありますが、大規模データセットの計算は HDInsight で実行した方がより高速になる可能性があります。

     詳細については、「https://azure.microsoft.com/services/hdinsight/」を参照してください。

7. データストレージモードを指定したら、必要なデータの追加の接続情報を指定します。

   • Hadoop または blob ストレージのデータを使用している場合は、クラスターの場所と資格情報を指定します。
   • 実験で データのインポート モジュールを使用してデータにアクセスする場合は、アカウント名と資格情報を再入力する必要があります。 ビルドカウント変換モジュールは、データを読み取り、必要なテーブルを作成するために、データストレージに個別にアクセスします。

8. [ ラベル列またはインデックス] では、[ラベル] 列として1つの列を選択します。

   ラベル列が必要です。 列が既にラベルとしてマークされているか、エラーが発生しています。

9. オプションを使用して、 カウントする列を選択し、カウントを生成する列を選択します。

   一般に、高次元の列と、それらの列に関連付けられているその他の列を使用することをお勧めします。

10. カウントテーブルを格納するために使用する形式を指定するには、 count table type オプションを使用します。

    • Dictionary: 辞書カウントテーブルを作成します。 選択した列のすべての値は文字列として扱われ、31 ビット サイズまでのビット配列を使用してハッシュされます。 そのため、すべての列の値は負以外の 32 ビット整数で表されます。

      一般に、小さいデータセット (1 GB 未満) ではこのオプションを使用し、大規模なデータセットには CMSketch オプションを使用する必要があります。

      このオプションを選択した後、ハッシュ関数によって使用されるビット数を構成し、ハッシュ関数を初期化するためのシードを設定します。

    • CMSketch: カウント最小スケッチテーブルを作成します。 このオプションでは、メモリ効率を改善し、ハッシュの競合の可能性を低下させるために、より範囲の狭い、複数の独立したハッシュ関数が使用されます。 ハッシュのビットサイズとハッシュシードのパラメーターは、このオプションには影響しません。

11. 実験を実行します。

    モジュールは、変換の適用モジュールへの入力として使用できる特性付け変換を作成します。 変換の適用モジュールの出力は、モデルのトレーニングに使用できる変換されたデータセットです。

    カウントベースの特徴のセットを別のカウントベースの特徴にマージする場合は、必要に応じて変換を保存できます。 詳細については、「 Merge Count Transform」を参照してください。

複数のデータセットのカウントと特徴のマージ

1. Machine Learning Studio (クラシック) で、[カウント変換のビルド] モジュールを実験に追加し、追加する新しいデータを含むデータセットを接続します。

2. 新しいデータのソースを示すには、 Module type オプションを使用します。 さまざまなソースからのデータをマージできます。

   • データセット: 新しいデータが Machine Learning Studio (クラシック) でデータセットとして指定されている場合は、このオプションを選択します。

   • Blob: Windows Azure storage に新しいデータがブロック Blob として指定されている場合は、このオプションを選択します。

   • MapReduce: データを処理するために Map/Reduce 関数を呼び出す場合は、このオプションを選択します。

     このオプションを使用するには Windows Azure storage に新しいデータを blob として指定し、デプロイされた HDInsight クラスターへのアクセス権を持っている必要があります。 実験を実行すると、カウントを実行するために、Map/Reduce ジョブがクラスターで起動されます。

     詳細については、https://azure.microsoft.com/services/hdinsight/ を参照してください。

3. データストレージモードを指定した後、新しいデータに対して追加の接続情報を指定します。

   • Hadoop または blob ストレージのデータを使用している場合は、クラスターの場所と資格情報を指定します。

   • 実験で データのインポート モジュールを使用してデータにアクセスする場合は、アカウント名と資格情報を再入力する必要があります。 これは、データを読み取り、必要なテーブルを作成するために、 ビルドカウント変換 モジュールがデータストレージに個別にアクセスするためです。

4. カウントをマージする場合、次のオプションは両方のカウントテーブルでまったく同じである必要があります。

   • クラスの数
   • ハッシュ関数のビット
   • ハッシュ関数のシード
   • カウントする列の選択

   [ラベル] 列には、同じ数のクラスが含まれている限り、異なる値を指定できます。

5. [ テーブルの種類のカウント ] オプションを使用して、更新されたカウントテーブルの形式と変換先を指定します。

   ヒント

   マージする2つのカウントテーブルの形式は同じである必要があります。 つまり、 辞書 形式を使用して以前のカウントテーブルを保存した場合、 CMSketch 形式を使用して保存されたカウントと結合することはできません。

6. 実験を実行します。

   モジュールは、変換の適用モジュールへの入力として使用できる特性付け変換を作成します。 変換の適用モジュールの出力は、モデルのトレーニングに使用できる変換されたデータセットです。

7. カウントベースの既存の機能セットを使用してこの数のセットをマージするには、「 Merge Count Transform」を参照してください。

例

カウントアルゴリズムと、他の方法と比較したカウントベースのモデリングの有効性の詳細については、次の記事を参照してください。

• Azure ML を使用したクリックスルー予測モデルの構築
• 大きなラーニングはカウントを簡単に作成できます。

Azure AI Galleryの次の実験では、カウントベースの学習を使用してさまざまな予測モデルを構築する方法を示します。

• カウントを使用したラーニング-二項分類
• カウントのラーニング: NYC タクシーデータを使用した多クラスの分類
• カウント付きのラーニング: NYC タクシーデータを使用した二項分類

モジュールのパラメーター

次のパラメーターは、すべてのオプションで使用されます。

Blobオプションを選択するときは、次のオプションが適用されます。

次のパラメーターは、次のパラメーターを使用してMapReduceを生成するときに適用されます。

次のパラメーターは、count テーブルの形式を定義します。

出力

例外

Studio (クラシック) モジュール固有のエラーの一覧については、「 Machine Learning エラーコード」を参照してください。

API 例外の一覧については、「 Machine Learning REST API のエラーコード」を参照してください。

こちらもご覧ください

カウントを使用した学習