DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC構造体 (directml.h)

量子化されたデータに対して行列乗算関数を実行します。 この演算子は、数学的には、入力をデカンタイズしてから行列乗算を実行し、出力を量子化することと同じです。

この演算子を使用するには、行列乗算入力テンソルを 4D に設定する必要があります。これは として { BatchCount, ChannelCount, Height, Width }書式設定されます。 行列乗算演算子は、独立した行列乗算の BatchCount * ChannelCount 数を実行します。

たとえば、ATensor の{ BatchCount, ChannelCount, M, K }サイズが で、BTensor のサイズが で{ BatchCount, ChannelCount, K, N }、OutputTensor のサイズが の{ BatchCount, ChannelCount, M, N }場合、行列乗算演算子は、ディメンション {M,K} x {K,N} = {M,N} の BatchCount * ChannelCount 独立行列乗算を実行します。

Dequantize 関数

f(Input, Scale, ZeroPoint) = (Input - ZeroPoint) * Scale

クオンタイズ関数

f(Input, Scale, ZeroPoint) = clamp(round(Input / Scale) + ZeroPoint, Min, Max)

構文

struct DML_QUANTIZED_LINEAR_MATRIX_MULTIPLY_OPERATOR_DESC {
  const DML_TENSOR_DESC *ATensor;
  const DML_TENSOR_DESC *AScaleTensor;
  const DML_TENSOR_DESC *AZeroPointTensor;
  const DML_TENSOR_DESC *BTensor;
  const DML_TENSOR_DESC *BScaleTensor;
  const DML_TENSOR_DESC *BZeroPointTensor;
  const DML_TENSOR_DESC *OutputScaleTensor;
  const DML_TENSOR_DESC *OutputZeroPointTensor;
  const DML_TENSOR_DESC *OutputTensor;
};

メンバー

ATensor

型: const DML_TENSOR_DESC*

A データを含むテンソル。 このテンソルの次元は である { BatchCount, ChannelCount, M, K }必要があります。

AScaleTensor

型: const DML_TENSOR_DESC*

ATensor スケール データを含むテンソル。 の予想される次元 AScaleTensor は、 { 1, 1, 1, 1 } テンソル量子化ごとが必要な場合、または { 1, 1, M, 1 } 行単位の量子化が必要な場合です。 これらのスケール値は、A 値をデカンタイズするために使用されます。

AZeroPointTensor

型: _Maybenull_ const DML_TENSOR_DESC*

ATensor ゼロ ポイント データを含む省略可能なテンソル。 AZeroPointTensor の予想される次元は、 { 1, 1, 1, 1 } テンソル単位の量子化が必要な場合、または { 1, 1, M, 1 } 行単位の量子化が必要な場合です。 これらのゼロポイント値は、ATensor 値をデカンタイズするために使用されます。

BTensor

型: const DML_TENSOR_DESC*

B データを含むテンソル。 このテンソルの次元は である { BatchCount, ChannelCount, K, N }必要があります。

BScaleTensor

型: const DML_TENSOR_DESC*

BTensor スケール データを含むテンソル。 の予想される次元 BScaleTensor は、 { 1, 1, 1, 1 } テンソル量子化が必要な場合、または { 1, 1, 1, N } 列単位の量子化が必要な場合です。 これらのスケール値は、 BTensor 値をデカンタイズするために使用されます。

BZeroPointTensor

型: _Maybenull_ const DML_TENSOR_DESC*

BTensor ゼロ ポイント データを含む省略可能なテンソル。 の予想される次元 BZeroPointTensor は、 { 1, 1, 1, 1 } テンソル量子化が必要な場合、または { 1, 1, 1, N } 列単位の量子化が必要な場合です。 これらのゼロ ポイント値は、 BTensor 値をデカンタイズするために使用されます。

OutputScaleTensor

型: const DML_TENSOR_DESC*

OutputTensor スケール データを含むテンソル。 の予想される次元 OutputScaleTensor は、 { 1, 1, 1, 1 } テンソル単位の量子化が必要な場合、または { 1, 1, M, 1 } 行ごとの量子化が必要な場合です。 このスケール値は、 OutputTensor 値をデカンタイズするために使用されます。

OutputZeroPointTensor

型: _Maybenull_ const DML_TENSOR_DESC*

OutputTensor ゼロ ポイント データを含む省略可能なテンソル。 の予想される次元 OutputZeroPointTensor は、 { 1, 1, 1, 1 } テンソル単位の量子化が必要な場合、または { 1, 1, M, 1 } 行ごとの量子化が必要な場合です。 このゼロ ポイント値は、 OutputTensor 値をデカンタイズするために使用されます。

OutputTensor

型: const DML_TENSOR_DESC*

結果を書き込むテンソル。 このテンソルのディメンションは です { BatchCount, ChannelCount, M, N }。

可用性

この演算子は で DML_FEATURE_LEVEL_2_1導入されました。

テンソル制約

• AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor、 および OutputZeroPointTensor は、同じ DimensionCount を持つ必要があります。
• ATensor、 BTensor、 および OutputTensor には、同じ DimensionCount が必要です。
• BTensor と BZeroPointTensor には、同じ DataType が必要です。
• OutputTensor と OutputZeroPointTensor には、同じ DataType が必要です。
• AScaleTensor、 AZeroPointTensor、 BScaleTensor、 BZeroPointTensor、 OutputScaleTensor、 および OutputZeroPointTensor は、同じ DimensionCount を持つ必要があります。
• ATensor と AZeroPointTensor には、同じ DataType が必要です。

Tensor のサポート

DML_FEATURE_LEVEL_4_0以上

DML_FEATURE_LEVEL_2_1以上

要件