LearningModelSessionOptions.BatchSizeOverride Eigenschaft
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Ein numerischer Wert, der einen Überschreibungswert für konstante Batchgröße für das Zielmodell angibt.
public:
property unsigned int BatchSizeOverride { unsigned int get(); void set(unsigned int value); };uint32_t BatchSizeOverride();
void BatchSizeOverride(uint32_t value);public uint BatchSizeOverride { get; set; }var uInt32 = learningModelSessionOptions.batchSizeOverride;
learningModelSessionOptions.batchSizeOverride = uInt32;Public Property BatchSizeOverride As UIntegerEigenschaftswert
Die konstante Batchgröße für Modelleingaben Featurewerte, die von Aufrufen von Bind erwartet werden. Der Standardwert für BatchSizeOverride ist 1, was eine statische Batchgröße von 1 angibt.
Hinweise
Mit der Option BatchSizeOverride kann der Modellcompiler beim Einrichten der LearningModelSession konstante Optimierungen der Batchgröße verwenden.
Durch Festlegen der BatchSizeOverride-Optionen sind die Batchgrößen für alle Eingaben für die Sitzung auf den angegebenen BatchSizeOverride-Wert beschränkt.
Ein BatchSizeOverride = 0 gibt an, dass die im Modell vorhandene Batchgröße ohne Änderung berücksichtigt werden soll.
BatchSizeOverride> 0 gibt die Batchgröße an, die verwendet wird, um die Modellbatchgröße zu überschreiben und Auswertungen zu optimieren.
Wenn Modellauswertungen immer die gleiche Batchgröße verwenden, kann die Leistung verbessert werden, indem BatchSizeOverride auf die erwartete Batchgröße festgelegt wird.
Durch Festlegen des BatchSizeOverride-Parameters wird die Eingabebatchgröße des Modells auf eine konstante Batchgröße beschränkt, und es werden Modellcompileroptimierungen aktiviert, die die Laufzeitleistung von Evaluate-Aufrufen verbessern können.
Wenn das Rückschlussmodell so konzipiert ist, dass es eine beliebige Batchgröße akzeptiert, kann der BatchSizeOverride-Parameter verwendet werden, um Batcheingaben auf eine konstante Batchgröße zu beschränken.
Wenn das Rückschlussmodell jedoch mit einer konstanten Batchgröße entworfen wurde, muss der BatchSizeOverride-Parameter mit der im Modell definierten konstanten Batchgröße übereinstimmen.
ONNX-Modelle beschreiben die Batchdimension von Eingabe tensor-Features mithilfe der DATA_BATCH Dimensionsbezeichnung. Dies entspricht der N-Dimension in der häufiger verwendeten Tensorformatnotation NCHW.