Submit-AzSynapseSparkJob

Referenz

Modul:: Az.Synapse

Sendet einen Synapse Analytics Spark-Auftrag.

Syntax

Submit-AzSynapseSparkJob
      -WorkspaceName <String>
      -SparkPoolName <String>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Submit-AzSynapseSparkJob
      -SparkPoolObject <PSSynapseSparkPool>
      -Language <String>
      -Name <String>
      -MainDefinitionFile <String>
      [-MainClassName <String>]
      [-CommandLineArgument <String[]>]
      [-ReferenceFile <String[]>]
      -ExecutorCount <Int32>
      -ExecutorSize <String>
      [-Configuration <Hashtable>]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Beschreibung

Das Cmdlet Submit-AzSynapseSparkJob sendet einen Synapse Analytics Spark-Auftrag.

Beispiele

Beispiel 1

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Dieser Befehl sendet einen Synapse Analytics Spark-Auftrag.

Beispiel 2

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small

Dieser Befehl sendet einen Synapse Analytics Spark .NET-Auftrag.

Beispiel 3

Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small

Dieser Befehl sendet einen Synapse Analytics PySpark-Auftrag.

Parameter

-CommandLineArgument

Optionale Argumente für den Auftrag. z. B. "--iteration 10000 --timeout 20s"

Typ:	String[]
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-Configuration

Eigenschaften der Spark-Konfiguration.

Typ:	Hashtable
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-Confirm

Hiermit werden Sie vor der Ausführung des Cmdlets zur Bestätigung aufgefordert.

Typ:	SwitchParameter
Aliase:	cf
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-DefaultProfile

Anmeldeinformationen, Konto, Mandant und Abonnement für die Kommunikation mit Azure

Typ:	IAzureContextContainer
Aliase:	AzContext, AzureRmContext, AzureCredential
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-ExecutorCount

Anzahl der Ausführenden, die im angegebenen Spark-Pool für den Auftrag zugewiesen werden sollen.

Typ:	Int32
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-ExecutorSize

Die Anzahl der Kerne und des Arbeitsspeichers, die für Executoren verwendet werden sollen, die im angegebenen Spark-Pool für den Auftrag zugewiesen wurden.

Typ:	String
Zulässige Werte:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-Language

Sprache des auftrags, der übermittelt werden soll.

Typ:	String
Zulässige Werte:	Spark, Scala, PySpark, Python, SparkDotNet, CSharp
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-MainClassName

Der vollqualifizierte Bezeichner oder die Hauptklasse, die sich in der Hauptdefinitionsdatei befindet. Erforderlich für Spark- und .NET Spark-Auftrag. z. B. "org.apache.spark.examples.SparkPi"

Typ:	String
Aliase:	MainExecutableFile
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-MainDefinitionFile

Die für den Auftrag verwendete Hauptdatei. z. B. "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"

Typ:	String
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-Name

Name des Spark-Auftrags.

Typ:	String
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-ReferenceFile

Zusätzliche Dateien, die zu Referenzzwecken in der Hauptdefinitionsdatei verwendet werden. Durch Trennzeichen getrennte Speicher-URI-Liste. z. B. "abfss://filesystem@account.dfs.core.windows.net/file1.txt,abfss://filesystem@account.dfs.core.windows.net/result/"

Typ:	String[]
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-SparkPoolName

Name des Synapse Spark-Pools.

Typ:	String
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-SparkPoolObject

Spark pool input object, usually passed through the pipeline.

Typ:	PSSynapseSparkPool
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	True
Platzhalterzeichen akzeptieren:	False

-WhatIf

Zeigt, was geschieht, wenn das Cmdlet ausgeführt wird. Das Cmdlet wird nicht ausgeführt.

Typ:	SwitchParameter
Aliase:	wi
Position:	Named
Standardwert:	None
Erforderlich:	False
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

-WorkspaceName

Name des Synapse-Arbeitsbereichs.

Typ:	String
Position:	Named
Standardwert:	None
Erforderlich:	True
Pipelineeingabe akzeptieren:	False
Platzhalterzeichen akzeptieren:	False

Eingaben

PSSynapseSparkPool

Ausgaben

PSSynapseSparkJob

Freigeben über