az synapse spark job

  • Referenz

Verwalten von Synapse Spark-Batchaufträgen.

Befehle

Name Beschreibung Typ Status
az synapse spark job cancel

Abbrechen eines Spark-Auftrags.

 Core Allgemein verfügbar
az synapse spark job list

Alle Spark-Aufträge auflisten.

 Core Allgemein verfügbar
az synapse spark job show

Abrufen eines Spark-Auftrags.

 Core Allgemein verfügbar
az synapse spark job submit

Senden sie einen Spark-Auftrag.

 Core Allgemein verfügbar

az synapse spark job cancel

Bearbeiten

Abbrechen eines Spark-Auftrags.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Beispiele

Abbrechen eines Spark-Auftrags.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--livy-id

Die ID des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Den Namen des Arbeitsbereichs

Optionale Parameter

--yes -y

Nicht zur Bestätigung auffordern

Standardwert: False
Globale Parameter
--debug

Ausführlichkeit der Protokollierung erhöhen, um alle Debugprotokolle anzuzeigen.

--help -h

Zeigen Sie diese Hilfemeldung an, und schließen Sie sie.

--only-show-errors

Nur Fehler anzeigen und Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc
Standardwert: json
--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Der Name oder die ID des Abonnements. Sie können das standardmäßig verwendete Abonnement mittels az account set -s NAME_OR_ID konfigurieren.

--verbose

Ausführlichkeit der Protokollierung erhöhen. „--debug“ für vollständige Debugprotokolle verwenden.

az synapse spark job list

Bearbeiten

Alle Spark-Aufträge auflisten.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Beispiele

Alle Spark-Aufträge auflisten.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Den Namen des Arbeitsbereichs

Optionale Parameter

--from-index

Optionaler Parameter, der angibt, von welchem Index die Liste beginnen soll.

--size

Die Größe der zurückgegebenen Liste. Standardmäßig ist es 20 und das ist das Maximum.

Globale Parameter
--debug

Ausführlichkeit der Protokollierung erhöhen, um alle Debugprotokolle anzuzeigen.

--help -h

Zeigen Sie diese Hilfemeldung an, und schließen Sie sie.

--only-show-errors

Nur Fehler anzeigen und Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc
Standardwert: json
--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Der Name oder die ID des Abonnements. Sie können das standardmäßig verwendete Abonnement mittels az account set -s NAME_OR_ID konfigurieren.

--verbose

Ausführlichkeit der Protokollierung erhöhen. „--debug“ für vollständige Debugprotokolle verwenden.

az synapse spark job show

Bearbeiten

Abrufen eines Spark-Auftrags.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Beispiele

Abrufen eines Spark-Auftrags.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--livy-id

Die ID des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Den Namen des Arbeitsbereichs

Globale Parameter
--debug

Ausführlichkeit der Protokollierung erhöhen, um alle Debugprotokolle anzuzeigen.

--help -h

Zeigen Sie diese Hilfemeldung an, und schließen Sie sie.

--only-show-errors

Nur Fehler anzeigen und Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc
Standardwert: json
--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Der Name oder die ID des Abonnements. Sie können das standardmäßig verwendete Abonnement mittels az account set -s NAME_OR_ID konfigurieren.

--verbose

Ausführlichkeit der Protokollierung erhöhen. „--debug“ für vollständige Debugprotokolle verwenden.

az synapse spark job submit

Bearbeiten

Senden sie einen Spark-Auftrag.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Beispiele

Senden Sie einen Java Spark-Auftrag.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Erforderliche Parameter

--executor-size

Die Ausführungsgröße.

Zulässige Werte: Large, Medium, Small
--executors

Die Anzahl der Ausführenden.

--main-definition-file

Die für den Auftrag verwendete Hauptdatei.

--name -n

Der Name des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Den Namen des Arbeitsbereichs

Optionale Parameter

--archives

Das Array von Archiven.

--arguments

Optionale Argumente für den Auftrag (Hinweis: Verwenden Sie Speicher-URIs für Dateiargumente).

--configuration

Die Konfiguration des Spark-Auftrags.

--language

Die Sprache des Spark-Auftrags.

Zulässige Werte: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Standardwert: Scala
--main-class-name

Der vollqualifizierte Bezeichner oder die Hauptklasse, die sich in der Hauptdefinitionsdatei befindet.

--python-files

Das Array von Dateien, die für refenence in der Haupt-Python-Definitionsdatei verwendet werden. Beispiele sind benutzerdefinierte whl-Dateien und benutzerdefinierte Python-Dateien. Kann mehrere Dateien wie "az synapse spark sumbit <other_args> --python_files abfss://file1 abss://file2" übergeben.

--reference-files

Zusätzliche Dateien, die zu Referenzzwecken in der Hauptdefinitionsdatei verwendet werden.

--tags

Durch Leerzeichen getrennte Tags: key[=value] [key[=value] ...]. Verwenden Sie "", um vorhandene Tags zu löschen.

Globale Parameter
--debug

Ausführlichkeit der Protokollierung erhöhen, um alle Debugprotokolle anzuzeigen.

--help -h

Zeigen Sie diese Hilfemeldung an, und schließen Sie sie.

--only-show-errors

Nur Fehler anzeigen und Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc
Standardwert: json
--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Der Name oder die ID des Abonnements. Sie können das standardmäßig verwendete Abonnement mittels az account set -s NAME_OR_ID konfigurieren.

--verbose

Ausführlichkeit der Protokollierung erhöhen. „--debug“ für vollständige Debugprotokolle verwenden.