Spark Batch - Create Spark Batch Job

Referência

Serviço:: Synapse

Versão da API:: 2020-12-01

Crie uma nova tarefa de lote do Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Com parâmetros opcionais:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Parâmetros do URI

Name	Em	Necessário	Tipo	Description
endpoint	path	True	string	O ponto final de desenvolvimento da área de trabalho, por exemplo `https://myworkspace.dev.azuresynapse.net`.
livyApiVersion	path	True	string	Versão de API válida para o pedido.
sparkPoolName	path	True	string	Nome do conjunto spark.
detailed	query		boolean	Parâmetro de consulta opcional que especifica se a resposta detalhada é devolvida para além do livy simples.

Corpo do Pedido

Name	Necessário	Tipo
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Respostas

Name	Tipo	Description
200 OK	SparkBatchJob	Com êxito

Exemplos

Create new spark batch job.

Pedido de amostra

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Resposta da amostra

Código de estado:: 200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definições

Name	Description
LivyStates	O estado do lote
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	O resultado da tarefa de lote do Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	O tipo de tarefa.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

O estado do lote

Name	Tipo	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Tipo	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Tipo	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Tipo	Description
appId	string	O ID da aplicação desta sessão
appInfo	object	As informações detalhadas da aplicação.
artifactId	string	O identificador do artefacto.
errorInfo	SparkServiceError[]	As informações de erro.
id	integer	O ID da sessão.
jobType	SparkJobType	O tipo de tarefa.
livyInfo	SparkBatchJobState
log	string[]	As linhas de registo.
name	string	O nome do lote.
pluginInfo	SparkServicePlugin	As informações do plug-in.
result	SparkBatchJobResultType	O resultado da tarefa de lote do Spark.
schedulerInfo	SparkScheduler	As informações do agendador.
sparkPoolName	string	O nome do conjunto do Spark.
state	LivyStates	O estado do lote
submitterId	string	O identificador do submetidor.
submitterName	string	O nome do submetidor.
tags	object	As etiquetas.
workspaceName	string	O nome da área de trabalho.

SparkBatchJobOptions

Name	Tipo	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

O resultado da tarefa de lote do Spark.

Name	Tipo	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Tipo	Description
currentState	string	o estado da tarefa do Spark.
deadAt	string	tempo em que o estado livy "morto" foi visto pela primeira vez.
jobCreationRequest	SparkRequest
killedAt	string	o tempo em que "matou" livy estado foi visto pela primeira vez.
notStartedAt	string	o momento em que "not_started" estado livy foi visto pela primeira vez.
recoveringAt	string	o momento em que "recuperando" o estado livy foi visto pela primeira vez.
runningAt	string	o tempo em que o estado livy "running" foi visto pela primeira vez.
startingAt	string	o tempo em que o estado livy "começando" foi visto pela primeira vez.
successAt	string	o momento em que o "sucesso" livy estado foi visto pela primeira vez.

SparkErrorSource

Name	Tipo	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

O tipo de tarefa.

Name	Tipo	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	Tipo	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Tipo	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Tipo	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Tipo	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

Partilhar via

Spark Batch - Create Spark Batch Job

Parâmetros do URI

Corpo do Pedido

Respostas

Exemplos

Create new spark batch job.

Pedido de amostra

Resposta da amostra

Definições

LivyStates

PluginCurrentState

SchedulerCurrentState

SparkBatchJob

SparkBatchJobOptions

SparkBatchJobResultType

SparkBatchJobState

SparkErrorSource

SparkJobType

SparkRequest

SparkScheduler

SparkServiceError

SparkServicePlugin

Recursos adicionais