Spark Batch - Get Spark Batch Job

  • Referência
Serviço:
Synapse
Versão da API:
2020-12-01

Obtém uma única tarefa de lote do Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}
Com parâmetros opcionais: 
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}?detailed={detailed}

Parâmetros do URI

Name Em Necessário Tipo Description
batchId
 path True

integer

int32

Identificador da tarefa de lote.
endpoint
 path True

string

O ponto final de desenvolvimento da área de trabalho, por exemplo https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Versão de API válida para o pedido.
sparkPoolName
 path True

string

Nome do conjunto spark.
detailed
 query

boolean

Parâmetro de consulta opcional que especifica se a resposta detalhada é devolvida para além do livy simples.

Respostas

Name Tipo Description
200 OK

SparkBatchJob

Com êxito

Exemplos

Gets a single spark batch job.

Pedido de amostra

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches/123?detailed=True

Resposta da amostra

Código de estado:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definições

Name Description
LivyStates

O estado do lote
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobResultType

O resultado da tarefa de lote do Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType

O tipo de tarefa.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

O estado do lote

Name Tipo Description
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

Name Tipo Description
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

Name Tipo Description
Ended

string

Queued

string

Scheduled

string

SparkBatchJob

Name Tipo Description
appId

string

O ID da aplicação desta sessão
appInfo

object

As informações detalhadas da aplicação.
artifactId

string

O identificador do artefacto.
errorInfo

SparkServiceError[]

As informações de erro.
id

integer

O ID da sessão.
jobType

SparkJobType

O tipo de tarefa.
livyInfo

SparkBatchJobState

log

string[]

As linhas de registo.
name

string

O nome do lote.
pluginInfo

SparkServicePlugin

As informações do plug-in.
result

SparkBatchJobResultType

O resultado da tarefa de lote do Spark.
schedulerInfo

SparkScheduler

As informações do agendador.
sparkPoolName

string

O nome do conjunto do Spark.
state

LivyStates

O estado do lote
submitterId

string

O identificador do submetidor.
submitterName

string

O nome do submetidor.
tags

object

As etiquetas.
workspaceName

string

O nome da área de trabalho.

SparkBatchJobResultType

O resultado da tarefa de lote do Spark.

Name Tipo Description
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkBatchJobState

Name Tipo Description
currentState

string

o estado da tarefa do Spark.
deadAt

string

tempo em que o estado livy "morto" foi visto pela primeira vez.
jobCreationRequest

SparkRequest

killedAt

string

o tempo em que "matou" livy estado foi visto pela primeira vez.
notStartedAt

string

o momento em que "not_started" estado livy foi visto pela primeira vez.
recoveringAt

string

o momento em que "recuperando" o estado livy foi visto pela primeira vez.
runningAt

string

o tempo em que o estado livy "running" foi visto pela primeira vez.
startingAt

string

o tempo em que o estado livy "começando" foi visto pela primeira vez.
successAt

string

o momento em que o "sucesso" livy estado foi visto pela primeira vez.

SparkErrorSource

Name Tipo Description
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

O tipo de tarefa.

Name Tipo Description
SparkBatch

string

SparkSession

string

SparkRequest

Name Tipo Description
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

Name Tipo Description
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

Name Tipo Description
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Name Tipo Description
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string