Spark Batch - Get Spark Batch Jobs
Liste todas as tarefas de lote do Spark que estão em execução num conjunto específico do Spark.
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}
Parâmetros do URI
Name | Em | Necessário | Tipo | Description |
---|---|---|---|---|
endpoint
|
path | True |
string |
O ponto final de desenvolvimento da área de trabalho, por exemplo |
livy
|
path | True |
string |
Versão de API válida para o pedido. |
spark
|
path | True |
string |
Nome do conjunto spark. |
detailed
|
query |
boolean |
Parâmetro de consulta opcional que especifica se a resposta detalhada é devolvida para além do livy simples. |
|
from
|
query |
integer int32 |
Parâmetro opcional que especifica a partir do qual a lista deve começar. |
|
size
|
query |
integer int32 |
Parâmetro opcional que especifica o tamanho da lista devolvida.
|
Respostas
Name | Tipo | Description |
---|---|---|
200 OK |
Com êxito |
Exemplos
List all spark batch jobs
Pedido de amostra
GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True
Resposta da amostra
{
"from": 0,
"total": 2,
"sessions": []
}
Definições
Name | Description |
---|---|
Livy |
O estado do lote |
Plugin |
|
Scheduler |
|
Spark |
|
Spark |
Resposta para a operação de lista de lotes. |
Spark |
O resultado da tarefa de lote do Spark. |
Spark |
|
Spark |
|
Spark |
O tipo de tarefa. |
Spark |
|
Spark |
|
Spark |
|
Spark |
LivyStates
O estado do lote
Name | Tipo | Description |
---|---|---|
busy |
string |
|
dead |
string |
|
error |
string |
|
idle |
string |
|
killed |
string |
|
not_started |
string |
|
recovering |
string |
|
running |
string |
|
shutting_down |
string |
|
starting |
string |
|
success |
string |
PluginCurrentState
Name | Tipo | Description |
---|---|---|
Cleanup |
string |
|
Ended |
string |
|
Monitoring |
string |
|
Preparation |
string |
|
Queued |
string |
|
ResourceAcquisition |
string |
|
Submission |
string |
SchedulerCurrentState
Name | Tipo | Description |
---|---|---|
Ended |
string |
|
Queued |
string |
|
Scheduled |
string |
SparkBatchJob
Name | Tipo | Description |
---|---|---|
appId |
string |
O ID da aplicação desta sessão |
appInfo |
object |
As informações detalhadas da aplicação. |
artifactId |
string |
O identificador do artefacto. |
errorInfo |
As informações de erro. |
|
id |
integer |
O ID da sessão. |
jobType |
O tipo de tarefa. |
|
livyInfo | ||
log |
string[] |
As linhas de registo. |
name |
string |
O nome do lote. |
pluginInfo |
As informações do plug-in. |
|
result |
O resultado da tarefa de lote do Spark. |
|
schedulerInfo |
As informações do agendador. |
|
sparkPoolName |
string |
O nome do conjunto do Spark. |
state |
O estado do lote |
|
submitterId |
string |
O identificador do submetidor. |
submitterName |
string |
O nome do submetidor. |
tags |
object |
As etiquetas. |
workspaceName |
string |
O nome da área de trabalho. |
SparkBatchJobCollection
Resposta para a operação de lista de lotes.
Name | Tipo | Description |
---|---|---|
from |
integer |
O índice de início das sessões obtidas. |
sessions |
Lista de lotes |
|
total |
integer |
Número de sessões obtidas. |
SparkBatchJobResultType
O resultado da tarefa de lote do Spark.
Name | Tipo | Description |
---|---|---|
Cancelled |
string |
|
Failed |
string |
|
Succeeded |
string |
|
Uncertain |
string |
SparkBatchJobState
Name | Tipo | Description |
---|---|---|
currentState |
string |
o estado da tarefa do Spark. |
deadAt |
string |
tempo em que o estado livy "morto" foi visto pela primeira vez. |
jobCreationRequest | ||
killedAt |
string |
o tempo em que "matou" livy estado foi visto pela primeira vez. |
notStartedAt |
string |
o momento em que "not_started" estado livy foi visto pela primeira vez. |
recoveringAt |
string |
o momento em que "recuperando" o estado livy foi visto pela primeira vez. |
runningAt |
string |
o tempo em que o estado livy "running" foi visto pela primeira vez. |
startingAt |
string |
o tempo em que o estado livy "começando" foi visto pela primeira vez. |
successAt |
string |
o momento em que o "sucesso" livy estado foi visto pela primeira vez. |
SparkErrorSource
Name | Tipo | Description |
---|---|---|
Dependency |
string |
|
System |
string |
|
Unknown |
string |
|
User |
string |
SparkJobType
O tipo de tarefa.
Name | Tipo | Description |
---|---|---|
SparkBatch |
string |
|
SparkSession |
string |
SparkRequest
Name | Tipo | Description |
---|---|---|
archives |
string[] |
|
args |
string[] |
|
className |
string |
|
conf |
object |
|
driverCores |
integer |
|
driverMemory |
string |
|
executorCores |
integer |
|
executorMemory |
string |
|
file |
string |
|
files |
string[] |
|
jars |
string[] |
|
name |
string |
|
numExecutors |
integer |
|
pyFiles |
string[] |
SparkScheduler
Name | Tipo | Description |
---|---|---|
cancellationRequestedAt |
string |
|
currentState | ||
endedAt |
string |
|
scheduledAt |
string |
|
submittedAt |
string |
SparkServiceError
Name | Tipo | Description |
---|---|---|
errorCode |
string |
|
message |
string |
|
source |
SparkServicePlugin
Name | Tipo | Description |
---|---|---|
cleanupStartedAt |
string |
|
currentState | ||
monitoringStartedAt |
string |
|
preparationStartedAt |
string |
|
resourceAcquisitionStartedAt |
string |
|
submissionStartedAt |
string |