Spark Session - Create Spark Session

  • Ссылка
Служба:
Synapse
Версия API:
2020-12-01

Создайте новый сеанс Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions
С использованием необязательных параметров: 
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?detailed={detailed}

Параметры URI

Имя В Обязательно Тип Описание
endpoint
 path True

string

Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Допустимая версия API для запроса.
sparkPoolName
 path True

string

Имя пула Spark.
detailed
 query

boolean

Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного livy.

Текст запроса

Имя Обязательно Тип Описание
name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

numExecutors

integer

pyFiles

string[]

tags

object

Ответы

Имя Тип Описание
200 OK

SparkSession

Успешное завершение

Примеры

Create new spark session.

Образец запроса

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/sessions?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 2,
  "numExecutors": 2
}

Пример ответа

Код состояния:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkSession",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Определения

Имя Описание
LivyStates

Состояние пакета
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType

Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionOptions
SparkSessionResultType
SparkSessionState

LivyStates

Состояние пакета

Имя Тип Описание
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

Имя Тип Описание
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

Имя Тип Описание
Ended

string

Queued

string

Scheduled

string

SparkErrorSource

Имя Тип Описание
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

Тип задания.

Имя Тип Описание
SparkBatch

string

SparkSession

string

SparkRequest

Имя Тип Описание
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

Имя Тип Описание
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

Имя Тип Описание
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Имя Тип Описание
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string

SparkSession

Имя Тип Описание
appId

string

appInfo

object

artifactId

string

errorInfo

SparkServiceError[]

id

integer

jobType

SparkJobType

livyInfo

SparkSessionState

log

string[]

name

string

pluginInfo

SparkServicePlugin

result

SparkSessionResultType

schedulerInfo

SparkScheduler

sparkPoolName

string

state

LivyStates

Состояние сеанса.
submitterId

string

submitterName

string

tags

object

workspaceName

string

SparkSessionOptions

Имя Тип Описание
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

tags

object

SparkSessionResultType

Имя Тип Описание
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkSessionState

Имя Тип Описание
busyAt

string

currentState

string

deadAt

string

errorAt

string

idleAt

string

jobCreationRequest

SparkRequest

killedAt

string

notStartedAt

string

recoveringAt

string

shuttingDownAt

string

startingAt

string