Dávková úloha
Běžné parametry a záhlaví
Následující informace jsou společné pro všechny úlohy související s clustery, které můžete provádět:
Nahraďte {cluster-endpoint} adresou URL koncového bodu správy vašeho clusteru. (například myendpoint.azurehdinsight.net)
Nahraďte {batch-id} ID dávky vráceným při odeslání úlohy.
Nastavte hlavičku Content-Type na application/json.
Proveďte ověření pomocí koncového bodu pomocí základního ověřování HTTP.
Vytvoření nové dávkové úlohy
Odešlete novou dávkovou úlohu z souboru JAR.
Žádost
Viz Běžné parametry a hlavičky pro hlavičky a parametry používané clustery.
Metoda | Identifikátor URI žádosti |
---|---|
POST | https://{cluster-endpoint}/livy/batches |
Následuje příklad požadavku na vytvoření nové dávkové úlohy.
{
"file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",
"args" : ["arg0", "arg1"],
"className" : "com.sample.Job1",
"jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],
"files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],
"driverMemory" : "1G",
"driverCores" : 2,
"executorMemory" : "1G",
"executorCores" : 10,
"numExecutors" : 10
}
Název prvku | Požaduje se | Typ | Description |
---|---|---|---|
proxyUser | No | Řetězec | Uživatel, který se má zosobnit, který spustí úlohu |
– soubor | Ano | Řetězec | Cesta k souboru JAR dávkové úlohy |
args | Ne | Pole řetězců | Argumenty příkazového řádku předané dávkové úloze |
Classname | Ano | Řetězec | Název třídy main class. |
Sklenice | Ne | Pole řetězců | Soubory, které se mají umístit do cesty třídy Java |
pyFiles | Ne | Pole řetězců | Soubory, které se mají umístit do PYTHONPATH |
files | Ne | Pole řetězců | Soubory, které se mají umístit do pracovního adresáře exekutoru |
driverMemory | No | Řetězec | Paměť pro ovladač (1000M, 2G) |
driverCores | Ne | Integer | Počet jader používaných ovladačem |
executorMemory | No | Řetězec | Paměť pro exekutor (1000M, 2G) |
executorCores | Ne | Integer | Počet jader používaných exekutorem |
numExecutors | Ne | Integer | počet exekutorů |
Archiv | No | Pole řetězců | Dekomprimované archivy (jenom režim YARN) |
Odpověď
Operace vrátí hodnotu 200 (OK), pokud se žádost úspěšně dokončí.
Stavový kód: 200 OK
Text odpovědi:
{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}
Název prvku | Požaduje se | Typ | Description |
---|---|---|---|
id | Ano | Integer | ID dávkové relace |
Protokolu | Yes | Pole řetězců | Pole řádků protokolu pro tuto dávkovou úlohu. |
state | No | Řetězec | Stav relace. Možná hodnota: ["starting", "idle", "error"] |
Získání úplného protokolu dávkové úlohy
Žádost
Viz Běžné parametry a hlavičky pro hlavičky a parametry používané clustery.
Metoda | Identifikátor URI žádosti |
---|---|
GET | https://{cluster-endpoint}/livy/batches/{batch-id}/log |
Odpověď
Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).
Stavový kód: 200 OK
Text odpovědi:
{
"id" : 1,
"from":0,
"total":54
“log" : ["logline1", “logline2”]
}
Název elementu | Požaduje se | Typ | Description |
---|---|---|---|
id | Yes | Integer | ID dávkové relace |
Z | Ano | Integer | Posun |
size | Ano | Integer | Celkový počet řádků |
Protokolu | Yes | Pole řetězců | Pole řádků protokolu pro tuto dávkovou úlohu |
Získání stavu dávkové úlohy
Žádost
Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.
Metoda | Identifikátor URI žádosti |
---|---|
GET | https://{cluster-endpoint}/livy/batches/{batch-id} |
Odpověď
Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).
Stavový kód: 200 OK
Text odpovědi:
{
"id" : 1,
"state" : "starting",
“log" : ["logline"]
}
Název elementu | Požaduje se | Typ | Description |
---|---|---|---|
id | Yes | Integer | ID dávkové relace |
Protokolu | Ano | Pole řetězců | Pole řádků protokolu pro tuto dávkovou úlohu |
state | Ano | Řetězec | Stav relace. Možná hodnota: ["starting", "idle", "error"] |
Ukončení dávkové úlohy
Žádost
Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.
Metoda | Identifikátor URI žádosti |
---|---|
DELETE | https://{cluster-endpoint}/livy/batches/{batch-id} |
Odpověď
Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).
Stavový kód: 200 OK
Text odpovědi:
{
"msg" : "deleted"
}
Název elementu | Požaduje se | Typ | Description |
---|---|---|---|
Zpráva | Ano | Řetězec | Zpráva o odstranění. |
Interaktivní relace
- Spuštění, odeslání příkazu, načtení výsledků příkazu a ukončení interaktivní relace
Vrácení všech aktivních dávkových úloh
Žádost
Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.
Metoda | Identifikátor URI žádosti |
---|---|
GET | https://{cluster-endpoint}/livy/batches |
Odpověď
Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).
Stavový kód: 200 OK
Text odpovědi:
{
"from" : 0,
"total" : 2,
"sessions" : [{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}, {
"id" : 0,
"state" : "idle",
"log" : ["logline"]
}
]
}
Název elementu | Požaduje se | Typ | Description |
---|---|---|---|
Z | Ano | Řetězec | Posun |
celkem | Ano | Řetězec | Počet dávek, které se mají vrátit |
relace | Ano | Pole komplexního typu (batch) | Seznam aktivních dávkových úloh |
Batch
Název elementu | Požaduje se | Typ | Description |
---|---|---|---|
id | Ano | Integer | ID dávkové relace |
Protokolu | Yes | Pole řetězců | Pole řádků protokolu pro tuto dávkovou úlohu |
state | Ano | Řetězec | Stav relace. Možná hodnota: ["starting", "idle", "error"] |