Referenční informace: Dokončení | Azure AI Studio

Článek
09/02/2024

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Vytvoří dokončení pro zadaný příkazový řádek a parametry.

POST /completions?api-version=2024-04-01-preview

Název	V	Požaduje se	Type	Popis
verze-api	query	True	string	Verze rozhraní API ve formátu "RRRR-MM-DD" nebo "RRRR-MM-DD-preview".

Hlavička požadavku

Název	Požadováno	Type	Popis
parametry navíc		string	Chování rozhraní API v případech, kdy jsou v datové části uvedeny další parametry. Díky použití `pass-through` rozhraní API předáte parametr podkladovému modelu. Tuto hodnotu použijte, pokud chcete předat parametry, které znáte, že základní model může podporovat. Pomocí `ignore` rozhraní API zahodíte nepodporovaný parametr. Tuto hodnotu použijte, pokud potřebujete použít stejnou datovou část v různých modelech, ale jeden z dalších parametrů může model v případě, že není podporován, chybovat. Použití `error` rozhraní API zamítá všechny další parametry v datové části. Dají se určit pouze parametry zadané v tomto rozhraní API nebo se vrátí chyba 400.
azureml-model-deployment		string	Název nasazení, na které chcete požadavek směrovat. Podporováno pro koncové body, které podporují více nasazení.

Text požadavku

Název	Požadováno	Type	Popis
pobídnout	True		Zobrazí se výzva k vygenerování dokončení pro, zakódované jako řetězec, pole řetězců, pole tokenů nebo pole polí tokenů. Všimněte si, že je to oddělovač dokumentů, `<\\|endoftext\\|>` který model vidí během trénování, takže pokud není zadána výzva, model se vygeneruje, jako by byl od začátku nového dokumentu.
frequency_penalty		Číslo	Kladné hodnoty sankují nové tokeny na základě jejich stávající frekvence v textu, což snižuje pravděpodobnost opakování stejného doslovného znění řádku modelu.
max_tokens		integer	Maximální počet tokenů, které lze vygenerovat v dokončení. Počet tokenů výzvy plus `max_tokens` nesmí překročit délku kontextu modelu.
presence_penalty		Číslo	Kladné hodnoty sankují nové tokeny na základě toho, jestli se zatím zobrazují v textu, což zvyšuje pravděpodobnost, že model mluví o nových tématech.
semeno		integer	Pokud je zadáno, model se snaží vzorkovat deterministicky, aby opakované požadavky se stejnými `seed` parametry měly vrátit stejný výsledek. Determinismus není zaručený a měli byste odkazovat na `system_fingerprint` parametr odpovědi pro monitorování změn v back-endu.
Zastavit			Sekvence, ve kterých rozhraní API přestane generovat další tokeny Vrácený text nebude obsahovat sekvenci zastavení.
datový proud		boolean	Zda se má streamovat zpět částečný průběh. Pokud jsou nastavené, tokeny se posílají jako události odesílané jen pro data, jakmile budou k dispozici, a datový proud je ukončen zprávou`data: [DONE]`.
Teplota		Číslo	Jakou teplotu vzorkování použít, mezi 0 a 2. Vyšší hodnoty jako 0,8 způsobí, že výstup bude náhodnější, zatímco nižší hodnoty, jako je 0,2, zajistí větší zaměření a deterministiku. Obecně doporučujeme měnit `temperature` , ale `top_p` ne obojí.
top_p		Číslo	Alternativou k odběru vzorků s teplotou, označovanou jako vzorkování jádra, kde model bere v úvahu výsledky tokenů s top_p hmotností pravděpodobnosti. Hodnota 0,1 tedy znamená, že se považují pouze tokeny, které tvoří 10% hmotnost pravděpodobnosti. Obecně doporučujeme měnit `top_p` , ale `temperature` ne obojí.

Odpovědi

Name	Typ	Popis
200 OK	CreateCompletionResponse	OK
401 – Neautorizováno	Neautorizovaná chyba	Přístupový token chybí nebo je neplatný. Hlavičky x-ms-error-code: string
404 – Nenalezeno	NotFoundError	Způsob, který model nepodporuje. V dokumentaci k modelu zjistíte, které trasy jsou k dispozici. Hlavičky x-ms-error-code: string
422 Nezpracovaná entita	UnprocessableContentError	Požadavek obsahuje nezpracovaný obsah. Hlavičky x-ms-error-code: string
429 – Příliš mnoho požadavků	TooManyRequestsError	Dosáhli jste svého přiřazeného limitu rychlosti a vaše žádost se musí postupovat podle tempa. Hlavičky x-ms-error-code: string
Další stavové kódy	ContentFilterError	Chybný požadavek Hlavičky x-ms-error-code: string

Zabezpečení

Autorizace

Token s předponou Bearer: , např. Bearer abcde12345

Typ: apiKey
V: hlavička

AADToken

Ověřování Azure Active Directory OAuth2

Typ: oauth2
Flow: aplikace
Adresa URL tokenu: https://login.microsoftonline.com/common/oauth2/v2.0/token

Příklady

Vytvoří dokončení pro zadané výzvy a parametry.

Ukázkový požadavek

POST /completions?api-version=2024-04-01-preview

{
  "prompt": "This is a very good text",
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "max_tokens": 256,
  "seed": 42,
  "stop": "<|endoftext|>",
  "stream": false,
  "temperature": 0,
  "top_p": 1
}

Ukázková odezva

Stavový kód: 200

{
  "id": "1234567890",
  "model": "llama2-7b",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "text": ", indeed it is a good one."
    }
  ],
  "created": 1234567890,
  "object": "text_completion",
  "usage": {
    "prompt_tokens": 15,
    "completion_tokens": 8,
    "total_tokens": 23
  }
}

Definice

Název	Popis
Choices	Seznam možností dokončení chatu
CompletionFinishReason	Důvod, proč model přestal generovat tokeny To je `stop` v případě, že model dosáhne přirozeného bodu zastavení nebo zadané sekvence zastavení, `length` pokud byl dosažen maximální počet tokenů zadaných v požadavku, `content_filter` pokud byl obsah vynechán kvůli příznaku z našich filtrů obsahu.
Dokončení	Statistiky využití žádosti o dokončení
ContentFilterError	Volání rozhraní API selže, když výzva aktivuje filtr obsahu podle konfigurace. Upravte výzvu a zkuste to znovu.
CreateCompletionRequest
CreateCompletionResponse	Představuje odpověď na dokončení z rozhraní API.
Podrobnosti
TextCompletionObject	Typ objektu, který je vždy "text_completion"
UnprocessableContentError

Volby

Seznam možností dokončení chatu

Name	Typ	Popis
finish_reason	CompletionFinishReason	Důvod, proč model přestal generovat tokeny To je `stop` v případě, že model dosáhl přirozeného bodu zastavení nebo zadané sekvence zastavení, `length` pokud byl dosažen maximální počet tokenů zadaných v požadavku, `content_filter` pokud byl obsah vynechán kvůli příznaku z našich filtrů obsahu, `tool_calls` pokud model volal nástroj.
index	integer	Index výběru v seznamu voleb.
text	string	Vygenerovaný text.

CompletionFinishReason

Důvod, proč model přestal generovat tokeny To je stop v případě, že model dosáhne přirozeného bodu zastavení nebo zadané sekvence zastavení, length pokud byl dosažen maximální počet tokenů zadaných v požadavku, content_filter pokud byl obsah vynechán kvůli příznaku z našich filtrů obsahu.

Name	Typ	Popis
content_filter	string
length	string
Zastavit	string

Dokončení

Statistiky využití žádosti o dokončení

Name	Typ	Popis
completion_tokens	integer	Počet tokenů ve vygenerovaném dokončení
prompt_tokens	integer	Počet tokenů v příkazovém řádku
total_tokens	integer	Celkový počettokench

ContentFilterError

Volání rozhraní API selže, když výzva aktivuje filtr obsahu podle konfigurace. Upravte výzvu a zkuste to znovu.

Name	Typ	Popis
code	string	Kód chyby.
chyba	string	Popis chyby.
zpráva	string	Chybová zpráva
Param	string	Parametr, který aktivoval filtr obsahu.
stav	integer	Stavový kód HTTP

CreateCompletionRequest

Name	Type	Výchozí hodnota	Popis
frequency_penalty	Číslo	0	Kladné hodnoty sankují nové tokeny na základě jejich stávající frekvence v textu, což snižuje pravděpodobnost opakování stejného doslovného znění řádku modelu.
max_tokens	integer	256	Maximální počet tokenů, které lze vygenerovat v dokončení. Počet tokenů výzvy plus `max_tokens` nesmí překročit délku kontextu modelu.
presence_penalty	Číslo	0	Kladné hodnoty sankují nové tokeny na základě toho, jestli se zatím zobrazují v textu, což zvyšuje pravděpodobnost, že model mluví o nových tématech.
pobídnout		`<\\|endoftext\\|>`	Zobrazí se výzva k vygenerování dokončení pro, zakódované jako řetězec, pole řetězců, pole tokenů nebo pole polí tokenů. Všimněte si, že je to oddělovač dokumentů, `<\\|endoftext\\|>` který model vidí během trénování, takže pokud není zadána výzva, model se vygeneruje, jako by byl od začátku nového dokumentu.
semeno	integer		Pokud je zadáno, náš systém se bude snažit vzorkovat deterministicky, aby opakované požadavky se stejnými `seed` parametry měly vrátit stejný výsledek. Determinismus není zaručený a měli byste odkazovat na `system_fingerprint` parametr odpovědi pro monitorování změn v back-endu.
Zastavit			Sekvence, ve kterých rozhraní API přestane generovat další tokeny Vrácený text nebude obsahovat sekvenci zastavení.
datový proud	boolean	False	Zda se má streamovat zpět částečný průběh. Pokud jsou nastavené, tokeny se posílají jako události odesílané jen pro data, jakmile budou k dispozici, a datový proud je ukončen zprávou`data: [DONE]`.
Teplota	Číslo	0	Jakou teplotu vzorkování použít, mezi 0 a 2. Vyšší hodnoty jako 0,8 způsobí, že výstup bude náhodnější, zatímco nižší hodnoty, jako je 0,2, zajistí větší zaměření a deterministiku. Obecně doporučujeme tuto změnu změnit, `top_p` ale ne obojí.
top_p	Číslo	0	Alternativou k odběru vzorků s teplotou, označovanou jako vzorkování jádra, kde model bere v úvahu výsledky tokenů s top_p hmotností pravděpodobnosti. Hodnota 0,1 tedy znamená, že se považují pouze tokeny, které tvoří 10% hmotnost pravděpodobnosti. Obecně doporučujeme tuto změnu změnit, `temperature` ale ne obojí.

CreateCompletionResponse

Představuje odpověď na dokončení z rozhraní API. Poznámka: Streamované i nestreamované objekty odpovědi sdílejí stejný obrazec (na rozdíl od koncového bodu chatu).

Name	Typ	Popis
volby	Volby[]	Seznam voleb dokončení, které model vygeneroval pro vstupní výzvu.
vytvořené	integer	Časové razítko unixu (v sekundách) doby vytvoření dokončení.
ID	řetězec	Jedinečný identifikátor dokončení.
model	string	Model použitý k dokončení.
objekt	TextCompletionObject	Typ objektu, který je vždy "text_completion"
system_fingerprint	string	Tento otisk prstu představuje konfiguraci back-endu, se kterou model běží. Lze použít s parametrem `seed` požadavku, abyste pochopili, kdy byly provedeny změny back-endu, které můžou mít vliv na determinismus.
využití	Dokončení	Statistiky využití žádosti o dokončení

Podrobnosti

Name	Typ	Popis
Loc	string[]	Parametr způsobující problém
hodnota	string	Hodnota předaná parametru způsobuje problémy.

TextCompletionObject

Typ objektu, který je vždy "text_completion"

Name	Typ	Popis
text_completion	string

ListObject

Typ objektu, který je vždy "list".

Name	Typ	Description
list	string

NotFoundError

Name	Typ	Popis
chyba	string	Popis chyby.
zpráva	string	Chybová zpráva
stav	integer	Stavový kód HTTP

TooManyRequestsError

Name	Typ	Popis
chyba	string	Popis chyby.
zpráva	string	Chybová zpráva
stav	integer	Stavový kód HTTP

Neautorizovaná chyba

Name	Typ	Popis
chyba	string	Popis chyby.
zpráva	string	Chybová zpráva
stav	integer	Stavový kód HTTP

UnprocessableContentError

Name	Typ	Popis
code	string	Kód chyby.
detail	Podrobnosti
chyba	string	Popis chyby.
zpráva	string	Chybová zpráva
stav	integer	Stavový kód HTTP

Sdílet prostřednictvím