Nástroj LLM pro toky v Azure AI Studiu

  • Článek

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Pokud chcete použít velké jazykové modely (LLM) pro zpracování přirozeného jazyka, použijte nástroj LLM toku výzvy.

Poznámka:

Vkládání textu pro převod textu na hustou vektorové reprezentace pro různé úlohy zpracování přirozeného jazyka naleznete v tématu Nástroj pro vkládání.

Požadavky

Připravte výzvu podle popisu v dokumentaci k nástroji Výzva. Nástroj LLM i nástroj Prompt podporují šablony Jinja . Další informace a osvědčené postupy naleznete v tématu Prompt engineering techniques.

Sestavení pomocí nástroje LLM

  1. Vytvořte nebo otevřete tok v Azure AI Studiu. Další informace najdete v tématu Vytvoření toku.

  2. Vyberte + LLM a přidejte do toku nástroj LLM.

    Snímek obrazovky znázorňující nástroj LLM přidaný do toku v Azure AI Studiu

  3. Vyberte připojení k některému ze zřízených prostředků. Vyberte například Default_AzureOpenAI.

  4. V rozevíracím seznamu rozhraní API vyberte chat nebo dokončení.

  5. Zadejte hodnoty pro vstupní parametry nástroje LLM popsané v tabulce zadávání textu. Pokud jste vybrali rozhraní API chatu, podívejte se na tabulku vstupů chatu. Pokud jste vybrali rozhraní API pro dokončení , podívejte se na tabulku vstupů dokončení textu. Informace o tom, jak připravit vstup výzvy, naleznete v tématu Požadavky.

  6. Podle potřeby přidejte do toku další nástroje. Nebo vyberte Spustit , aby se tok spustil.

  7. Výstupy jsou popsány v tabulce Výstupy.

Vstupy

K dispozici jsou následující vstupní parametry.

Vstupy pro dokončování textu

Name Typ Popis Povinní účastníci
pobídnout string Text prompt for the language model. Ano
model, deployment_name string Jazykový model, který se má použít. Ano
max_tokens integer Maximální počet tokenů, které se mají vygenerovat v dokončení. Výchozí hodnota je 16. No
Teplota float (číslo s plovoucí řádovou čárkou) Náhodnost vygenerovaného textu Výchozí hodnota je 1. No
Zastavit list Sekvence zastavení pro vygenerovaný text. Výchozí hodnota je null. No
přípona string Text připojený na konec dokončení. No
top_p float (číslo s plovoucí řádovou čárkou) Pravděpodobnost použití nejlepší volby z vygenerovaných tokenů. Výchozí hodnota je 1. No
protokoly integer Počet pravděpodobností protokolu, které se mají vygenerovat. Výchozí hodnota je null. No
echo boolean Hodnota, která označuje, zda se má vrátit výzva v odpovědi. Výchozí hodnota je False. No
presence_penalty float (číslo s plovoucí řádovou čárkou) Hodnota, která řídí chování modelu týkající se opakujících se frází. Výchozí hodnota je 0. No
frequency_penalty float (číslo s plovoucí řádovou čárkou) Hodnota, která řídí chování modelu při generování vzácných frází. Výchozí hodnota je 0. No
best_of integer Počet nejlepších dokončení, které se mají vygenerovat. Výchozí hodnota je 1. No
logit_bias slovník Odchylka logit pro jazykový model. Výchozí hodnota je prázdný slovník. No

Vstupy chatu

Name Typ Popis Povinní účastníci
pobídnout string Textová výzva, na kterou by jazykový model měl odpovědět. Ano
model, deployment_name string Jazykový model, který se má použít. Ano
max_tokens integer Maximální počet tokenů, které se mají vygenerovat v odpovědi. Výchozí hodnota je inf. No
Teplota float (číslo s plovoucí řádovou čárkou) Náhodnost vygenerovaného textu Výchozí hodnota je 1. No
Zastavit list Sekvence zastavení pro vygenerovaný text. Výchozí hodnota je null. No
top_p float (číslo s plovoucí řádovou čárkou) Pravděpodobnost použití nejlepší volby z vygenerovaných tokenů. Výchozí hodnota je 1. No
presence_penalty float (číslo s plovoucí řádovou čárkou) Hodnota, která řídí chování modelu týkající se opakujících se frází. Výchozí hodnota je 0. No
frequency_penalty float (číslo s plovoucí řádovou čárkou) Hodnota, která řídí chování modelu při generování vzácných frází. Výchozí hodnota je 0. No
logit_bias slovník Odchylka logit pro jazykový model. Výchozí hodnota je prázdný slovník. No

Výstupy

Výstup se liší v závislosti na rozhraní API, které jste vybrali pro vstupy.

rozhraní API Návratový typ Popis
Dokončení string Text jednoho předpovězeného dokončení
Chat string Text jedné odpovědi konverzace.

Další kroky