Nástroj LLM
Nástroj LLM (Large Language Model) v toku výzvy umožňuje využít výhod široce používaných rozsáhlých jazykových modelů, jako je OpenAI nebo Azure OpenAI Service, nebo jakýkoli jazykový model podporovaný rozhraním API pro odvozování modelů Azure AI pro zpracování přirozeného jazyka.
Tok výzvy poskytuje několik různých rozhraní API pro velký jazykový model:
- Dokončení: Modely dokončování OpenAI generují text na základě zadaných výzev.
- Chat: Modely chatu OpenAI a modely chatu Azure AI usnadňují interaktivní konverzace s textovými vstupy a odpověďmi.
Poznámka:
Odebrali embedding jsme možnost z nastavení rozhraní API nástroje LLM. Pomocí nástroje pro vkládání můžete použít rozhraní API pro vkládání.
Připojení Azure OpenAI podporuje pouze ověřování založené na klíčích.
V názvu skupiny prostředků prostředku Azure OpenAI nepoužívejte znaky jiné než ascii, proto tento případ nepodporuje tok výzvy.
Požadavky
Vytváření prostředků OpenAI:
OpenAI:
- Zaregistrujte si svůj účet na webu OpenAI.
- Přihlaste se a najděte svůj osobní klíč rozhraní API.
Azure OpenAI:
- Pomocí těchto pokynů vytvořte prostředky Azure OpenAI.
Modely nasazené do koncových bodů bezserverového rozhraní API
- Vytvořte koncový bod s modelem z katalogu, který vás zajímá , a nasaďte ho pomocí koncového bodu bezserverového rozhraní API.
- Pokud chcete používat modely nasazené do bezserverových koncových bodů rozhraní API podporovaných rozhraním API pro odvozování modelů Azure AI, jako je Mistral, Cohere, Meta Llama nebo řada modelů Microsoftu (mimo jiné), musíte ve svém projektu vytvořit připojení ke svému koncovému bodu.
Propojení
Nastavte připojení ke zřízeným prostředkům v toku výzvy.
| Typ | Název | Klíč rozhraní API | Typ rozhraní API | Verze rozhraní API |
|---|---|---|---|---|
| OpenAI | Požaduje se | Požaduje se | - | - |
| Azure OpenAI – Klíč rozhraní API | Požaduje se | Požadováno | Požadováno | Požaduje se |
| Azure OpenAI – Microsoft Entra ID | Požaduje se | - | - | Požaduje se |
| Bezserverový model | Požaduje se | Požaduje se | - | - |
Tip
- Pokud chcete použít typ ověřování Microsoft Entra ID pro připojení Azure OpenAI, musíte přiřadit spravovanou identitu přiřazenou
Cognitive Services OpenAI UserCognitive Services OpenAI Contributor roleuživatelem nebo uživatelem. - Přečtěte si další informace o tom, jak určit použití identity uživatele k odeslání spuštění toku.
- Přečtěte si další informace o konfiguraci služby Azure OpenAI s využitím spravovaných identit.
Vstupy
V následujících částech jsou uvedeny různé vstupy.
Dokončování textu
| Name | Typ | Popis | Povinní účastníci |
|---|---|---|---|
| pobídnout | string | Text prompt for the language model. | Ano |
| model, deployment_name | string | Jazykový model, který se má použít. | Ano |
| max_tokens | integer | Maximální počet tokenů, které se mají vygenerovat v dokončení. Výchozí hodnota je 16. | No |
| Teplota | float (číslo s plovoucí řádovou čárkou) | Náhodnost generovaného textu Výchozí hodnota je 1. | No |
| Zastavit | list | Zastavení sekvence pro vygenerovaný text Výchozí hodnota je null. | No |
| přípona | string | Text připojený na konec dokončení | No |
| top_p | float (číslo s plovoucí řádovou čárkou) | Pravděpodobnost použití nejlepší volby z vygenerovaných tokenů Výchozí hodnota je 1. | No |
| protokoly | integer | Počet pravděpodobností protokolu, které se mají vygenerovat Výchozí hodnota je null. | No |
| echo | boolean | Hodnota, která označuje, zda se má v odpovědi vrátit výzva. Výchozí hodnota je False. | No |
| presence_penalty | float (číslo s plovoucí řádovou čárkou) | Hodnota, která řídí chování modelu pro opakující se fráze. Výchozí hodnota je 0. | No |
| frequency_penalty | float (číslo s plovoucí řádovou čárkou) | Hodnota, která řídí chování modelu při generování vzácných frází. Výchozí hodnota je 0. | No |
| best_of | integer | Počet nejlepších dokončení, které se mají vygenerovat Výchozí hodnota je 1. | No |
| logit_bias | slovník | Předsudky logit pro jazykový model Výchozí hodnota je prázdný slovník. | No |
Chat
| Name | Typ | Popis | Povinní účastníci |
|---|---|---|---|
| pobídnout | string | Text prompt that the language model uses for a response. | Ano |
| model, deployment_name | string | Jazykový model, který se má použít. Tento parametr se nevyžaduje, pokud je model nasazený do koncového bodu bezserverového rozhraní API. | Ano* |
| max_tokens | integer | Maximální počet tokenů, které se mají vygenerovat v odpovědi. Výchozí hodnota je inf. | No |
| Teplota | float (číslo s plovoucí řádovou čárkou) | Náhodnost generovaného textu Výchozí hodnota je 1. | No |
| Zastavit | list | Zastavení sekvence pro vygenerovaný text Výchozí hodnota je null. | No |
| top_p | float (číslo s plovoucí řádovou čárkou) | Pravděpodobnost použití nejlepší volby z vygenerovaných tokenů Výchozí hodnota je 1. | No |
| presence_penalty | float (číslo s plovoucí řádovou čárkou) | Hodnota, která řídí chování modelu pro opakující se fráze. Výchozí hodnota je 0. | No |
| frequency_penalty | float (číslo s plovoucí řádovou čárkou) | Hodnota, která řídí chování modelu při generování vzácných frází. Výchozí hodnota je 0. | No |
| logit_bias | slovník | Předsudky logit pro jazykový model Výchozí hodnota je prázdný slovník. | No |
Výstupy
| rozhraní API | Návratový typ | Popis |
|---|---|---|
| Dokončení | string | Text jednoho předpovězeného dokončení |
| Chat | string | Text jedné odpovědi konverzace |
Použití nástroje LLM
- Nastavte a vyberte připojení k prostředkům OpenAI nebo ke koncovému bodu bezserverového rozhraní API.
- Nakonfigurujte rozhraní API pro velký jazykový model a jeho parametry.
- Připravte výzvu s pokyny.