LLM 工具

提示流程中的大型語言模型（LLM）工具可讓您利用廣泛使用的大型語言模型，例如 OpenAI 或 Azure OpenAI 服務，或 Azure AI 模型推斷 API 所支援的任何語言模型，以進行自然語言處理。

提示流程提供幾個不同的大型語言模型 API：

注意

我們已從 LLM 工具 API 設定中移除 embedding 選項。您可以使用內嵌 API 搭配內嵌工具。 Azure OpenAI 連線僅支援密鑰型驗證。請勿在 Azure OpenAI 資源的資源組名中使用非 ascii 字元，提示流程不支援此案例。

必要條件

建立 OpenAI 資源：

OpenAI：
- 在 OpenAI 網站上註冊您的帳戶。
- 登入並尋找您的個人 API 金鑰。
Azure OpenAI：
- 使用這些指示建立 Azure OpenAI 資源。
部署到無伺服器 API 端點的模型
- 從您感興趣的類別目錄建立具有模型的端點，並使用無伺服器 API 端點加以部署。
- 若要使用部署至 Azure AI 模型推斷 API 所支援的無伺服器 API 端點模型，例如 Mistral、Cohere、Meta Llama 或 Microsoft 系列模型（等等），您必須在專案中建立與端點的連線

在提示流程中設定已佈建資源的連線。

類型	名稱	API 金鑰	API 類型	API 版本
OpenAI	必要	必要	-	-
Azure OpenAI - API 金鑰	必要	必要	必要	必要
Azure OpenAI - Microsoft Entra ID	必要	-	-	必要
無伺服器模型	必要	必要	-	-

提示

若要針對 Azure OpenAI 連線使用Microsoft Entra ID 驗證類型，您需要將或 Cognitive Services OpenAI Contributor role 指派Cognitive Services OpenAI User給使用者或使用者指派的受控識別。
深入瞭解如何指定以使用使用者身分識別提交流程執行。
深入了解如何使用受控識別設定 Azure OpenAI 服務。

下列各節顯示各種輸入。

名稱	類型	描述	必要
Prompt	字串	語言模型用於回應的文字提示。	Yes
模型，deployment_name	字串	要使用的語言模型。如果模型部署至無伺服器 API 端點，則不需要此參數。	是*
max_tokens	整數	在回應中產生的權杖數目上限。預設為 inf。	No
溫度	float	所產生文字的隨機性。預設為 1。	No
停止	清單	所產生文字的停止序列。預設為 Null。	No
top_p	float	從產生的權杖使用最上層選擇的機率。預設為 1。	No
presence_penalty	float	值，控制模型的重複片語行為。預設值為 0。	No
frequency_penalty	float	值，控制模型產生罕見片語的行為。預設值為 0。	No
logit_bias	字典	語言模型的Logit偏差。預設值為空的字典。	No

API	傳回類型	描述
Completion	字串	一個預測完成的文字
聊天	字串	交談的其中一個回應文字