模型目錄和集合
Azure Machine Learning 工作室中的模型目錄，是您用於探索和使用各種模型，以便建置生成式 AI 應用程式的中樞。 模型目錄提供來自 Azure OpenAI 服務、Mistral、Meta、Cohere、Nvidia、Hugging Face 等模型提供者的數百個模型，包括由 Microsoft 訓練的模型。 來自 Microsoft 以外提供者的模型是非 Microsoft 產品，如 Microsoft 的產品條款所定義，並受模型提供的條款規範。
模型集合
模型會依模型目錄中的集合所整理。 模型目錄中有三種集合類型：
- 由 Azure AI 策展的模型：最熱門的第三方開放式加權和專利模型，已經過封裝和最佳化，可在 Azure AI 平台上順暢地運作。 這些模型之使用受模型提供者為模型所提供的授權條款規範。 在 Azure 機器學習中部署時，模型的可用性受限於適用的 Azure SLA，而 Microsoft 則提供部署問題的支援。 來自 Meta、NVIDIA、Mistral AI 等合作夥伴的模型即為目錄上「由 Azure AI 策展」集合中可用模型的範例。 這些模型可以透過目錄中模型圖格上的綠色核取記號來識別，也可以依「由 Azure AI 策展」集合進行篩選。
- Azure 上獨家提供的 Azure OpenAI 模型：透過與 Azure OpenAI 服務整合的 'Azure OpenAI' 集合存取旗艦 Azure OpenAI 模型。 Microsoft 支援這些模型，其使用受產品條款及 Azure OpenAI 服務的 SLA 規範。
- 來自 Hugging Face Hub 的開放式模型: 透過 'Hugging Face' 集合存取來自 Hugging Face Hub 的數百個模型，以便透過線上端點即時推斷。 Hugging Face 會建立並維護 Hugging Face 集合中列出的模型。 使用 HuggingFace 論壇或 HuggingFace 支援來取得協助。 深入了解如何從 Hugging Face 部署模型。
建議新增至模型目錄：您可以使用此表單提交要求，將模型新增至模型目錄。
模型目錄功能概觀
如需 Azure OpenAI 模型的資訊，請參閱 Azure OpenAI 服務。
對於由 Azure AI 策劃的模型以及來自 Hugging Face Hub 的開放式模型，部分可以使用受控計算節點部署，部分可以使用搭配隨用隨付計費的無伺服器 API 來部署。 您可以探索、比較、評估、微調 (如有支援) 這些模型，並大規模部署並整合到具有企業級安全性和資料控管功能的生成式 AI 應用程式。
- 探索：檢閱模型卡片、嘗試範例推斷及瀏覽程式碼範例，以評估、微調或部署模型。
- 比較：比較產業中可用模型和資料集的基準，以評估哪一個符合您的商務案例。
- 評估：提供自己的測試資料，評估模型是否適合您的特定工作負載。 評估計量可讓您輕鬆地將所選模型在案例中執行的效能視覺化。
- 微調: 使用您自己的定型資料來自訂可微調的模型，並透過比較所有微調作業的計量來選出最佳模型。 內建最佳化可加速微調，並減少微調所需的記憶體和計算。
- 部署: 順暢地部署預先定型的模型或經過微調的模型以進行推斷。 您也可以下載可部署到受控計算端點的模型。
模型部署：受控計算和無伺服器 API (隨用隨付)
模型目錄提供兩種從目錄部署模型以供使用的不同方式：受控計算和無伺服器 API。 每個模型可用的部署選項會有所不同。您可以在下表中深入了解部署選項的功能，以及特定模型可用的選項。 深入了解部署選項的資料處理。
| 功能 | 受控計算 | 無伺服器 API (隨用隨付) |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署到有受控線上端點的專用虛擬機器。 受控線上端點 (可以有一或多個部署) 會提供 REST API 以進行推斷。 您將針對部署所使用的虛擬機器核心時數支付費用。 | 透過部署存取模型，這會佈建一個 API 來存取模型。 該 API 可讓您存取 Microsoft 所管理中央 GPU 集區內裝載的模型以進行推斷。 這種存取模式稱為「模型即服務」。 您將針對 API (通常是在權杖中) 的輸入和輸出支付費用；在您部署之前，會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra ID 驗證。 深入了解。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure 內容安全服務 API。 | 提供與推斷 API 整合的 Azure AI 內容安全篩選。 Azure AI 內容安全篩選可能會個別計費。 |
| 網路隔離 | 具有線上端點的受控虛擬網路。 深入了解。 |
部署選項
| 模型 | 受控計算 | 無伺服器 API (隨用隨付) |
|---|---|---|
| Llama 系列模型 | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral 系列模型 | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Mistral-Nemo |
| Cohere 系列模型 | 無法使用 | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-多語系版 Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | 無法使用 | jais-30b-chat |
| Phi-3 系列模型 | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | 無法使用 | TimeGEN-1 |
| 其他模型 | 可以使用 | 無法使用 |
受控計算
使用受控計算部署模型的功能是根據 Azure Machine Learning 的平台功能所建置，可讓您在整個 GenAIOps (有時稱為 LLMOps) 生命週期中順暢地整合模型目錄中的各種模型集合。
如何讓模型能夠用於受控計算？
這些模型可透過 Azure Machine Learning 登錄提供，為裝載和散發機器學習資產實現 ML 優先的方法，例如模型權數、用於執行模型的容器執行階段、用於評估和微調模型的管線，以及作為基準和範例的資料集。 這些 ML 登錄建置在可高度調整並符合企業需求的基礎結構之上，以便:
透過內建異地複寫，將低延遲存取模型成品傳遞至所有 Azure 區域。
支援企業安全性需求，例如使用 Azure 原則限制對模型的存取，以及使用受控虛擬網路進行安全部署。
評估並微調使用受控計算部署的模型
您可以使用 Azure Machine Learning 管線，在 Azure Machine Learning 的「由 Azure AI 策劃」集合中進行評估和微調。 您可以選擇攜帶自己的評估和微調程式碼，並直接存取模型權數或使用提供內建評估和微調功能的 Azure Machine Learning 元件。 若要深入了解，請按一下此連結。
使用受控計算部署模型以進行推斷
使用受控計算部署的模型可以部署到 Azure Machine Learning 線上端點以進行即時推斷，也可以用於 Azure Machine Learning 批次推斷來批次處理您的資料。 部署到受控計算時，您必須在 Azure 訂閱中擁有虛擬機器配額，以取得模型最佳執行情況下所需的特定 SKU。 某些模型可讓您部署到暫時共用的配額，以便測試模型。 深入了解如何部署下列模型：
使用受控計算建置生成式 AI 應用程式
提示流程提供原型設計、實驗、反覆運算和部署 AI 應用程式的功能。 您可以在提示流程使用以受控計算部署的模型搭配 Open Model LLM 工具。 您也可以使用 LangChain 等熱門 LLM 工具中受控計算所公開的 REST API，搭配 Azure Machine Learning 延伸項目。
以受管理電腦進行部署的模型的內容安全
Azure AI 內容安全 (AACS) 服務可與部署至受控計算的模型搭配使用，以篩選各種有害內容類別，例如性內容、暴力、仇恨和自殘，以及越獄風險偵測和受保護的資料文字偵測等進階威脅。 您可以參考此筆記本，取得為 Llama 2 整合 AACS 的參考，或使用提示流程中的內容安全 (文字) 工具，將模型的回應傳遞至 AACS 以進行篩選。 您將根據 AACS 定價針對此類使用個別支付費用。
使用不在模型目錄中的模型
對於模型目錄中未提供的模型，Azure Machine Learning 提供開放且可延伸的平台，以供您使用所選的模型。 您可以使用 Azure Machine Learning 開放且可延伸的平台功能，提供具有任何架構或執行階段的模型，例如使用 Azure Machine Learning 環境取得可封裝架構和執行階段的容器，以及使用 Azure Machine Learning 管線讓程式碼評估或微調模型。 請參閱此筆記本，以取得匯入模型並使用內建執行階段和管線的範例參考。
搭配隨用隨付計費的無伺服器 API
模型目錄中的特定模型可以部署為搭配隨用隨付計費的無伺服器 API，這種部署方法稱為模型即服務 (MaaS)。 透過 MaaS 提供的模型會裝載於 Microsoft 管理的基礎結構中，以便對模型提供者的模型進行 API 型存取。 API 型存取可大幅降低存取模型的成本，並大幅簡化佈建體驗。 大多數 MaaS 模型都隨附以權杖為基礎的定價。
如何在 MaaS 中提供第三方模型？
可供部署為無伺服器 API 且採用隨用隨付計費方式的模型，是由模型提供者所提供，但裝載於 Microsoft 管理的 Azure 基礎結構，並透過 API 存取。 模型提供者會定義授權條款，並設定其模型的使用價格，而 Azure Machine Learning 服務會管理裝載基礎結構、提供推斷 API，並作為資料處理者，以處理透過 MaaS 部署之模型提交的提示和內容輸出。 若要深入了解 MaaS 的資料處理，請參閱資料隱私權一文。
針對 MaaS 中的模型使用支付費用
透過 MaaS 部署之模型的探索、訂閱和取用體驗位於 Azure AI Studio 和 Azure Machine Learning 工作室中。 使用者接受使用模型的授權條款，並在部署期間提供取用的定價資訊。 來自第三方提供者的模型會根據商業市集使用規定透過 Azure Marketplace 計費，而來自 Microsoft 的模型則會使用 Azure 計量作為第一方取用服務計費。 如產品條款所述，第一方取用服務是使用 Azure 計量購買，但不受 Azure 服務條款規範 (這些模型之使用受提供的授權條款規範)。
透過 MaaS 部署模型以進行推斷
透過 MaaS 部署模型可讓使用者取得存取權以準備使用推斷 API，而不需要設定基礎結構或佈建 GPU，從而節省設計時間和資源。 這些 API 可與數個 LLM 工具整合，並按使用量計費，如上一節所述。
使用隨用隨付透過 MaaS 微調模型
對於透過 MaaS 取得並支援微調的模型，使用者可以透過隨用隨付計費利用託管微調功能，使用他們提供的資料來量身打造模型。 如需詳細資訊，請參閱在 Azure AI Studio 中微調 Llama 2 模型。
使用透過 MaaS 部署的模型進行擷取擴增生成 (RAG)
Azure AI Studio 可讓使用者利用向量索引和擷取擴增生成。 使用者可以使用能夠部署為無伺服器 API 的模型，根據自訂資料產生內嵌和推斷，以產生其使用案例特定的解答。 如需詳細資訊，請參閱擷取擴增生成和索引。
供應項目和模型的區域可用性
只有在使用者的 Azure 訂用帳戶屬於模型提供者已提供該產品/服務的國家/地區的某個計費帳戶時，才能使用隨用隨付計費。 如果該產品/服務在相關區域中提供，則使用者必須在可供部署或微調該模型 (如果適用) 的 Azure 區域中，擁有一個中樞/專案。 如需詳細資訊，請參閱無伺服器 API 端點中模型的區域可用性。
透過 MaaS 部署之模型的內容安全
重要
此功能目前處於公開預覽。 此預覽版本沒有服務等級協定，不建議用於處理生產工作負載。 可能不支援特定功能，或可能已經限制功能。
如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
針對透過無伺服器 API 所部署的語言模型，Azure AI 會實作 Azure AI 內容安全文字調節篩選的預設設定，而文字調節篩選可偵測仇恨、自殘、性與暴力這類有害內容。 若要深入了解內容篩選 (預覽版)，請參閱 Azure AI 內容安全中的有害類別。
提示
內容篩選 (預覽) 不適用於透過無伺服器 API 所部署的特定模型類型。 這些模型類型包括內嵌模型和時間序列模型。
當服務處理提示產生內容時，內容篩選 (預覽版) 會同步發生。 您可以根據 Azure AI 內容安全價格個別計費，以供此類使用。 您可以在以下時機停用個別無伺服器端點的內容篩選 (預覽版)：
- 第一次部署語言模型時
- 稍後設定，透過選取部署詳細資料頁面上的內容篩選切換開關
假設您決定使用 Azure AI 模型推斷 API 以外的 API 來處理透過無伺服器 API 所部署的模型。 在這種情況下，除非您使用 Azure AI 內容安全個別實作內容篩選 (預覽版)，否則不會啟用內容篩選。
若要開始使用 Azure AI 內容安全，請參閱快速入門：分析文字內容。 如果您在使用透過無伺服器 API 所部署的模型時未使用內容篩選 (預覽)，則有較高風險讓使用者暴露在有害內容中。
透過無伺服器 API 部署之模型的網路隔離
部署為無伺服器 API 之模型的端點，會遵循部署所在工作區的公用網路存取 (PNA) 旗標設定。 若要保護您的 MaaS 端點，請停用工作區上的 PNA 旗標。 您可以使用工作區的私人端點，保護從用戶端到端點的輸入通訊。
若要設定工作區的 PNA 旗標：
- 前往 Azure 入口網站。
- 搜尋 Azure Machine Learning，然後從工作區清單中選取您的工作區。
- 在 [概觀] 頁面上，使用左側瀏覽窗格移至 [設定]>[網路]。
- 在 [公用存取] 索引標籤下，您可以設定公用網路存取旗標的設定。
- 儲存您的變更。 您的變更最多可能需要五分鐘才能散佈。
限制
- 如果您是在 2024 年 7 月 11 日之前使用私人端點建立的工作區，則新增至此工作區的新 MaaS 端點將不會遵循其網路設定。 相反，您必須為工作區建立新的私人端點，並在工作區中建立新的無伺服器 API 部署，讓新的部署可以遵循工作區的網路設定。
- 如果您擁有 2024 年 7 月 11 日之前建立 MaaS 部署的工作區，而且在此工作區上啟用私人端點，則現有的 MaaS 部署不會遵循工作區的網路設定。 若要讓工作區中的無伺服器 API 部署遵循工作區的設定，您必須再次建立部署。
- 目前 [您的資料] 支援不適用於私人工作區中的 MaaS 部署，因為私人工作區已停用 PNA 旗標。
- 任何網路設定變更(例如，啟用或停用 PNA 旗標) 最多可能需要五分鐘的時間才能傳播。
深入了解
- 了解如何使用 Azure Machine Learning 中的基礎模型，透過 Azure Machine Learning 工作室 UI 或以程式碼為基礎的方法，進行微調、評估及部署。
- 探索 Azure Machine Learning 工作室的模型目錄。 您需要 Azure Machine Learning 工作區，才能探索目錄。
- 評估、微調及部署由 Azure Machine Learning 所策展的模型。