步驟 4. 評估POC的品質

醒目提示評估步驟的工作流程

如需本節中的範例程序代碼,請參閱 GitHub 存放庫

預期時間:5 - 60 分鐘。 時間會根據評估集中的問題數目而有所不同。 對於 100 個問題,評估大約需要 5 分鐘。

概觀和預期的結果

此步驟會使用您剛才策劃的評估集來評估POC應用程式,並建立基準品質、成本和延遲。 下一個步驟會使用評估結果來識別任何質量問題的根本原因。

評估是使用馬賽克 AI 代理程式評估完成,並全面查看本食譜計量一節概述的品質、成本和延遲的所有層面。

評估集中每個問題的匯總計量和評估都會記錄至 MLflow。 如需詳細資訊,請參閱 評估輸出

需求

  • 評估集可供使用。
  • 先前步驟的所有需求。

指示

  1. 05_evaluate_poc_quality 您選擇的 POC 目錄中開啟筆記本,然後按兩下 [ 全部執行]。
  2. 檢查筆記本中的評估結果或使用 MLflow。 如果結果符合您的品質需求,您可以直接跳至 [部署和監視] 。 由於 POC 應用程式是以 Databricks 為基礎所建置,因此已準備好部署至可調整且生產就緒的 REST API。

後續步驟

使用此 POC 品質的基準評估,找出任何質量問題的根本原因,並反覆修正這些問題以改善應用程式。 請參閱 步驟 5。找出質量問題的根本原因。