步驟 6。 反覆實作及評估品質修正

POC 工作流程圖表、反覆專案步驟

需求

  1. 根據根本原因分析,您已找出擷取產生以實作和評估的潛在修正。
  2. 您的 POC 應用程式(或其他基準鏈結)會記錄至 MLflow 執行,並包含 儲存在相同回合中的代理程式評估 評估。

如需本節中的範例程序代碼,請參閱 GitHub 存放庫

預期結果

用來示範 MLflow 評估代理程式的 GIF

指示

針對所有類型,請使用 B_quality_iteration/02_evaluate_fixes Notebook 來評估產生的鏈結與基準設定、POC,以及挑選「優勝者」。 此筆記本可協助您挑選獲勝的實驗,並將其部署到檢閱應用程式或生產環境就緒且可調整的 REST API。

  1. 開啟B_quality_iteration/02_evaluate_fixes筆記本。
  2. 依您要實作的修正類型:
    • 針對資料管線修正:
    • 針對鏈結組態修正:
      • 請遵循 02_evaluate_fixes Notebook 區段中的指示Chain configuration,將鏈結組態修正新增至CHAIN_CONFIG_FIXES變數。
    • 針對鏈結程式代碼修正:
      • 建立修改過的鏈結程式代碼檔案,並將它儲存至 B_quality_iteration/chain_code_fixes 資料夾。 或者,從該資料夾中選取其中一個提供的鏈結程式代碼修正。
      • 請遵循 02_evaluate_fixes Notebook 區段中的指示Chain code,將鏈結程式代碼檔案和變數所需的CHAIN_CODE_FIXES任何其他鏈結組態加入。
  3. 當您從 Run evaluation 數據格執行筆記本時,會發生下列情況:
    • 評估每個修正程式。
    • 使用最佳品質/成本/延遲計量來判斷修正。
    • 將最適合的 REST API 部署至審核應用程式和生產環境就緒的 REST API,以取得專案關係人的意見反應。

後續步驟

繼續進行 步驟 6 (管線)。實作數據管線修正