代理程式評估輸入架構

本文說明代理程式評估所需的輸入架構，以評估應用程式的品質、成本和延遲。

• 在開發期間，評估會脫機進行，而評估集是代理程式評估的必要輸入。
• 當應用程式在生產環境中時，代理程式評估的所有輸入都來自推斷數據表或生產記錄。

在線和離線評估的輸入架構都相同。

如需評估集的一般資訊，請參閱 評估集。

評估輸入架構

下表顯示代理程式評估的輸入架構。

expected_response 方針

基準真相 expected_response 應該只包含正確回覆所需的最少事實集。 如果您複製其他來源的回覆，請務必編輯回覆，刪除任何非必要的文字，答案才會被視為正確。

只包含必要資訊，並排除答案中並非嚴格要求的資訊，可讓代理程式評估在輸出品質上提供更強固的訊號。

要求的結構描述

請求結構描述可以是下列其中之一：

• 純字串。 此格式僅支援單一回合交談。
• OpenAI 聊天完成結構描述後面的 messages 欄位，可以編碼完整的交談。
• 最近要求的 query 字串欄位，以及編碼先前交談回合的選擇性history 欄位。

針對多回合聊天應用程式，請使用上述第二或第三個選項。

下列範例顯示評估資料集相同 request 資料行中的所有三個選項：

import pandas as pd

data = {
  "request": [

      # Plain string
      "What is the difference between reduceByKey and groupByKey in Spark?",

      # Using the `messages` field for a single- or multi-turn chat
      {
          "messages": [
              {
                  "role": "user",
                  "content": "How can you minimize data shuffling in Spark?"
              }
          ]
      },

      # Using the query and history fields for a single- or multi-turn chat
      {
          "query": "Explain broadcast variables in Spark. How do they enhance performance?",
          "history": [
              {
                  "role": "user",
                  "content": "What are broadcast variables?"
              },
              {
                  "role": "assistant",
                  "content": "Broadcast variables allow the programmer to keep a read-only variable cached on each machine."
              }
          ]
      }
  ],

  "expected_response": [
    "expected response for first question",
    "expected response for second question",
    "expected response for third question"
  ]
}

eval_dataset = pd.DataFrame(data)

評估輸入中的陣列架構

陣列 expected_retrieved_context 和 retrieved_context 的結構描述，如下表所示：

計算計量

下表中的數據行表示輸入中包含的數據，並 ✓ 指出提供該數據時支援計量。

如需這些計量量值的詳細資訊，請參閱 如何向 LLM 評委評估品質。