代理评估输入架构

本文介绍代理评估评估评估应用程序的质量、成本和延迟所需的输入架构。

• 在开发期间，评估会脱机进行，评估集是代理评估所需的输入。
• 当应用程序处于生产环境中时，代理评估的所有输入都来自推理表或生产日志。

对于联机和脱机评估，输入架构是相同的。

有关评估集的一般信息，请参阅 评估集。

评估输入架构

下表显示了代理评估的输入架构。

expected_response 准则

基本事实 expected_response 应仅包含正确响应所需的最小事实集。 如果从其他来源复制响应，请务必编辑响应以删除任何不需要的文本，以使答案被视为正确。

仅包含所需的信息，而忽略答案中不严格要求的信息，使得代理评估能够提供更可靠的输出质量信号。

请求架构

请求架构可以是下列项之一：

• 纯字符串。 此格式仅支持单轮对话。
• messages 字段，它遵循 OpenAI 聊天完成架构，并且可对完整聊天进行编码。
• 用于最新请求的 query 字符串字段，以及对先前对话轮次进行编码的可选 history 字段。

对于多轮聊天应用程序，请使用上面的第二个或第三个选项。

以下示例显示了评估数据集的同一 request 列中的所有三个选项：

import pandas as pd

data = {
  "request": [

      # Plain string
      "What is the difference between reduceByKey and groupByKey in Spark?",

      # Using the `messages` field for a single- or multi-turn chat
      {
          "messages": [
              {
                  "role": "user",
                  "content": "How can you minimize data shuffling in Spark?"
              }
          ]
      },

      # Using the query and history fields for a single- or multi-turn chat
      {
          "query": "Explain broadcast variables in Spark. How do they enhance performance?",
          "history": [
              {
                  "role": "user",
                  "content": "What are broadcast variables?"
              },
              {
                  "role": "assistant",
                  "content": "Broadcast variables allow the programmer to keep a read-only variable cached on each machine."
              }
          ]
      }
  ],

  "expected_response": [
    "expected response for first question",
    "expected response for second question",
    "expected response for third question"
  ]
}

eval_dataset = pd.DataFrame(data)

评估输入中数组的架构

数组 expected_retrieved_context 和 retrieved_context 的架构如下表中所示：

计算指标

下表中的列指示输入中包含的数据，并 ✓ 指示提供该数据时支持该指标。

有关这些指标度量值的详细信息，请参阅 LLM 评委如何评估质量。