开始使用 JavaScript 评估聊天应用中的答案

本文将展示如何根据一组正确或理想的答案（称为基本事实）来评估聊天应用的答案。 每当更改聊天应用程序并对答案产生影响时，都要运行一次评估来比较更改。 此演示应用程序提供了现在就可以使用的工具，以便更轻松地进行评估。

按照本文中的说明操作，你将：

• 使用所提供的针对学科领域的示例提示。 这些提示已在存储库中。
• 从自己的文档中生成用户问题示例和基本真实答案。
• 使用生成的用户问题示例提示进行评估。
• 审查对答案的分析。

体系结构概述

体系结构的关键组件包括：

• Azure 托管的聊天应用：聊天应用在 Azure 应用程序服务中运行。
• Microsoft AI 聊天协议提供了跨 AI 解决方案和语言的标准化 API 协定。 聊天应用符合 Microsoft AI 聊天协议，这允许评估应用与任何符合该协议的聊天应用运行。
• Azure AI 搜索：聊天应用使用 Azure AI 搜索来存储自己的文档中的数据。
• 示例问题生成器：可以为每个文档生成许多问题以及基本真实答案。 问题越多，评估时间越长。
• 计算器针对聊天应用运行示例问题和提示，并返回结果。
• 评审工具允许对评估结果进行评审。
• 差异工具可用于比较不同评估的答案。

将此评估部署到 Azure 时，会为 GPT-4 模型创建 Azure OpenAI 终结点，并拥有自己的容量。 在评估聊天应用程序时，评估程序必须拥有自己的 OpenAI 资源，使用 GPT-4 并拥有自己的容量。

先决条件

• Azure 订阅。 免费创建一个

• 已在所需的 Azure 订阅中授予对 Azure OpenAI 的访问权限。

  目前，仅应用程序授予对此服务的访问权限。 可以通过在 https://aka.ms/oai/access 上填写表单来申请对 Azure OpenAI 的访问权限。

• 部署聊天应用

  • JavaScript
  • 使用 LangChain.js 的 JavaScript

• 这些聊天应用会将数据加载到 Azure AI 搜索资源中。 评估应用需要此资源才能运行。 不要完成上一步骤中的清理资源部分。

  需要该部署中的以下 Azure 资源信息，本文中将其称为聊天应用：

  • 聊天 API URI：azd up 进程结束时显示的服务后端终结点。
  • Azure AI 搜索。 需要使用以下值：
    • 资源名称：Azure AI 搜索资源名称，在 azd up 过程中报告为 Search service。
    • 索引名称：存储文档的 Azure AI 搜索索引的名称。 可以在 Azure Portal 中找到搜索服务。

  聊天 API URL 允许评价通过后端应用程序提出请求。 Azure AI 搜索信息允许评估脚本使用与加载文档的后端相同的部署。

  收集到这些信息后，就不需要再使用聊天应用开发环境了。 本文后面将多次提到它，以说明评估应用如何使用聊天应用。 在完成本文的整个过程之前，请勿删除聊天应用资源。

• 开发容器 环境提供了完成本文所需的所有依赖项。 可以在 GitHub Codespaces（在浏览器中）或在本地使用 Visual Studio Code 运行开发容器。

  • Codespaces（建议）
  • Visual Studio Code

  • GitHub 帐户

打开开发环境

现在从安装了完成本文所需的所有依赖项的开发环境开始。 应该安排好监视器工作区，以便同时看到本文档和开发环境。

本文使用 switzerlandnorth 区域对评估部署进行了测试。

准备环境值和配置信息

使用在评估应用的先决条件期间收集的信息更新环境值和配置信息。

1. 使用以下命令将评估应用资源信息导入 .env 文件中：

   azd env get-values > .env
   

2. 将聊天应用中的 Azure AI 搜索实例的以下值添加到 .env 中，在先决条件部分收集了这些值：

   AZURE_SEARCH_SERVICE="<service-name>"
   AZURE_SEARCH_INDEX="<index-name>"
   

   AZURE_SEARCH_KEY 值是 Azure AI 搜索实例的查询键。

使用 Microsoft AI 聊天协议获取配置信息

聊天应用和评估应用都实现了 Microsoft AI Chat Protocol specification，这是一个用于消耗和评估的开源、云和语言无关的 AI 终结点 API 协定。 当客户端和中间层终结点符合此 API 规范时，就可以在 AI 后端持续使用和运行评估。

1. 新建一个名为 my_config.json 的新文件，并将以下内容复制到其中：

   {
       "testdata_path": "my_input/qa.jsonl",
       "results_dir": "my_results/experiment<TIMESTAMP>",
       "target_url": "http://localhost:50505/chat",
       "target_parameters": {
           "overrides": {
               "semantic_ranker": false,
               "prompt_template": "<READFILE>my_input/prompt_refined.txt"
           }
       }
   }
   

   评估脚本将创建 my_results 文件夹。

   overrides 对象包含应用程序所需的任何配置设置。 每个应用程序都定义了自己的设置属性集。

2. 使用下表了解评估应用程序所用设置属性的含义。

   Settings 属性	说明
   semantic_ranker	使用语义排序器，这是一种根据与用户查询的语义相似性对搜索结果进行重新排序的模型。
   prompt_template	重写用于根据问题和搜索结果生成答案的提示。

3. 将 target_url 更改为在先决条件部分收集的聊天应用的 URI 值。 聊天应用必须符合聊天协议。 URI 采用以下格式：https://CHAT-APP-URL/chat。 确保协议和 chat 路由是 URI 的一部分。

生成示例数据

为了评估新答案，必须将其与“基本事实”答案进行比较，后者是特定问题的理想答案。 从 Azure AI 搜索中存储的文档中生成问题和答案以用于聊天应用。

1. 将 example_input 文件夹复制到名为 my_input 的新文件夹中。

2. 在终端中运行以下命令生成示例数据：

   python3 -m scripts generate --output=my_input/qa.jsonl --numquestions=14 --persource=2
   

生成的问题/答案对存储在 my_input/qa.jsonl（JSONL 格式）中，作为下一步使用的计算器的输入。 对于生产评估，将生成更多的 QA 对，此数据集将生成超过 200 个。

使用优化提示运行首次评估

1. 编辑 my_config.json 配置文件属性：

   properties	新值
   results_dir	my_results/experiment_refined
   prompt_template	<READFILE>my_input/prompt_refined.txt

   细化的提示针对的是主题域。

   If there isn't enough information below, say you don't know. Do not generate answers that don't use the sources below. If asking a clarifying question to the user would help, ask the question.
   
   Use clear and concise language and write in a confident yet friendly tone. In your answers ensure the employee understands how your response connects to the information in the sources and include all citations necessary to help the employee validate the answer provided.
   
   For tabular information return it as an html table. Do not return markdown format. If the question is not in English, answer in the language used in the question.
   
   Each source has a name followed by colon and the actual information, always include the source name for each fact you use in the response. Use square brackets to reference the source, e.g. [info1.txt]. Don't combine sources, list each source separately, e.g. [info1.txt][info2.pdf].
   

2. 在终端中运行以下命令来运行评估：

   python3 -m scripts evaluate --config=my_config.json --numquestions=14
   

   此脚本在 my_results/ 中创建了一个包含评估的新试验文件夹。 文件夹中包含评估结果，其中包括：

   文件名	说明
   eval_results.jsonl	每个问题和答案，以及每个 QA 对的 GPT 指标。
   summary.json	总体结果，如 GPT 平均指标。

使用弱提示运行第二次评估

1. 编辑 my_config.json 配置文件属性：

   properties	新值
   results_dir	my_results/experiment_weak
   prompt_template	<READFILE>my_input/prompt_weak.txt

   该弱提示没有有关主题域的上下文：

   You are a helpful assistant.
   

2. 在终端中运行以下命令来运行评估：

   python3 -m scripts evaluate --config=my_config.json --numquestions=14
   

在特定温度下进行第三次评估

使用一个更有创意的提示。

1. 编辑 my_config.json 配置文件属性：

   Existing	properties	新值
   Existing	results_dir	my_results/experiment_ignoresources_temp09
   Existing	prompt_template	<READFILE>my_input/prompt_ignoresources.txt
   新	温度	0.9

   默认 temperature 为 0.7。 温度越高，答案越有创意。

   提示 ignore 较为简短：

   Your job is to answer questions to the best of your ability. You will be given sources but you should IGNORE them. Be creative!
   

2. 配置对象应如下所示，但请将 results_dir 替换为你的路径：

   {
       "testdata_path": "my_input/qa.jsonl",
       "results_dir": "my_results/prompt_ignoresources_temp09",
       "target_url": "https://YOUR-CHAT-APP/chat",
       "target_parameters": {
           "overrides": {
               "temperature": 0.9,
               "semantic_ranker": false,
               "prompt_template": "<READFILE>my_input/prompt_ignoresources.txt"
           }
       }
   }
   

3. 在终端中运行以下命令来运行评估：

   python3 -m scripts evaluate --config=my_config.json --numquestions=14
   

查看评估结果

根据不同的提示和应用程序设置进行了三次评估。 结果存储在 my_results 文件夹中。 查看不同设置下的结果有何不同。

1. 使用评审工具查看评估结果：

   python3 -m review_tools summary my_results
   

2. 结果看起来类似：

   

   每个值都以数字和百分比的形式返回。

3. 使用下表了解数值的含义。

   值	说明
   真实性	这是指模型的响应在多大程度上是基于可核实的事实信息。 如果响应与事实相符并反映了现实，则被认为是有依据的。
   相关性	这可以衡量模型的回答与上下文或提示的吻合程度。 相关回复可直接解决用户的疑问或陈述。
   一致性	这指的是模型的反应在逻辑上的一致性。 连贯的响应应保持逻辑流畅，不自相矛盾。
   引文	这表示答案是否按照提示中要求的格式返回。
   长度	这测量的是响应的长度。

4. 结果应表明，所有三项评估的相关性都很高，而 experiment_ignoresources_temp09 的相关性最低。

5. 选择文件夹，查看评估配置。

6. 输入 Ctrl + C 退出应用并返回到终端。

比较答案

比较评估返回的答案。

1. 选择两个评价进行比较，然后使用相同的评审工具比较答案：

   python3 -m review_tools diff my_results/experiment_refined my_results/experiment_ignoresources_temp09
   

2. 查看结果。 结果可能会有所不同。

   

3. 输入 Ctrl + C 退出应用并返回到终端。

有关进一步评估的建议

• 编辑 my_input 中的提示，以调整答案的主题域、长度和其他因素。
• 编辑 my_config.json 文件，更改 temperature 和 semantic_ranker 等参数，然后重新进行试验。
• 比较不同的答案，了解提示和问题对答案质量的影响。
• 为 Azure AI 搜索索引中的每个文档生成单独的问题集和基本真实答案。 然后重新进行评估，看看答案有何不同。
• 通过在提示语末尾添加要求，修改提示语以表示较短或较长的答案。 例如 Please answer in about 3 sentences.。

清理资源和依赖项

清理 Azure 资源

本文中创建的 Azure 资源的费用将计入你的 Azure 订阅。 如果你预计将来不需要这些资源，请将其删除，以避免产生更多费用。

要删除 Azure 资源并移除源代码，请运行以下 Azure Developer CLI 命令：

azd down --purge

清理 GitHub Codespaces

返回到聊天应用文章以清理这些资源。

• JavaScript
• Python

后续步骤

• 评估存储库
• 企业聊天应用 GitHub 存储库
• 使用 Azure OpenAI 最佳做法解决方案体系结构构建聊天应用
• 使用 Azure AI 搜索在生成式 AI 应用中进行访问控制
• 使用 Azure API 管理构建可供企业使用的 OpenAI 解决方案
• 使用混合检索和排名功能超越矢量搜索