智能体用户指南

评估

关于评估​

术语​

创建评估​

根据试运行情况创建评估​

1. 设计智能体后，请选择“调试配置”。
2. 在“调试配置”窗口中，确认解决方案中使用的资源，然后：
   1. 提供测试运行的输入：
      • 通过键入内容来手动提供输入，或
      • 模拟输入：使用 LLM 为智能体参数生成输入。您可以让 LLM 自动生成输入或提供提示，以将其引导到特定示例。
   2. 配置您是想使用真实工具进行测试，还是使用一个、多个或所有模拟工具进行测试。
      • 模拟工具：使用 LLM 模拟一个或多个智能体工具。描述每个工具的响应方式，并模拟您的智能体所依赖的部分或全部工具集。
3. 选择“保存和调试”。 结果显示在“执行追踪”底部面板中。 指标可以显示您的智能体正在使用真实数据还是模拟数据运行。
4. 如果输出正确，请选择“添加到评估集”按钮。 如果输出不正确，您可以：
   • 优化提示词：调整提示词并重新测试智能体，直到输出正确为止。
   • 根据错误输出创建评估：根据错误输出生成评估，然后对其进行手动编辑，以符合预期结果。
5. 试运行列出在添加到评估集窗口中。对于您想要添加到评估的任何运行，选择添加到默认集。 如果您已经创建评估集，您可以从可用的下拉列表中选择该集。
6. 接下来，转到“ 评估集 ”面板。提供三个选项：
   1. 使用预构建评估集组织评估。
   2. 使用模拟输入和工具生成新集。
   3. 在现有集中添加评估，包括真实和模拟数据。
7. 选择集评估以运行评估。您还可以从集中选择想要评估的特定评估。
8. 转到结果选项卡，查看评估分数和详细信息。

从零开始创建评估​

1. 设计智能体之后，转到评估集选项卡并选择新建。 您还可以选择导入，以使用来自其他智能体评估的现有 JSON 数据。
2. 为评估集添加相关名称。
3. 选择添加到集，以创建新评估。对于集中的每一个新评估：
   1. 添加名称。
   2. 为输入字段（从已定义的输入参数继承而来）添加值和预期输出。
   3. 选择“保存”。
4. 接下来，选择设置评估程序，将评估程序分配给评估集。 您可以为一个集分配一个或多个评估程序。
5. 选择保存更改。
6. 在评估集主页中，对您要运行的每个评估集选择运行评估集。
7. 转到结果选项卡，查看评估分数和详细信息。

基于 runtime 追踪创建评估​

1. 首先，运行您的智能体。
2. 在 Orchestrator 中，转到“自动化 > 作业”，然后打开智能体运行的作业追踪。 或者，转到“智能体实例管理”页面，以查看智能体运行追踪记录。
3. 为智能体运行提供反馈：
   • 对每个追踪选择“赞”或“踩”图标。
   • 添加注释，以使评估可操作。
4. 在智能体定义中获取 runtime 追踪：
   • 返回 Studio Web 中的智能体，然后导航到“评估”>“评估集”。
   • 在“创建”按钮下，选择“获取 runtime 追踪”，以提取收到反馈的追踪记录。
5. 将追踪记录添加到评估集中：
   • 从获取的追踪记录中，选择“添加到评估集中”。
   • 根据需要编辑输入和预期输出。
   • 将追踪记录保存到选定的评估集中。
6. 将追踪记录保存到选定的评估集中。

生成评估​

1. 选择“创建”。
2. 选择“生成新评估集”。 您可以让 LLM 根据现有智能体、其设计运行情况、参数自动生成评估集，或提供提示以将其引导到特定示例。有关详细信息，请参阅“在评估中配置模拟”。

评估者​

评估器类别​

• 确定性评估器使用预定义的基于规则的匹配方式，对于相同的输入始终产生一致的结果。它们不依赖于语言模型。
• LLM 作为评判者的评估器使用语言模型来评估语义、依据性或相关性，并且能够容忍语言中的合理差异。
• 轨迹评估器使用语言模型对智能体在整个运行过程中的行为进行评估，包括中间步骤和工具使用情况。

选择评估程序类型​

• LLM 作为评判者（语义相似性、忠实性、上下文精确度）：
  • 确定根输出目标时，建议将此方法作为默认方法。
  • 对复杂输出提供灵活评估。
  • 除了精确匹配之外，还可以评估质量和正确性。
  • 最适用于评估推理、自然语言响应或复杂的结构化输出。
• 确定性（精确匹配、JSON 相似度、CSV 列精确匹配）：
  • 如果希望获得完全匹配，建议选择此类型。
  • 当您严格定义了输出要求时，此类型最有效。
  • 适用于复杂对象，但最适用于:
    • 布尔值（真/假）
    • 特定数值
    • 精确的字符串匹配
    • 基元数组。
• 轨迹：
  • 当您需要评估智能体的整体行为，而不仅仅是其最终输出时，建议使用。

定义评估程序​

1. 在您的智能体项目中，选择“评估器”。
2. 选择新建：
3. 选择您首选的评估器类型，然后选择“继续”。
4. 配置评估程序：
   1. 提供相关的名称和说明。
   2. （仅适用于基于 LLM 的评估器和轨迹评估器）选择用于评估的模型。
   3. 选择目标输出字段：
      • 根级别目标（全部）：评估整个输出。
      • 特定于字段的目标定位：评估特定的一级输出字段。可用字段继承自系统提示中定义的输出参数。c. 添加一个提示（对于基于 LLM 的评估器和轨迹评估器，为必填项），用于定义评估器应如何对输出进行评分。

在评估中配置模拟​

如何设置评估模拟​

1. 在“ 评估集 ”选项卡中，选择“ 创建” ，然后选择“ 生成新的评估集”。
2. 输入您想要生成的评估用例的描述。 您可以提供高级上下文、特定场景或粘贴相关内容，以指导您的生成。如果将此字段保留为空，系统仍会自动为您生成评估用例。
3. 选择“ 生成评估”。 Autopilot 会生成多个评估。对于每个评估，您可以查看和编辑模拟指令、输入生成指令和预期行为说明。
4. 选择您想要使用的评估，然后选择“ 添加集”。

1. 打开任何评估集，然后对任何评估都选择“ 编辑”。 此时将显示“ 编辑评估 ”面板。
2. 在“ 安排 ”部分中，使用手动值或 runtime 生成指令定义或生成输入数据。 如果您手动定义输入数据，您可以将“ 测试 ”字段设置为“ 真” ，以表示该字段是测试场景的一部分。
3. 在“ 行为 ”部分中，选择每个工具应模拟行为还是执行真实调用，并添加模拟指令。 工具执行是默认设置。
4. 在“ 断言 ”部分中，指定评估基于输出匹配还是智能体轨迹，并描述预期行为和输出。
5. 选择“ 保存” ，以应用您的配置。

Optimizing your agent through evaluations​

• Interprets your agent definition (for example, system prompt and behavioral instructions) together with evaluation results.
• Runs multiple evaluation passes to identify areas for improvement.
• Generates recommended prompt-level modifications aimed at improving evaluator scores.
• Shows you a projected score comparison before you apply any changes.
• Surfaces recommended modifications you can apply immediately to strengthen agent behavior.
• Provides full visibility into how recommendations were produced through an optimization trace.

• Your agent must have at least one completed evaluation run.
• The evaluation set must show results (scores) for one or more evaluators.

1. Run evaluations for your agent.

2. Go to Evaluations → Evaluation sets.

3. Select a set with completed results, and select Optimize.

4. In the Optimize window, set the number of passes. Passes controls how many times the Optimize service reviews your agent and evaluation results. Each pass reruns the analysis, refining the recommendations. Choosing a higher number (up to 10) can yield more precise improvements, but it also increases processing time.

5. Select Start Optimize. The optimization runs asynchronously. You can close the dialog and return later while the process continues.

   

• Each optimization pass and evaluation step.
• Individual LLM calls used during analysis.
• Token usage, execution time, and status for each step.
• The agent output and evaluator assertions used to derive recommendations.

• You see a before and after comparison of your agent’s system prompt.
• Changes are highlighted inline so you can easily identify what was added, removed, or refined.
• A projected evaluator score improvement is shown at the top, indicating the expected impact if the changes are applied.
• A unified diff toggle lets you switch between inline and diff-style views.

• Accept to apply the proposed changes directly to your agent definition.
• Reject to discard the suggestion and keep your current prompt.

• Is available only for autonomous agents
• Is less effective when simulated tool calls are used
• Runs asynchronously and may take some time to complete

在评估中测试模型设置​

1. 从 Agent Builder 资源管理器面板中，选择评估集。

2. 选择评估集。

3. 选择齿轮图标以打开评估设置。

4. 在评估集属性面板中，添加多个温度和模型组合。例如:

   • 温度 0.2，模型 A
   • 温度 0.5，模型 A
   • 温度 0.7，模型 A
   • 温度 0.5，模型 B

   每个配置都会创建单独的评估运行。

   

5. 选择评估集，以运行所有配置。运行完成后，打开结果选项卡来比较结果。

   

使用文件输入定义评估​

1. 打开智能体，然后导航到“评估集”。
2. 创建新的评估或编辑现有评估。
3. 在“输入设置”面板中，找到“文件输入字段”。
4. 上传新文件或从可用评估文件中选择一个文件。
5. 保存评估并运行评估集。

使用评估​

在哪里进行评估​

• 设计画布中的底部面板 – 在您主动构建或测试智能体时，提供快速访问评估的机会。 面板包含：

  • “历史记录”选项卡，用于查看过去的运行以及完整追踪记录，并将其直接添加到评估集中。
  • “评估”选项卡，用于查看评估集，查看最近的分数，深入了解详细信息，或单独或完整重新运行测试。您还可以比较实际输出与预期输出，并在正确的情况下使用实际输出更新评估。
  • “执行追踪”选项卡，用于实时跟踪当前运行的追踪详细信息。 对于对话智能体，此选项卡可用作“聊天”，提供一个用于测试智能体的交互式聊天窗口，同时显示每轮对话的执行历史记录。

• “智能体定义”下的“评估”选项卡 – 提供完整的评估工作区。 在这里，您可以创建和组织评估集，分配评估者，配置输入和预期输出，以及大规模运行评估。 这是设置结构化评估场景和一段时间内管理评估资产的最佳位置。

精心组织您的评估提示词​

评估次数​

• 智能体复杂性
  • 输入参数的数量
  • 输出结构的复杂性
  • 工具使用模式
  • 决策分支
• 输入
  • 可能的输入范围：数据类型、值范围、可选字段
  • 边缘用例
• 使用模式
  • 常见用例
  • 不同的角色
  • 错误情况

评估集​

• 一个评估集用于完整输出评估
• 另一个评估集用于边缘用例
• 另一个评估集用于处理拼写错误。

• 逻辑覆盖：制定输入组合、边缘用例和边界条件。
• 冗余管理：应对每个逻辑等效用例进行 3-5 次评估。
• 质量胜于数量：更多的评估次数并不总是意味着更好的结果。应专注于有意义的测试。

何时创建评估​