Test Manager - 执行性能场景

test-manager

latest

false

Test Manager 用户指南

重要 :

新发布内容的本地化可能需要 1-2 周的时间才能完成。

执行性能场景

在 Test Manager 中运行性能场景作为空运行或完整负载测试，以评估负载下的系统行为。

Start a performance scenario, follow its four execution phases, and read the live dashboard and charts. A dry run runs each load group with a single robot before you start the full execution.

Context

先通过试运行执行性能场景，以验证系统稳定性和资源需求，然后启动完整执行，以测量在已配置虚拟用户下的负载、响应时间和错误率。

步骤

登录到 Test Manager。
打开项目
Open a performance scenario and select Dry run.

提示：
试运行会使用单个机器人执行每个负载组，以验证自动化的稳定性并检测基础架构的错误配置。在试运行开始后，从右侧展开“应用程序日志”面板，以选中工作流分析器检测到的不受支持功能。在运行完整执行之前，请查看活动日志和工作流文件，以识别并纠正任何问题。试运行还会在运行完整执行之前计算所需的资源。
During the dry run, under Test groups, identify a group and select its associated camera icon to view the live streaming.

备注：
实时流式传输仅在试运行期间可用。
Open a performance scenario for which you already performed a dry run, then select Full execution. The execution screen is opened automatically.
实时监控仪表板并检查执行状态。进度条显示四个连续的阶段。
1. 加载测试配置- 系统验证场景设置并加载配置详细信息（测试用例、负载组、阈值和数据源）。
2. 配置资源- 分配所需的执行资源。
  - 对于 Cloud Robot，这意味着要配置 Serverless Robot 和使用 Platform Units。
  - 对于本地部署机器人，这意味着可以使用正确的计算机和运行时。
3. 准备虚拟用户- 系统将根据定义的负载组设置初始化虚拟用户，其中包括连接机器人、分配测试用例和准备执行环境。
4. 完整执行- 实际的性能测试根据配置的负载配置文件（加速、峰值、减速）运行。在此阶段，可以实时监控指标（响应时间、错误率、基础架构使用情况）。
请参阅执行概述。仪表板显示性能测试执行的摘要。
- 负载组：当前并行执行的活动负载组。
- 虚拟用户：整个场景中当前处于活跃状态的虚拟用户。
- 错误: 到目前为止，所有组在运行期间都发生错误（ HTTP ，自动化错误）。
- 平均响应时间：所有组中检测到的平均响应时间和最长响应时间。
- 图表：以可视化进度表示的加载配置文件。
查阅指标。直方图表示当前选定的负载组的整体平均响应时间。您可以调整高亮显示的条形图并移动其大小，以查看特定的时间范围。此外，还提供了几个图表。
- “负载配置文件”图表部分显示了在给定时间处于活动状态的虚拟用户数量。这反映了配置的加速、峰值和减速阶段。
- The HTTP Response Time (ms) chart section tracks the average response time of HTTP requests over the selected period. Compare against thresholds (for example, 1,000 ms) to see where performance degrades.
- The HTTP Errors chart section displays the percentage of HTTP-level errors (for example, 404, 503). This helps identify if server or network issues are causing instability.
- “自动化步骤持续时间（毫秒）”图表部分衡量执行单个自动化步骤所需的时间。峰值可能表示自动化设计中效率低下或存在问题。
- The Automation Errors (%) chart section shows the percentage of automation-level errors (for example, failed selectors, exceptions). This helps differentiate system errors from automation issues.
- “基础架构 – 执行机器人 CPU (%)”图表部分监控执行负载的机器人的 CPU 使用情况。CPU 使用率较高或持续较高可能表明存在资源瓶颈。
- “基础架构 – 执行的机器人内存（百分比）”图表部分跟踪执行机器人的内存消耗。这对于发现一段时间内的内存泄漏或过度使用情况非常有用。
- 显示 P50、P90 或 P95 等使用百分位指标，以帮助您了解响应时间的分布情况，并识别可能影响用户体验的异常值。这些指标可用于以下指标： “HTTP 响应时间” 、 “HTTP 错误” 、 “自动化步骤持续时间” 、 “自动化错误” 。
监控执行期间的问题。查看执行屏幕右侧的应用程序日志和严重性级别。对于 API 性能测试，您可以查阅图形格式和指标格式的执行进度和结果。系统将显示以下信息：API 级别、平均值、最小值、最大值。
- 信息– 一般信息，例如资源分配
- Warning – 违反阈值或潜在风险情况
- Error – 自动化或HTTP故障（例如，请求超时、选取器错误）
- Fatal – 严重的执行失败，阻止测试继续