- 入门指南
- 最佳实践
- 数据隐私
- Autopilot Chat
- 正在生成自动化
- 正在生成测试
- Autopilot for Everyone
适用于 Autopilot for Testers 的指南和限制,涵盖需求评估、测试生成、文本到代码转换、测试数据和结果分析。
Autopilot 有助于在整个测试生命周期中自动执行和增强任务。以下最佳实践和限制可帮助您提高按功能划分的 Autopilot for Testers 的准确性和可用性。
“需求评估”、“手动测试生成”和“分析测试结果”适用于 Test Manager — 有关完整的交付模型细分,请参阅Test Manager 功能可用性页面。“将文本转换为代码”、“自动化手动测试”和“生成测试数据”适用于 Studio,具体取决于以下其版本要求。
需求评估
Autopilot 会评估需求的质量并提出改进建议。以下准则提高了这些评估的相关性和准确性:
- 具有可衡量的验收标准的清晰、完整的需求可让评估更准确。
- 重点评估(例如安全或性能检查)会返回相关性更高的建议。
- 支持文件(例如指南或规范)为 Autopilot 提供了额外的上下文。
其他说明
您可以通过在“提供其他指导”屏幕中提供其他说明来指导评估。
提示库提供了开箱即用的提示,用于从一致性、清晰性和完整性等角度分析性能相关方面、安全相关方面的需求。对于经常评估的软件质量属性,您还可以将自己的自定义提示添加到提示库中,从而标准化整个团队的评估。
要控制 Autopilot 返回的增强功能建议的数量,请在您的指令中包含计数,例如:“生成此需求的前 20 条增强建议,并按优先级对其进行排序。”
支持文档
支持文档使用附加信息来补充需求描述。Autopilot 在塑造和评估需求时,会同时考虑需求描述及其支持文档,还会对文档本身的增强功能提出建议。
- 安全准则— 安全准则、策略文档或安全审核结果。Autopilot 会检查它们是否与文档不一致,或是否与需求描述中的安全方面存在不一致。
- 无障碍功能指南— 无障碍功能指南、审核报告或用户无障碍功能规范。Autopilot 会根据需求描述中的无障碍功能标准进行交叉检查。
- 合规性清单— 合规性清单、监管摘要或行业合规要求。Autopilot 将根据需求描述中的合规性标准进行检查,以识别在遵守法规方面的差距。
功能限制
支持的文件类型
您可以上传以下格式的文件:
- 仅处理文本内容 - TXT、BPMN、CSV
- 可处理文本和图像内容 – DOCX、XLSX、PNG、JPG、PDF
输入令牌容量
Autopilot 的输入令牌容量为 128,000 个令牌,约等于 96,000 个单词或 512,000 个字符。请将此需求描述和支持文档保持在此上限内。这是产品级别的限制,独立于基础模型的 上下文窗口 和 输出令牌 限制 — 有关这些限制,请参阅支持的模型和限制。
作为近似值,100 个令牌对应于约 75 个单词或 400 个字符。
要估计文档的令牌计数,请将其保存为 TXT 文件,然后将内容粘贴到OpenAI Tokenizer 工具中。结果为近似值,实际计数可能更高。
建议生成
Autopilot 一次最多生成 50 条建议。如果未指定数字,则 Autopilot 会生成前 15 条建议。
手动测试生成
Autopilot 根据需求和支持文档生成手动测试用例和测试步骤。测试质量在很大程度上取决于您提供的需求的质量。
要求说明
格式正确的需求会描述其目的、应用程序逻辑和明确的验收标准。需求通常与质量方面相关,例如功能、性能、可用性和安全性。
要求目的
Autopilot 依赖于特定性。宽泛或模糊的描述可能会导致出现不相关或不正确的测试用例。首先以简洁、以用户为中心的语句描述需求的目的,强调给用户带来的好处。
示例:“作为潜在的保单持有人,我想计算保险费,以便了解潜在成本。”
应用程序逻辑
生成的测试步骤的准确性取决于 Autopilot 对用户旅程和应用程序序列的理解。描述从流程开始到最终测试操作,用户与应用程序的特定交互,以及应用程序的响应。
示例:“用户从主屏幕开始,通过主菜单导航到‘获取报价’屏幕。他们输入个人数据,包括年龄和性别,然后选择所需的保险范围和保单条款。当他们选择“计算保险费”时,应用程序将计算保险费并在下一个屏幕上显示。
验收标准
清晰、可衡量的验收标准指导 Autopilot,以验证特定结果。涵盖积极场景和消极场景,包括无效输入和错误状态,以及安全性、可用性和可扩展性等非功能性因素。如果没有验收标准,Autopilot 可能会生成不足的测试用例。
示例:
- 系统根据用户的年龄计算保费。每超过 25 周岁,就在 100 美元的基本保费上增加 5 美元。
- “系统为吸烟者增加 50 美元的保费,因为相关的健康风险更高。”
- “如果用户输入的年龄不到 18 周岁,系统将显示一条错误消息。”
- “当并发用户数量不超过 1,000 时,保费计算将在 3 秒内完成。”
其他说明
您可以通过在“提供其他指导”屏幕中提供其他说明来聚焦生成。
提示库提供开箱即用的提示,可根据流程图生成端到端测试用例,为有效的端到端场景生成测试,并生成可暴露难以捕获的问题的测试。您也可以为经常生成的场景添加自己的自定义提示词。
默认情况下,Autopilot 会生成具有以下行为的测试用例:
- 仅为每个测试用例中的最终测试步骤生成预期结果。要为每个步骤生成预期结果,请添加说明,例如“为每个测试步骤生成预期结果”。
- 仅根据请求生成先决条件和后置条件;指定要包括的内容,因为默认情况下两者都不会生成。
- 测试用例的数量不固定 — 要控制该数量,请在指令中包含计数,例如:“生成此需求的前 20 个测试用例。”
支持文档
支持文档是对需求描述的补充,并帮助 Autopilot 生成更准确的测试用例。
- 流程图— 图像或 BPMN 文件形式的用例图表、流程图和流程图。它们有助于 Autopilot 遵循用户活动的顺序和逻辑流程。
- 模型和线框— UI/UX 要求的可视化图表。它们阐明布局、用户交互和要测试的元素,这在测试新的前端功能时非常有用。
- 合规文档— 针对受监管行业(例如医疗保健、金融或远程通信)的合规和监管文档。Autopilot 已将这些标准集成到生成的每个测试用例中,而不仅仅是那些与特定合规性标准相关联的用例。
- 讨论副本— 开发者、产品所有者和测试者之间的需求讨论副本。它们传达了团队如何解释或计划实施需求。
功能限制
支持的文件类型
您可以上传以下格式的文件:
- 仅处理文本内容 - TXT、BPMN、CSV
- 可处理文本和图像内容 – DOCX、XLSX、PNG、JPG、PDF
输入令牌容量
Autopilot 的输入令牌容量为 128,000 个令牌,约等于 96,000 个单词或 512,000 个字符。请将此需求描述和支持文档保持在此上限内。这是产品级别的限制,独立于基础模型的上下文窗口和输出令牌限制。有关这些限制,请参阅支持的模型和限制。要估计令牌计数,请使用要求评估下所述的令牌生成器指南。
测试用例生成
Autopilot 一次最多生成 50 个测试用例。如果不指定数量,Autopilot 会生成 10 个测试用例。
将文本转换为代码
Autopilot 会在 Studio 编码自动化中将自然语言提示转换为代码。使用编码自动化上下文菜单中的“生成代码”操作,将提示转换为代码。Autopilot 可以生成 C# 代码,重构现有代码并生成 UiPath 自动化。有关可用方法,请参阅“生成代码” 。
要将文本转换为代码,请使用 Studio 2024.10.1 或更高版本。
为了获得更好的结果:
- 指定语言和目标,例如“重构此 C# 方法”。
- 提示词要简短直接。
提示示例
- “重构下方方法,提高其性能。”
- “创建一个方法,以比较两个字符串的相似度,并使用输入参数“string1”和“string2”。”
- “在‘产品’上选择。”
- “在 Orchestrator 上运行作业‘myDemoJob’。”
自动化手动测试
将Studio 链接到 Test Manager后,Studio Desktop 中的Test Explorer会显示 Test Manager 项目中的所有测试用例,包括自动测试和手动测试用例。Autopilot 可将手动测试用例转换为自动化测试用例。要了解如何操作,请参阅根据手动测试用例创建编码测试用例和根据手动测试用例创建低代码测试用例。
要自动执行手动测试,请使用 Studio Desktop 2024.10.1 版或更高版本。
准备一致的对象存储库
Autopilot 使用用户界面自动化将手动测试步骤转换为自动化步骤。要引用被测试的用户界面元素,Autopilot 需要每个元素的一个对象存储库引用。在手动测试步骤和对象存储库中使用相同的控件名称。
例如,对于手动步骤“在‘提交贷款申请’中进行选择”,Autopilot 会生成一个“选择”活动,并查找名为“提交贷款申请”的对象存储库元素。一致的控件名称可以使转换更加顺畅。
使用常见活动名称
典型的手动测试步骤,例如“输入‘ [email protected] ’在‘电子邮件’字段中输入文本,包含操作(“输入”,识别为“输入信息”活动)、数据 (‘ [email protected] ’) 和目标(“电子邮件”,识别为对象存储库元素)。
下表列出了要使用的手动步骤动词以及它们映射到的 Studio 活动和编码自动化 API。
自动执行表单填写
对于需要输入数据的表单,使用“填写表单”关键字,让 Autopilot 对其进行自动化。
此功能仅在生成编码测试用例时可用。
例如,对于步骤“在屏幕上名为‘myFormScreen’的表单中填写以下值:电子邮件地址: ‘[email protected] ’,“贷款金额:'10000',贷款期限:'3'”,Autopilot 在您的编码自动化中运行“填写表单”命令,并在表单中为已识别的控件填充值。
生成测试数据
Autopilot 会为您的测试用例生成综合测试数据。由于测试数据管理可能会占用多达 50% 的测试工作,因此这可以节省大量时间。
要生成合成测试数据,请使用 Studio Desktop 2024.10.1 版或更高版本。
为数据字段创建参数
生成测试数据时,Autopilot 会考虑工作流中的现有参数以及提示中的说明,并力求在测试用例中实现高覆盖率。尽可能使用参数,而不是局部变量或固定的字符串值,以便生成的数据符合工作流的动态要求。
选择数据组合方法
默认情况下,Autopilot 会生成大约 10 个数据记录,以实现高代码覆盖率或活动覆盖率。如果您的测试策略需要特定算法,例如配对算法或所有组合算法,请将其包含在提示中,例如:“为每个参数生成测试数据并逐对合并数据字段。”
自定义您的数据集
您可以指示 Autopilot 执行其他任务,例如生成特定数量的记录或包含其他字段。例如:
- “至少生成 25 条数据记录。”
- “在数据集中包含‘国家/地区’字段,为每条记录分配不同的国家/地区值。”
分析测试结果
Autopilot 提供有关失败的测试用例的见解,并提供有关降低测试组合失败率的建议。生成报告时包含的测试结果越多,尤其是失败的测试用例,获得的见解就越有效。目标是了解测试失败的主要原因。
每个报告部分涵盖测试结果的一个方面:
- 常见错误— 按语义对相似的错误消息进行分组,以突出显示最常见的问题。
- 错误模式— 将失败的测试用例分类为更广泛的主题,以揭示重复出现的系统性问题。
- 建议— 提供可行的建议,以指导您的后续步骤,以稳定测试执行。