Test Cloud 管理员指南

配置 LLM

link

• 替换 UiPath LLM 订阅：将 UiPath 管理的订阅替换为您自己的订阅，前提是这些订阅与 UiPath 产品已支持的相同模型系列和版本匹配。这样就可以将 UiPath 托管模型与订阅的模型无缝交换。
• 添加自己的 LLM：使用满足产品兼容性条件的任何 LLM。为确保集成顺利进行，您选择的 LLM 必须通过通过探测器调用启动的一系列测试，然后才能在 UiPath 生态系统中使用。

• Compatibility requirements: Your chosen LLM or subscription must align with the model family and version supported by the UiPath product.
• 设置：确保在自定义设置中正确配置和维护所有必需的 LLM。如果有任何组件缺失、过期或配置不正确，您的自定义安装可能会停止运行。在这种情况下，系统将自动还原为 UiPath 托管的 LLM，以确保服务的连续性，除非通过 Automation Ops 策略关闭 UiPath LLM。
• 节省成本：如果您的自定义 LLM 设置完整、正确并满足所有必要要求，则可能有资格获得降低消耗费率。

• Azure Open AI
• OpenAI
• Amazon Bedrock
• Google Vertex
• 符合 Open AI V1 要求的 LLM – 使用此选项可连接到 API 遵循 OpenAI V1 标准的任何 LLM 提供程序。 有关详细信息，请参阅《符合 OpenAI V1 要求的 LLM 连接器》文档。
  备注：

  要使用 Integration Service 连接，必须将Integration Service 出站 IP 范围添加到允许列表中。

1. 创建 Integration Service 连接​

1. 在Integration Service中，创建与 LLM 提供程序的连接。
2. 选择用于存储连接的文件夹。
3. 根据所选连接器的要求完成身份验证。
   备注：

   您选择的文件夹将同时控制安全性和可见性。为防止未经授权的访问，请在私有的非共享文件夹中创建 Integration Service 连接。但是，请注意，模型可见性取决于对此文件夹的访问权限。如果管理员无权访问该流程，则关联的模型配置将不会显示在列表中。

2. 添加新的 LLM 配置​

1. 导航到“管理” > “AI Trust Layer” > “LLM 配置” 。
2. 选择“租户” 。
3. 选择“添加配置” 。
4. 选择产品（例如智能体）和功能（例如设计、评估和部署）。
5. 选择“连接文件夹” 。

3. 配置模型​

• LLM 名称– 该字段支持两种配置选项，具体取决于您的用例：
  • 从列表中选择模型 –从预定义列表中选择模型会将 UiPath 管理的 LLM 订阅替换为您自己针对同一模型的订阅。此方案称为“自带订阅 (BYOS)” 。
  • Add custom alias – Entering a custom name lets you configure a model that is not included in the predefined list of recommended models for that product. This scenario is referred to as Bring Your Own Model (BYOM).
    备注：

    “添加自定义别名”选项仅适用于支持自定义模型的产品。要了解哪些产品支持自定义模型，请参阅下表。

• API 类型– LLM 支持的 API 端点（例如，打开 AI 聊天补全）。这必须与提供程序公开的端点匹配。
• 连接器– Integration Service 连接器 (例如 Microsoft Azure OpenAI、Amazon Bedrock)。
• 连接– 之前创建的特定 Integration Service 连接。如果没有可用连接，请在 Integration Service 中创建连接。
• LLM 标识符– 模型标识符与 LLM 订阅中显示的完全相同。
  • 对于 Azure 托管的模型：输入模型部署名称/标识符。
  • 对于 AWS Bedrock 跨区域推理：输入推理配置文件 ID。您必须在模型 ID 的前面加上区域代码，例如： eu.anthropic.claude-3-5-sonnet-20240620-v1:0 。
  • 对于其他提供程序：使用订阅中定义的模型名称。

4. 验证并保存​

1. 选择“测试配置”以验证端点是否可访问。

   • 平台验证连接。
   • 您有责任确保配置正确的模型。

2. 如果验证成功，请选择“保存”激活配置。

   

• 检查状态– 验证 Integration Service 连接的状态。此操作可确保连接处于活动状态并正常运行。
• 编辑– 修改现有连接的任何参数。
• “禁用” – 暂时暂停连接。禁用后，该连接在列表中仍可见，但不会路由任何调用。您可以在需要时重新启用连接。
• 删除– 从系统中永久删除连接。此操作会禁用连接并将其从列表中删除。

• 对于具有可选模型的功能（您可选择使用哪个模型），您可以配置一个或多个模型；未配置的模型将继续使用 UiPath 托管的订阅。
• 对于具有固定模型集的功能（其中功能使用预先确定的模型集），必须配置所有模型才能使功能正常运行；部分配置无效。

• 确保您的 LLM 支持：
  • 工具（功能）调用 – 模型必须能够在执行期间调用工具或功能。
  • 禁用并行工具调用 – 如果提供程序支持，模型应提供禁用并行工具调用的选项。
• 使用自定义模型时，无论模型的真实容量如何，智能体都会默认采用 4096 个令牌限制，因为 UiPath 无法推断客户定义部署的令牌限制。