配置 LLM

link

• 替换 UiPath LLM 订阅：将 UiPath 管理的订阅替换为您自己的订阅，前提是这些订阅与 UiPath 产品已支持的相同模型系列和版本匹配。这样就可以将 UiPath 托管模型与订阅的模型无缝交换。
• 添加自己的 LLM：使用满足产品兼容性条件的任何 LLM。为确保集成顺利进行，您选择的 LLM 必须通过通过探测器调用启动的一系列测试，然后才能在 UiPath 生态系统中使用。

• 兼容性要求：您选择的 LLM 或订阅必须与 UiPath 产品支持的模型系列和版本保持一致。
• 设置：确保在自定义设置中正确配置和维护所有必需的 LLM。如果有任何组件缺失、过期或配置不正确，您的自定义安装可能会停止运行。在这种情况下，系统将自动还原为 UiPath 托管的 LLM，以确保服务的连续性，除非通过 Automation Ops 策略关闭 UiPath LLM。
• 节省成本：如果您的自定义 LLM 设置完整、正确并满足所有必要要求，您可能符合降低消耗率的条件。有关详细信息，请参阅客户托管模型的消耗率。

• Unified Pricing：社区版、企业版平台、Standard Platform、Basic Platform、App Test Platform Enterprise、App Test Platform Standard。
• Flex：高级平台，Flex 标准平台。

通过 Integration Service 直接连接​

通过 Relay 建立私有网络连接​

AI 网关通过自定义连接器建立的连接​

• Azure Open AI
• OpenAI
• Amazon Web Services
• Anthropic Claude
• Google Vertex
• 符合 Open AI V1 要求的 LLM – 使用此选项可连接到 API 遵循 OpenAI V1 标准的任何 LLM 提供程序。 有关详细信息，请参阅《符合 OpenAI V1 要求的 LLM 连接器》文档。
  备注：

  要使用 Integration Service 连接，必须将Integration Service 出站 IP 范围添加到允许列表中。

1. 创建 Integration Service 连接​

1. 在Integration Service中，创建与 LLM 提供程序的连接。
2. 选择用于存储连接的文件夹。
3. 根据所选连接器的要求完成身份验证。
   备注：

   您选择的文件夹将同时控制安全性和可见性。为防止未经授权的访问，请在私有的非共享文件夹中创建 Integration Service 连接。但是，请注意，模型可见性取决于对此文件夹的访问权限。如果管理员无权访问该流程，则关联的模型配置将不会显示在列表中。

2. 添加新的 LLM 配置​

1. 导航到“管理” > “AI Trust Layer” > “LLM 配置” 。
2. 选择“租户” 。
3. 选择“添加配置” 。
4. 选择产品（例如智能体）和功能（例如设计、评估和部署）。
5. 选择“连接文件夹” 。

3. 配置模型​

• LLM 名称– 该字段支持两种配置选项，具体取决于您的用例：
  • 从列表中选择模型 –从预定义列表中选择模型会将 UiPath 管理的 LLM 订阅替换为您自己针对同一模型的订阅。此方案称为“自带订阅 (BYOS)” 。
  • 添加自定义别名 – 输入自定义名称可让您配置未包含在该产品预定义的推荐模型列表中的模型。 此场景称为“自带模型 (BYOM)”。
    备注：

    “添加自定义别名”选项仅适用于支持自定义模型的产品。要了解哪些产品支持自定义模型，请参阅下表。

• API 类型– LLM 支持的 API 端点（例如，打开 AI 聊天补全）。这必须与提供程序公开的端点匹配。
• 连接器– Integration Service 连接器（例如 Microsoft Azure OpenAI、Amazon Web Services）。
  • 如果您有权访问 AI Trust Layer 的自定义连接器（目前可应企业客户请求提供），您还可以选择“创建自定义连接器” ，以通过连接器生成器使用预定义的模板。有关详细信息，请参阅“通过 AI Trust Layer 连接自定义 LLM” 。
• 连接– 之前创建的特定 Integration Service 连接。如果没有可用连接，请在 Integration Service 中创建连接。
• LLM 标识符– 模型标识符与 LLM 订阅中显示的完全相同。
  • 对于 Azure 托管的模型：输入模型部署名称/标识符。
  • 对于 AWS Bedrock 跨区域推理：输入推理配置文件 ID。您必须在模型 ID 的前面加上区域代码，例如： eu.anthropic.claude-3-5-sonnet-20240620-v1:0 。
  • 对于其他提供程序：使用订阅中定义的模型名称。

4. 验证并保存​

1. 选择“测试配置”以验证端点是否可访问。

   • 平台验证连接。
   • 您有责任确保配置正确的模型。

2. 如果验证成功，请选择“保存”激活配置。

   

• 检查状态– 验证 Integration Service 连接的状态。此操作可确保连接处于活动状态并正常运行。
• 编辑– 修改现有连接的任何参数。
• “禁用” – 暂时暂停连接。禁用后，该连接在列表中仍可见，但不会路由任何调用。您可以在需要时重新启用连接。
• 删除– 从系统中永久删除连接。此操作会禁用连接并将其从列表中删除。

• 对于具有可选模型的功能（您可选择使用哪个模型），您可以配置一个或多个模型；未配置的模型将继续使用 UiPath 托管的订阅。
• 对于具有固定模型集的功能（其中功能使用预先确定的模型集），必须配置所有模型才能使功能正常运行；部分配置无效。

• 确保您的 LLM 支持：
  • 工具（功能）调用 – 模型必须能够在执行期间调用工具或功能。
  • 禁用并行工具调用 – 如果提供程序支持，模型应提供禁用并行工具调用的选项。
• 使用自定义模型时，无论模型的真实容量如何，智能体都会默认采用 4096 个令牌限制，因为 UiPath 无法推断客户定义部署的令牌限制。

统一定价​

Flex​