Communications Mining 用户指南
“验证”页面显示提取性能的概述，并帮助您深入了解每个提取的单项性能。
您可以在“验证” 的“提取” 选项卡中访问验证详细信息。仅当您在数据集中定义了提取字段时， “提取”选项卡才可用。
“验证” 的“提取” 选项卡的默认页面是使用“全部” 筛选器的概述。本页提供有关数据集中提取的整体性能的以下摘要统计信息：
- 提取平均 F1 分数
- 提取平均精度
- 提取平均召回率
置信度级别的工作方式因您使用的基础 LLM 模型而异。
如果您使用 CommPath LLM
如果您使用 CommPath LLM，则模型会为每个预测分配一组置信度分数 (%)。
CommPath 计算并返回以下内容：
-
出现次数置信度：检测到的出现次数与分配的标签相对应的可能性。
-
提取置信度：对所提取内容正确性的置信度。
这些置信度值使下游自动化能够筛选出置信度级别低于设置的标签阈值的提取内容。 如果设置适当的阈值，则可以确保在工作流中仅使用满足所需置信度的预测。
如果您使用预览版 LLM
用于生成式提取的Preview LLM为每次提取提供了一个标签出现置信度值，从而替换了出现置信度和提取置信度。 此方法与 CommPath 不同，后者为每次提取返回单独的置信度值。
如果需要，返回标签置信度有助于筛选出下游的提取内容，从而允许用户提高某些结果的精度。
本部分介绍“获取流结果”活动的输出。有关更多详细信息，请参阅Communications Mining™ 调度程序框架。。
要使用生成式提取进行自动化，您必须首先了解提取输出的内容。。
出现次数置信度是指模型对某消息上可能出现请求的实例数量的置信度，即提取可能发生的次数。
例如，要在下游系统中处理帐户对账单，您始终需要帐户 ID、采购订单号、付款金额和到期日期。
检查下图中的出现置信度示例。它显示了模型如何确信无疑地识别出两种可能发生的情况，您需要在这两种情况下推动此下游流程。
提取可信度
提取置信度是模型对其预测的置信度。这包括它认为自己在预测标签及其相关字段的实例时的准确度。它还包括模型在缺少字段的情况下正确预测的置信度。
考虑与之前相同的示例。要将帐户对账单处理到下游系统中，您始终需要帐户 ID、采购订单号、付款金额和到期日期。
但是，这一次，消息中不会显示 PO 编号，或到期日期，仅显示开始日期。
此示例中的提取置信度是指模型关于识别与标签关联的每个字段的值是否存在的置信度。它还包括模型正确预测字段是否缺失的置信度。
在此示例中，您没有所需的所有字段，无法完全提取所有必填字段。
有效负载示例
流是指您在 Communications Mining 中设置的阈值，以及消息是否符合此阈值。
此路由不返回置信度符合阈值的预测，而不是根据阈值筛选预测。
换句话说，如果满足阈值，则会返回该流。如果不是，则此值为空。#
- 上图包含一个用于说明不同组件的示例代码片段，而不是生成式提取响应的完整输出。用例: 在存在多个提取的地方，它以之前的提取为条件。对于没有提取字段的标签，出现置信度等同于您可以在用户界面中查看的标签置信度。
- 如果由于字段过多而导致模型无法成功提取消息中的所有字段，它将在流响应中返回一个提取内容，该提取内容的出现可信度和提取可信度的值分别为 0。
