
Communications Mining 用户指南
“探索”页面包含各种训练模式,此阶段主要介绍其中三种模式:
- 随机播放- 显示随机选择的消息,以供用户添加注释。请确保在“随机播放”中完成大部分训练,以创建代表更广泛数据集的训练示例训练集。
- “指导” - 用于未审核的消息。当平台对标签做出一些合理的预测后,您可以通过在默认的学习模式(适用于未审核的消息)下审核消息,来提高预测更多样示例的标签的能力。这将向您显示平台不确定所选标签是否适用的消息。
- 低置信度- 显示信息丰富的标签预测未完全涵盖的消息。对于平台认为内容丰富的标签,这些消息或者没有预测,或者是置信度非常低的预测。
本节还将介绍在“探索” 中使用“搜索” 进行的训练,与在“发现” 中使用“搜索” 进行的训练类似。
对于已审核的消息, “指导”是“探索”中的另一种训练模式。有关更多详细信息,请参阅优化模型和使用验证。
下表说明了先前显示的图像中的布局:
| 1 | 调整所显示消息的日期范围。 |
| 2 | 根据消息的元数据添加各种其他筛选器,例如分数或发件人。 |
| 3 | 添加通用字段筛选器。 |
| 4 | 从所有消息切换到已审核或未审核消息,还可以调整固定标签计数与预测标签计数。 |
| 5 | 添加标签筛选器。 |
| 6 | 在分类中搜索特定标签。 |
| 7 | 添加其他标签。 |
| 8 | 展开消息的元数据。 |
| 9 | 刷新当前查询。 |
| 10 | 在不同的训练模式(例如“最近”、“随机”、“训练”和“低置信度”)之间切换,并选择要用作排序依据的标签。 |
| 11 | 在数据集中搜索包含特定单词或短语的消息。 |
| 12 | 下载此页面上的所有消息,或将应用了筛选器的数据集导出为 CSV 文件。 |
准确预测每个标签所需的示例数量可能会因标签概念的广度或特殊性而有很大差异。
标签通常与非常具体且易于识别的单词、短语或意图相关联,并且平台能够使用相对较少的训练示例对其进行一致的预测。 标签也可能包含一个广泛的主题,其中包含与之相关的许多不同的语言变体,在这种情况下,可能需要更多的训练示例,才能使平台一致地识别应应用标签的实例。
该平台通常只需五个示例即可开始对标签进行预测,但为了准确评估标签的性能(即平台对其的预测性能),每个标签至少需要 25 个示例。
在“探索”中添加注释时,每个标签旁边的红色小转盘会指示是否需要更多示例以准确评估标签的性能。随着您提供更多训练示例,转盘开始消失;达到 25 后将完全消失。
这并不意味着平台通过 25 个示例能够准确预测每个标签,但它至少能够验证其对每个标签的预测效果,并在需要额外训练时向您发出警示。
在“探索”阶段,请结合使用前面提到的步骤(主要是随机播放)以及指导和未审核),为您感兴趣的所有标签提供至少 25 个示例。
在“优化”阶段,您可能会发现某些标签需要进行更多训练,以提高其性能。有关更多详细信息,请参阅优化模型和使用验证。
在“探索”中,一旦标签的固定示例达到 25 个,您可能会注意到以下其中一个标签性能指标取代了训练转盘:
- 灰色表示平台正在计算该标签的性能。这意味着它将更新为消失,或者在计算后显示为黄色或红色圆圈。
- 黄色表示标签的性能略差强人意,并且可以改进。
- 红色表示标签性能不佳,需要其他训练或纠正措施来进行改进。
- 如果没有圆圈,则标签的性能令人满意,但可能仍需要改进,具体取决于用例和所需的准确性级别。
- 要了解有关标签性能及其改进方法的更多信息,请查看了解和提高模型性能。
如果您选择标签筛选器栏顶部的勾选图标(如下图所示)以筛选已审核的消息,则系统将向您显示应用了该标签的已审核消息的数量。
如果选择计算机图标来筛选未审核的消息,则系统将显示该标签的预测总数,其中也包括已审核示例的数量。
在 “探索” 中,如果未选择“已审核”或“未审核”,平台会 默认 显示某个标签的已 固定 消息总数。在“报告”中,默认设置为显示预测总数。