Communications Mining 用户指南
借助平台全面的验证功能（包括模型评分功能），您现在可以相对简单地了解何时停止模型。
模型所需的性能级别取决于您和您的企业，但平台的模型评分可让您很好地了解模型的性能，以及如何在需要时进行改进。
分数为 70 或更高的模型被分类为“良好” ，而分数为 90 的模型才会被分类为“优秀” 。
无论用例如何，都建议您确保在停止训练之前应用以下内容：
- 您的模型至少具有提供“良好”等级的总体分数，因为这意味着平台认为该模型的整体性能相对良好。
- 每个单独因素还有一个至少为“良好”的评分。
- 确保所有重要标签都没有红色或黄色性能警告。
对于以分析为重点的模型，除了先前列出的因素外，模型训练者还应自行决定对模型性能的优化程度。性能要求可能取决于各种因素，包括用例的目标和模型训练器继续训练的能力。
如果要创建用于启用自动化的模型，建议为模型设置“优秀”评分，并且在将该模型部署到生产中之前，使用实时数据进行测试。
其他可选性能检查
虽然模型评分是一项全面的性能评估，但您可能需要完成一些额外的检查，以确保您对模型的性能完全满意。
如果是这种情况，您可以使用建议的操作执行以下一些有用的检查。值得注意的是，如果平台认为您采取其中任何操作很重要，它也会在“验证”中建议您执行这些操作。
| 选中 | 流程 | 要执行的操作 |
|---|---|---|
| 两天经期预测审核 | 查看近期 1-2 天数据的预测：使用时间筛选器和下拉列表中的“最近”选择最近 2 天的数据。 查看预测，确保每条消息都具有相当高的可信度预测。 通过审核 1-2 天数据的预测，应确保涵盖所有潜在概念 |
如果有些消息没有预测或置信度不足，则将其注释为正常消息 • 然后以“随机播放”和“ 低置信 度”模式训练 更多内容 |
| 随机播放 | 评论随机播放中至少 5 页的预测。每条消息都应有一个置信度较高的预测标签 |
如果有些消息没有预测或置信度不足，则将其注释为正常消息 • 然后以“随机播放”和“ 低置信 度”模式训练 更多内容 |
| 低可信度 | “低置信度”模式会显示信息丰富的标签预测未完全涵盖的消息。对于平台认为内容丰富的标签，这些消息或者没有预测，或者是置信度非常低的预测。 |
如果存在未覆盖的消息，请为其添加新标签，并正常训练 在找到现有标签消息的位置，照常应用该消息 |
| 重新发现 | 返回到“发现”可以向您显示潜在的新集群，在这些集群中应用任何标签的概率都很低。这应用于确保您没有遗漏任何潜在的标签，或为现有标签提供更多样的示例，方式与低置信度类似。 |
如果存在预测值为零（或预测值非常低）的集群，则使用新标签或现有标签（如适用）注释该集群 • 照常训练出任何新标签 |
重新发现
重新发现是一个可以在训练过程中随时重新访问的步骤，但在检查您是否已完成足够的训练时也非常有用。
此检查本质上只需要返回到 集群 模式下的“发现” 页面，并 查看其中的集群 以检查其预测，并查看“发现” 是否找到了训练可能遗漏的任何集群。
在平台中完成大量训练（180 个注释）后，或在数据集中已添加大量数据（1000 条消息或 1%，以较大者为准）后， “发现”中的集群会重新训练，并且至少 1 个注释），则应在整个训练过程中定期更新模型。
发现会尝试查找标签预测未完全覆盖的集群。如果“发现” 中的某些集群应预测某些标签，但没有预测，则您知道需要对这些标签进行更多训练。有关如何在Discovery中注释集群的更多详细信息，请参阅使用集群进行训练。
如果您的模型经过良好训练，则“发现”将难以找到置信度低或没有预测的集群。如果您发现“发现”中的每个集群都具有相当高的置信度且预测正确，则可以很好地表明您的模型很好地覆盖了数据集。
