Communications Mining 用户指南

什么是注释偏差?

Communications Mining 中的模型基于用户审核的数据进行训练。 用户为其关心的主题创建标签，然后使用适用的标签为示例添加注释。 然后，系统会根据审核后的数据自动训练模型，以预测适用的标签。

标注数据既困难又耗时。 Communications Mining 利用主动学习来加快该过程，帮助用户在尽可能短的时间内标注信息最丰富的数据点。

由于主动学习会选择特定的数据点，因此它往往仅关注基础数据的子集。 此外，在概念之间切换会带来认知开销。 我们鼓励用户同时注释相似主题的多组示例，而不是不断更换主题。

这可能会导致某些主题在已审核数据中的出现频率高于或低于整个数据集的出现频率。 我们将此称为标注偏差，因为用户标注的数据不再代表基础数据。

为什么要关心？​

Communications Mining™ 在验证期间使用审核的数据来评估模型性能。如果此数据偏向于某些主题，则验证结果可能会产生误导。

考虑一家跨国银行的共享邮箱，其中包含来自整个 EMEA 的电子邮件。 Communications Mining 的多语言模型可以理解混合使用多种语言的通信数据。 但是，如果用户仅使用单一语言标记电子邮件，则模型可能会学习专注于该语言的特定功能。

在本例中，验证分数非常适合该模型，因为它在所有带注释的示例上都表现良好。 另一方面，其他语言的电子邮件的性能可能会更差。 用户不会意识到这一点，因为在审核的数据中没有示例突出显示这一点。 这可能会导致依赖模型进行准确预测的任何流程效率低下。

标签偏差背后的数学原理

鉴于已审核的数据在训练和验证模型中发挥的至关重要作用，我们需要检测注释偏差，并在用户的数据不具有代表性时向用户发出警告。

从最简单的层面上讲，注释偏差是指经过用户审核的示例与未经用户审核的示例之间的差异。 假设一个人被要求检查数据集中的注释偏差。 此人可能会查看已审核数据中出现的常见主题，然后查看这些主题在未审核数据中出现的频率。

如果用户找到了区分这两组的可靠规则，我们就可以确信存在不平衡。 另一方面，在没有注释偏差的数据集中，人们将无法准确预测是否会审核示例。 此人的预测表现用于衡量数据集中存在标注偏差的程度。

我们以此概念为起点，设计了偏向标注模型。

可以使用机器学习模型自动化比较任务。此模型与 Communications Mining™ 的核心模型不同，后者会预测哪些标签或通用字段适用于文档。相反，系统会训练模型，以识别审核的数据点。

模型的验证分数显示模型区分已审核示例和未审核示例的难易程度，从而显示数据集中存在多少标注偏差。

对已审核的示例进行分类​

在综合数据集上训练的简单分类器模型的平均精度超过 80%。如果数据集是无偏倚的，则我们预计模型的性能不会比随机机会更好，这与我们在审核的数据中可以查看的偏差相符。

在真实数据集上训练的类似原生分类器模型也可以可靠地检测已审核的示例。 这表明这些数据集中存在注释偏差，但确切来源未知。

对于综合数据集，可以轻松在绘制的数据中查看批注偏差的效果。真实数据集的情况并非如此，真实数据集的数据存在于二维以上，并且模式通常要复杂得多。

相反，我们可以在模型确信未审核的示例中查找模式。 此方法表明，确信预测为未审核的电子邮件通常包含无文本的附件。 如果数据中存在这些电子邮件，则在审核的示例中，这些电子邮件的代表性通常不足。

这构成了明显的注释偏差，并显示了分类器模型的前景。

标注偏差模型经过训练，可以区分已审核的数据和未审核的数据。 在此设置中，模型会尝试通过识别用户注释数据中的模式来捕获用户。 这种对抗性方法是检查已审核数据的有效方法，但也提出了两个有趣的问题。

细微差异​

模型选取的已审核和未审核数据之间的差异应该对用户有意义。 但是，当我们为初始偏差模型提供详细输入时，我们发现该模型有时会关注不重要的模式。

用户不必为了获得良好的注释偏差分数而标记所有无意义功能的组合。 对于几乎所有概念，我们不需要数千个示例即可完全捕获可能的数据点范围。 相反，注释偏差模型应仅关注实际影响注释预测的差异。

不重要的主题​

数据集可能包含用户从未注释过的数据点，因为这些数据点与目标任务无关。

回到我们的跨国银行业务示例，团队可以使用 Communications Mining™ 推动特定国家/地区的用例。每个团队都将根据其目标任务构建一个自定义模型，其中所有模型都使用共享邮箱中的电子邮件。

这些用例可能因团队而异。 欧洲国家/地区可能希望追踪英国退欧对其运营的影响，并会为此创建一组标签。 另一方面，中东和非洲的团队可能不会使用与英国脱欧相关的电子邮件，因此会在模型中将其忽略。

不标注与“脱欧”相关的电子邮件就是标注偏差的一个示例。 但是，这种偏差对于中东和非洲的用户来说并不重要。 偏差模型应考虑到这一点，并且仅在团队认为有用的电子邮件中搜索注释偏差。

我们需要让贴标签者更难专注于小功能，但要以用户认为有用的功能为指导。 为此，我们可以更改传递到注释偏差模型的输入。

模型输入

核心注释模型的输入包含来自输入文本的大量信息。 这使模型能够学习影响标签预测的复杂关系。 但是，对于注释偏差模型，这也让模型专注于文件名等功能中微小的、无意义的差异。

降维是一种在保留原始输入有意义的属性的同时筛选信息的方法。 使用减少的输入可防止偏差模型专注于小功能，同时保留数据集中的重要信息。

用户仅为他们想要跟踪的主题创建标签，因此在降维期间包括标签意味着我们保留最重要的输入特征。 通过这种方法，我们的注释偏差模型不再关注小特征，并且在估计偏差时会考虑标签。

我们将注释偏差模型用于 Communications Mining 中的两项主要任务。

平衡分数​

检测和解决注释偏差对于获得可靠的模型验证分数至关重要。 因此，我们会在模型评分中显示注释偏差模型的性能。

这是采用已审核数据和未审核数据之间相似性度量的形式。 相似度分数低表示已审核的数据与未审核的数据之间存在较大差异，从而突出显示数据集中的注释偏差。

重新平衡​

构建一组无偏差的已审核数据的最佳方法是标注随机选择的示例。 这样，已审核的标签将始终与基础分布匹配。 但是，以这种方式注释效率较低，尤其是对于稀有概念。

相反，Communications Mining™ 使用主动学习，通过针对最有用的示例来加快注释过程。这些目标示例并不总是与基础数据分布相符，这意味着注释偏差会随着时间的推移而逐渐形成。

无法保证主动学习会产生一组无偏差的已审核示例。 但是，当检测到注释偏差时，我们可以使用注释偏差模型来解决任何不平衡问题。 通过这种方式，我们可以从主动学习的训练时间缩短和随机抽样的低注释偏差中受益。

为演示重新平衡如何提高 Communications Mining™ 的性能，我们模拟用户遵循三种主动学习策略来注释示例。

我们在NLRK提供的开源路透数据集上运行了这些模拟，该数据集包含用 90 个标签中的一个或多个标签标记的新闻文章。 每次运行时，都使用相同的随机选择的 100 个初始示例。 对于每个模拟步骤，我们对注释主动学习策略选择的 50 个示例的用户进行建模。 然后，Communications Mining 会重新训练并重复该过程。

下图显示了随着更多批注示例的使用，Communications Mining 的注释模型在路透任务中的性能。同时还会显示平衡分数，表示数据集中存在的批注偏差程度。

Communications Mining 的主动学习策略可生成与随机抽样类似的平衡分数，但产生相同模型性能所需的示例较少。 这意味着带有“再平衡”功能的主动学习可充分利用标准主动学习和随机抽样的优点：在更短的时间内提供经过无偏差审核的示例和良好的模型性能。