当 AI 从识别明确对象走向判断投诉性质、业务优先级和回答是否充分，企业需要购买的不只是更多标签，还包括可执行的判断规则。本文讨论这一长期有效的治理问题，不将既有研究包装成近期新闻。核心建议是：先解释分歧从哪里来，再决定是否消除它；不能用统一后的标签反过来证明原始判断一致。
从购买标签数量，转向确认判断是否可重复
在明确的测量任务里，规则可以规定某个尺寸超出公差即为不合格；在语言任务里，“客户很不满”和“必须立即升级处理”却不是同一个标签。前者描述表达，后者需要业务责任与处置条件。把它们混成一个类别，标注员即使认真工作，也可能依据不同标准作答。
Artstein 与 Poesio 的方法综述区分一致性与有效性：观察者一致，仍可能共同判断错误。[1] Plank 的立场论文进一步指出，部分语言标签差异来自主观性或多个合理解释，不能一律视为需要清除的噪声。[2] 这些研究不证明任何企业数据集应保留全部分歧，但提示了一个采购边界：交付一个最终标签，与交付可信的标注过程，是两种不同成果。
对技术负责人而言，这会改变预算分配。若问题是录入疏漏，可以投入质检；若问题是关键上下文缺失，增加标注员只会复制猜测；若问题是业务政策未定，继续训练模型也不能替业务负责人作出责任选择。先做小批试标，比签下一整批固定单价标签更容易发现这种差异。
先把任务、可见证据与动作标签分开
建议在试标前冻结一页标签契约：判断对象是什么、在什么业务时点判断、标注员可以看到哪些字段、类别是否互斥、信息不足如何表示、谁有权裁决，以及标签最终用于什么操作。给每个类别写正例、反例和边界例，不只写一个概念定义。
以下为构造示例：工单写着“昨天说今天能到，还没收到，生产在等”。如果任务是判断是否存在交付抱怨，仅凭文本已有线索；如果任务是决定是否升级为停线紧急事件，还需要实际停线状态、替代库存及约定升级规则。让两名标注员只读文本，却要求他们判断停线事实，分歧可能来自不可见信息，而非能力差距。
可以把这条记录拆成两个字段：文本是否表达交付抱怨，以及按已批准规则是否需要升级。前者保留文本证据，后者注明所需业务字段；缺字段时进入待补信息状态。这里的状态设计是作者建议，不是任何壹典产品现有功能的声明。
预测时可用信息还应与标注信息对应。若最终处置结果用于监督，必须评估初始输入是否足以预测该结果；不能因为复核者事后看到了全部记录，就要求模型在首次提交时达到同样确定性。有关数据划分与追溯，可延伸阅读训练数据集的评估隔离与版本验收。
用一张交叉表解释一致率，不给系数套通用门槛
构造一批 100 条记录，两位独立标注员各自只选“需升级”或“不需升级”。其中双方都选不需升级的有 90 条，双方都选需升级的有 2 条，只有甲选需升级的有 4 条，只有乙选需升级的也有 4 条。原始一致率是 92%。但双方至少一人认为需升级的 10 条中，有 8 条意见不同，这正是业务可能最关心的区域。
按 Cohen κ 的计算，双方各有 6% 选择需升级，按各自边际比例计算的预期一致率为 0.06×0.06＋0.94×0.94＝0.8872；κ＝(0.92－0.8872)/(1－0.8872)，约为 0.291。这是说明类别分布影响的手算示例，不是现场数据。系数低不能直接推导某位标注员不合格，一致率高也不能证明关键类别可靠。[1]
实际报告应同时给出原始交叉表、各类别样本量、独立判断数量、缺失判断与排除规则，并列出会改变业务动作的分歧。多标注员、序数评分、允许多标签或缺失判断时，应重新选择适用指标与距离定义，不能把二分类的系数原样搬过去。不要以某个通用阈值作为所有任务的采购放行线。
样本构成同样重要。专门多抽边界案例适合诊断，却会改变整体一致率的含义。建议把贴近生产分布的评估样本和刻意构造的疑难集分别报告；同一客户的多条近似工单也不能被当作完全独立的证据。
将分歧送到四种不同的处理路径
第一类是执行差错：漏看否定词、误点选项、证据与记录错配。检查原始证据后修正，保存原标签、修正原因与责任人，再抽查同类错误是否系统性发生。不能只把不一致样本改齐，却不检查双方共同犯错的样本。
第二类是信息不足：缺附件、缺时间上下文、无法确定事实。补足允许获取的信息后重新独立判断；生产端拿不到这些信息时，就应调整任务边界或保留待定。不能在验收阶段悄悄增加线上不存在的字段。
第三类是规则冲突：两个部门对紧急程度、业务归属或例外条件理解不同。由业务规则负责人明确取舍，发布新指南，重标受影响范围。裁决会形成可执行政策，但不意味着此前少数意见在事实层面必然错误。
第四类是合理多解：文本确实允许不同解读，或任务本身在衡量偏好。可考虑保留多个可接受答案、标签分布或按角色分别记录，再选择与用途匹配的评估方式。Basile 等人的论文从标注者、数据与上下文讨论分歧来源，为先诊断后聚合提供了依据。[3] 上述四路流程是本文面向企业交付的建议，不能替代具体任务的专业审查。
裁决后的整齐，不能代替新一轮独立复标
所有争议被负责人改成同一个答案后，数据当然可以达到表面一致；那测量的是裁决结果，不是新指南能否被独立执行。建议保存裁决前的判断，另选未参与规则讨论的样本，在相同可见信息下独立复标，然后与上一轮按同类样本比较。
标注工具若先展示模型建议，也可能让多人重复接受同一错误。可以在抽查子集隐藏建议，比较独立标注与辅助标注的耗时、差错和关键分歧。不要把没有看到模型建议的人工评估，与大量接受建议生成的标签混成一种证据。
版本交付至少包括任务与指南版本、输入快照、原始判断、证据位置、裁决记录、最终标签以及无法裁决的清单。涉及个人评价或敏感业务材料时，只保留任务所需的身份与访问范围。指南发生实质变化后，旧评估数字与新标签不能直接拼成一条改善曲线。
用继续、缩小与暂停三种决策验收投入
继续扩大标注的前提，是主要分歧已定位，新增样本能按规则处理，关键动作错误处于事先约定范围，且单位可用标签成本可承受。成本应包含试标、复核、裁决、重标和版本维护，而非只看第一次点击的费用。
缩小范围适用于某些类别可稳定判断、另一些类别依赖缺失信息的任务。可以先让模型处理有证据的类别，保留人工或补信息流程，同时报告自动化覆盖的缩减。不能通过删除所有疑难样本提高指标后，仍声称覆盖全部生产任务。
暂停扩量适用于政策责任未定、关键证据不可获得或裁决积压持续增长的情况。下一步应由问题类型决定：补采信息、简化标签体系、明确规则，或者改为辅助判断。标注一致性是检查任务是否可执行的信号，真正的交付目标仍是有边界、可复核的业务判断。