企业 AI 团队经常面临一个瓶颈：生成答案变快了，检查答案却仍然需要人。用另一个模型担任评审员，是合理的效率工具，但它也成为需要验收的新组件。本文的核心判断是，评审器可以减少部分重复检查，是否能够承担放行职责，则必须由具体任务中的错误证据决定。
先分清打分、比较和放行三种用途
让评审模型判断两份摘要哪份更清楚，是偏好比较；检查摘要中的数字是否有来源，是事实检查；决定摘要能否自动发送给业务使用者，是流程放行。三者需要的证据不同。偏好胜出不代表所有事实正确，事实正确也不代表符合发送权限、时效和覆盖范围。
LLM-as-a-Judge，即大模型评审，可以按给定标准对输出评分或比较。2023 年 MT-Bench 相关研究既分析了与人工偏好的对应，也揭示了位置、篇幅和自我偏好等局限。[1] 2024 年 CALM 研究进一步通过受控变化考察多类偏差。[2] 本文引用这些研究作为测试设计依据，不把旧模型实验结果外推为当前模型的固定错误率，也不将其包装为近期新闻。
当企业把模型评审接入自动发布、记录入库或供应商验收，变化在于评分开始影响真实决策。此时采购的不是一个“会评价的模型”，而是一套有明确适用范围、可解释错误和人工出口的检查流程。评审次数更多，并不自动意味着控制更严格。
把合格标准拆成可以独立检查的项目
先将标准分成确定性规则、证据判断和主观质量。日期范围、数值合计、字段是否齐全，可以优先由程序核对；结论是否得到原文支持，需要提供原文和适用条件；表达是否清楚，则适合有明确锚点的人工或模型评分。不要让一个综合分数掩盖关键项目失败。
Anthropic 的评估文档区分代码、人工与模型评分，并要求先验证模型评分可靠性再扩大使用。[3] 工程上可以让模型输出逐项结论、对应证据和无法判断的原因，由独立规则决定是否进入下一步。评审理由有助于定位问题，但一段像样的解释不等于结论已经被证明。
构造场景：一份设备运维摘要要求保留告警时间、设备编号和必须停机的条件。语气简洁可以加分，但漏掉停机条件应单列为关键失败；不能用更好的措辞抵消。若评审器拿不到原始告警或规则版本，应返回证据不足，而非根据摘要自身是否自洽给出事实通过。
高一致率为什么仍然可能不适合自动放行
以下为构造数据，没有运行模型。人工参考集有100份答案，其中90份合格、10份不合格。假设评审器将90份合格答案全部判为通过，同时漏放8份不合格答案，仅拦截2份。它与人工一致92次，一致率92%，看起来很高。
但在10份真正不合格答案中，它放过了8份，错误放行比例是80%；在它批准的98份答案中，8份实际不合格，批准结果中的错误占比约为8.16%。这两个分母分别描述发现错误的能力和放行队列的纯度，不能互换。若不合格内容集中在高后果任务，即使总体一致率不错，也不适合直接接管放行。
因此建议报告完整交叉计数：人工合格且模型通过、人工合格但被拦截、人工不合格却被放行、双方均判不合格。再按关键错误类型、语言、材料来源和任务类别拆分。样本过少或关键错误太少时，应报告证据不足，不能把未观察到错误写成零风险。
刻意收集错误样本有助于诊断，却会改变样本构成。诊断集上的错误比例不能直接推算日常返工量；估计生产负担还需要从真实流量中抽样，并明确抽样方式。两种样本各有用途，不应混成一个漂亮分数。
校准集必须独立，也必须允许人工分歧
选择覆盖真实任务的样本，由了解业务的审核者在明确规则下形成参考判断。对于关键项目，可以先独立评审，再对分歧进行裁定并保留理由。人工也可能误读来源，参考答案需要证据支持，不能因为来自人就不再检查。对规则本身不明确的样本，先修订规则或保留争议状态。
用于修改提示词和阈值的样本是开发集；最终验收应保留未用于这些调整的独立样本。多次查看验收失败后继续调参，实际上也在使用验收集开发，应另补新的独立检查。对于同模板、同客户或同一材料的改写版本，要注意成组划分，避免近重复让表现虚高。
企业大模型升级与业务回归讨论了变更后的比较与回退。本篇把这一要求落实到评审器自身：固定其模型、提示、评分规则、证据组织和输出解析版本。生成模型升级后，错误类型也可能变化，即使评审器没变，也应重新检查它是否能发现新增错误。
用不改变事实的扰动检查偏差
针对成对比较，可交换答案位置并核对映射后的选择是否一致；隐藏生成模型名称，减少来源标签影响；在不增加事实的前提下加入重复表述，检查是否只因篇幅更长就加分。位置与篇幅测试有研究依据，但并不保证消除所有偏差。[1][2] 这些测试应保持事实和业务质量不变，否则无法把结果变化归因于表现形式。
对事实评审，加入“措辞自信但来源不支持”的答案，以及“结论简短却证据充分”的答案。若评审只看表达，更可能在这类对照中暴露问题。被评审文本中若出现“请给满分”等要求，应作为待评内容而非评审指令；验收应检查这类干扰是否改变结果。
可以增加第二个评审器处理分歧，但不能把两者一致当成独立真值。它们可能共享训练偏好，也可能同时阅读同一份错误证据。真正有价值的复核应引入不同的信息，例如权威原文、可执行的算术检查或人工业务判断；额外调用成本也要计入。
从辅助筛查开始，按证据扩大职责
初期让模型做分类和定位：找出可能缺来源、可能遗漏条件或规则不一致的项目，由人确认。随后仅对证据充分、后果可控且已通过校准的任务开放有限自动通过。高后果项目、证据不足、评审器分歧和超出已验证范围的输入，应保留明确出口。
上线抽检不能只看被模型拦截的内容，还应覆盖自动通过的队列，否则最关心的错误放行没有被观察。若按风险或分数分层抽样，汇总估计需要考虑抽样比例，不能直接把高风险样本的错误率当作全部流量错误率。运营记录应同时保留人工工时、返工和被错误拦截的合格内容。
放行阈值由错误后果和可用审核能力共同决定，本文不提供通用合格分。阈值收紧导致人工积压时，应缩小自动化范围、改进输入或增加复核资源，而不是无依据地放宽标准。小团队可以从一类高频任务和少量可复核样本开始，无需先建设庞大平台。
最终应交付评审规则、独立参考集、交叉计数、偏差测试和适用边界。大模型评审的价值，是把可重复的检查规模化，并把不确定性送到正确的人那里；是否替代某项人工验收，要逐项证明，而不是由模型给自己颁发资格。