验收会上最容易被误读的一句话，是“这批全部通过”。它可以准确描述已经检查的样本，却不能自动变成下一万次业务操作的保证。企业从演示走向持续交付时，需要购买的是明确范围内的可靠性证据，而不是一个没有分母背景的百分之百。本文是长期有效的方法专题，不将统计方法包装成近期新闻。
先定义一次失败，再解释一次通过
大模型评审的错误放行校准讨论了谁来检查答案。本篇进一步追问：即使检查方法可信，检查多少、怎样抽样，才足以支撑上线判断？评审器准确性与验收样本的证明能力是两件事，不能用其中一项代替另一项。
失败应在测试前定义到业务结果。例如报价抽取任务中，金额、币种或供应商身份任何一项错误，即将整份任务记为失败；格式错误、超时和人工补救也按事先约定记录。不能把一份任务里的几十个容易字段都算成功，却把关键字段失败淹没在字段平均分中。
同时明确评估的是原始模型、完整系统，还是经过人工审核后的交付。若业务承诺针对自动通过队列，就应观察该队列中不合格结果的比例，并另报自动覆盖率。把所有被拒绝或转人工的请求移出报告，会让质量与服务可用性失去共同背景。
一百次零失败，仍可能不足以支持百分之一的承诺
在每次试验独立、失败概率相同、样本来自约定目标总体且样本量预先固定的模型下，设失败概率为 p，n 次均未失败的概率为 (1-p)^n。令这个概率等于 0.05，可得零失败时的单侧 95% 精确二项上限：p上限 = 1 - 0.05^(1/n)。NIST 介绍了单侧精确二项区间，并提示小样本或少失败时普通正态近似可能不够准确；Geyer 的课程资料给出了零事件边界形式。[1][2]
以下都是按公式计算的构造算例，不是模型实测。100 次零失败，上限约为 2.95%；300 次零失败，约为 0.994%；3000 次零失败，约为 0.0998%。因此一百次全部通过，不能在上述置信口径下支撑失败率不超过 1% 的判断。观察值为零，与能够排除多大的失败率，不是同一个数字。
反向规划时，若要求零失败后单侧 95% 上限不超过目标 p0，可用 n ≥ ln(0.05)/ln(1-p0)，再向上取整。目标 1% 对应至少 299 次，目标 0.1% 对应至少 2995 次。该计划只描述零失败的情形；一旦出现失败，应按实际失败数重新计算，不能删掉失败任务后继续套公式。
置信水平描述的是重复采用这套程序的覆盖性质，不应解释为本次参数有 95% 的概率落在区间内，更不是下一批业务一定安全。模型版本、输入构成或规则变化，也会改变结论的适用范围。对灾难性后果，统计上限仍不能替代权限限制、人工确认和可撤销的执行设计。
一千次调用，未必是一千个独立业务样本
把同一份合同改写十种提问方式，再各运行十次，可以检查措辞敏感性和生成随机性；它不能自然等价于一百份不同客户合同。错误可能来自同一个模板、同一张扫描图或同一条错误业务规则。共同原因会让结果成组变化，用调用次数直接套独立二项模型可能夸大证据。
scikit-learn 的交叉验证文档明确区分独立样本与具有分组依赖的数据，并提供按组分离训练与测试的方法。[3] 应用于企业 AI 时，可按源文档、客户、模板或业务批次设计分组；具体以什么作为独立单元，需要结合错误如何产生，而不是机械选择一个字段。
分组划分主要防止开发与验收共享近似材料，并不会让同组样本突然独立。若用“组内任一任务失败”作为组级结果，估计的是组失败率，不是请求失败率。若仍要估计请求层面的风险，应采用适合实际抽样和相关结构的分析方法，保留组规模与抽样权重；不能把组数直接填进旧公式后沿用旧解释。
代表性同样重要。只测试短文档、清晰扫描和常见问题，不能承诺复杂表格或陌生模板。压力样本集用于发现薄弱点，随机业务样本用于估计约定总体表现，两者应分别报告。没有覆盖的业务切片应写成未验证，不能被总体零失败覆盖。
把验收计划锁定在调参之前
建议在运行前保存一页验收协议：目标总体、失败定义、抽样单位、版本组合、样本量、主要判定规则、例外处理及停止条件。开发团队可以持续使用开发集定位错误，但最终验收集应隔离。将测试样本泄漏给提示词修改、检索规则调优或人工选择，会改变测试的性质。
如果每看一次结果就改模型，然后只报告第一次全通过的那一轮，固定样本区间不再覆盖整个选择过程。应保留全部尝试记录，冻结候选版本后使用新的独立验收集；若确实需要边观察边决策，则预先设计适用的序贯方法，而不是重复计算同一个普通区间直到满意。
多个业务切片也不能各自通过 95% 检查，就宣称全部切片同时具有同样的保证。应预先确定主指标及关键切片，说明是逐项结论还是联合结论；需要同时控制多项错误判断时，应另行设计相应程序。测试项目越多越好并不成立，新增检查也需要明确它影响什么决策。
用证据缺口决定预算，而不是无限追加测试
构造预算场景：每份独立任务需要人工核验六分钟，299 份约需 29.9 小时，2995 份约需 299.5 小时，尚未计入整理样本与裁定分歧。错误率目标降低一个数量级，证据成本可能明显增加。采购双方应在报价前讨论这个成本，而非到验收时才提出没有样本支持的高承诺。
当低频场景拿不到足够代表性数据时，合理选择包括缩小自动处理范围、保留人工确认、先做影子运行，或推迟承诺。多生成相似题目不一定补足真实覆盖；模型自评也不能自动替代独立核验。应将预算优先投入尚未被验证且后果明显的业务边界。
上线后记录实际输入范围、自动覆盖、失败与人工纠正，安排持续抽检及版本变更后的重新验收。新证据可以支持扩大范围，也可能要求收缩；不能把几个月前一次零失败结果当成永久证书。遇到新模板或新增工具权限，应判断原验收是否仍然适用。
可交付的验收包应同时给出实际计数、抽样过程、区间方法、适用假设及未覆盖范围。本文建议把决策分成三类：证据足够且控制完备，有限开放；结果好但证据薄弱，保持受控试点；关键错误或抽样缺陷未解决，先修复。零错误值得记录，但上线承诺必须比这三个字更完整。