企业 AI 验收题库如何持续使用：反馈权限、题集退役与证据预算

题库的用途变化，比文件有没有改名更重要

已有的企业 AI 零错误样本分析解释了样本量与上线承诺。本篇处理的是另一项持续经营决策：已经投入人工制作的题库，怎样继续服务迭代，同时不让反复调参后的分数承担超出证据范围的承诺。题目数量保持不变、文件哈希未变，都不能证明其验收用途没有改变。

开发题用于发现并修复问题，团队应能查看输入、参考结果和失败原因。回归题用于阻止已解决缺陷重新出现，也应允许工程人员知道具体规则。独立验收材料则用于检查已经冻结的候选方案，接触和反馈必须受控。同一条材料可以从验收转入开发，再沉淀为回归，但这次转移应留下记录，不能仅把文件复制到另一个目录就重新称作独立测试。

Google Research 对可复用保留集的研究介绍指出，依据过去结果持续选择分析方法，会改变通常的独立评估假设；研究提出的是有特定条件的统计机制，不是“藏住答案就可以无限测试”的许可。[1] 企业在没有实施并验证这些机制时，应把限制反馈、冻结候选和补充新材料视为流程控制，而不能声称获得了论文的统计保证。

scikit-learn 的数据泄漏说明也强调，测试信息不应参与模型选择，包括预处理中的拟合。[4] 将这一原则扩展到企业 AI，需检查提示词、检索阈值、工具规则和人工挑选，而不只是训练代码。即使没有更新模型权重，看到某类失败后专门改变提示词，也已经利用了该批结果。

建立反馈台账，识别哪些证据还能独立使用

一张实用台账至少记录题集编号、源业务事件组、采集期间、允许用途、参考答案版本、接触人员、运行候选版本、反馈粒度、反馈时间和后续改动。反馈粒度要区分总分、按类型汇总、具体失败编号以及完整答案；它们暴露的信息不同，不应统一写成“仅供测试”。

例如供应商只看到“复杂表格切片未达标”，和看到每张表格的正确单元格，影响并不相同。前者仍可能驱动有针对性的选择，后者更直接成为开发资料。管理目标不是把所有反馈都禁止，而是知道分数属于哪个阶段。用于调试的结果可以非常有价值，只是应标成开发或回归表现，不继续包装成一次从未接触的最终验收。

分离还要按业务事件，而不是按文件行。scikit-learn 的分组交叉验证要求对应训练与测试折之间不共享同一组。[5] 企业需要据错误来源选择组：一份合同的不同问题、一张订单的不同截屏、同一故障的多轮描述，可能应整体分配。随机打散这些材料会制造表面新题；仅改客户名称也不能让答案结构变成独立证据。

参考答案本身需要治理。规则调整、原始资料更正和裁定分歧都可能改变正确答案。不能为了维持趋势曲线继续用旧答案，也不能改完答案只重算新模型。应保留旧版结果，在新版参考下重跑可比较的候选，并注明业务定义已经变化。版本不可比时宁可断开曲线，也不要画出没有共同基础的提升。

贯穿案例：同一套高分，怎样改变上线决定

假设一家企业每月评审一次报价抽取系统，一季度有三个候选版本，目标是从新收到的报价中提取供应商、币种、金额与有效期，关键字段任一错误就判整份任务失败。所有数字是用于推演的假设输入。现有三百份材料已在前期调试中多次开放，旧版本通过二百七十份，新版本通过二百九十四份，分别为百分之九十和百分之九十八。

增加的二十四份通过能证明这套回归材料上的改善，但不能单独证明未来业务错误率已经降到百分之二。台账显示团队针对其中的日期和币种错误修过提示词，因此三百份继续保留为回归集。冻结新版本后，另取一百份尚未向开发者反馈、按事前规则选出的新报价；旧版本通过九十份，新版本通过九十二份。新批次的观察差额是两份，而不是旧题上的八个百分点。

为看清代价，保留逐份配对：八十六份两个版本都正确，六份只有新版正确，四份只有旧版正确，四份都错误。合计一百份，旧版九十、新版九十二。新版修复六份也退化四份，净改善两份。若退化项包含错误币种，业务负责人可能拒绝扩大自动交付，即使总分略升。这里没有用一百份结果证明统计显著，也没有把观察差额外推成全年收益。

随后把失败分成参考答案争议、输入信息不足、处理错误三类。对争议先独立裁定并保留原计数；信息不足的任务应验证系统能否转人工；处理错误交给开发修复。一旦将这批具体错误反馈给开发者，它就进入已暴露材料清单。修复后可以复验这些失败，但下一次独立验收需要新的、符合相同目标范围的材料，不能把修复后的百分之百叫作新的盲测。

这条流程保留了每一笔投入：旧题成为回归资产，新题支持当次决策，争议形成口径修订，退化进入关键失败清单。企业不是每月丢弃全部材料，而是让材料的用途随接触历史变化。发布会议应同时看到回归结果、新材料结果、关键退化和未覆盖范围，不能只选择其中最好看的数字。

三条现实路径，以及一季度要付出的证据成本

路径一是维持固定回归题和人工确认，暂不扩大自动处理。它适合业务量小、样本难以合法取得、改动很少，或错误后果较重的场景。优势是已有材料可以反复复现缺陷；代价是不能凭这套题宣布新场景已经被验证，人工交付成本也持续存在。维持现状应写明自动化边界，而不是在合同里保留无限增长的能力承诺。

路径二是每次发布前补充独立材料，同时保留固定回归。这需要持续取得来源明确、可审核的样本，安排独立裁定者，并限制开发者在候选冻结前接触答案。它适合版本更新有节奏、业务范围相对稳定的团队。成本不仅是模型运行，还包括样本整理、重复关系检查、参考答案制作与争议处理；如果这些工作无人负责，所谓盲测只会成为文件命名习惯。

路径三是按发布阶段设置受控评估服务：开发阶段只返回约定的汇总，最终阶段冻结一个候选，评估者保管样本并登记所有提交。它适合多人、多供应商或频繁迭代，需要额外权限和审计投入。受控反馈可以降低无意暴露，但并不自动消除反复选择的偏差；出现多次定向失败后仍需更新材料或重新界定结论，不能把平台化管理当成无限复用许可。

回到构造案例，假定制作并核对一份新材料平均六分钟，每季度三个发布批次，每次一百份；另设每批四小时的裁定与发布复核。路径二季度工作量为三乘一百乘六除以六十，加三乘四，等于四十二小时。若全部三百份参考材料已制作完毕，固定回归只需每月四小时复核异常，则季度十二小时；新增证据成本为三十小时。这里只计指定人工工作，不含系统开发、运行和业务复核，不是市场报价。

如果每份材料需要十二分钟，路径二变成七十二小时，增量为六十小时；若每月发布两次并维持每次一百份与四小时复核，六分钟方案变成八十四小时。预算不足不能靠重复抽同一事件补齐一百份。应降低发布频率、缩小变更范围，或者保持人工确认。是否值得多投入三十小时，取决于新增自动化价值与错误损失的本企业证据；没有这些输入时只报告成本，不编一个投资回报率。

反例：分数下降不一定是题集泄漏，复用也不必然失效

Roelofs 等对机器学习竞赛的研究没有发现普遍而严重的测试集复用过拟合；其对象是特定竞赛结构，不能直接代表企业生成式系统。[2] 这个反例提醒团队，不能仅凭提交次数多就宣判旧题全部无效。更合理的做法是结合接触记录、配对新样本和业务分布，判断旧分数究竟还能支持什么结论。

Recht 等重新构建图像测试集的研究观察到成绩下降，但解释并非简单归因于自适应调参，图像难度与数据选择过程也很重要。[3] 因而企业在新批次下降时，应比较来源、任务长度、模板和异常比例。新题如果刻意集中最难案例，不能和普通业务随机样本的平均分直接相减，再宣称产品全面退步。

另一项失败条件是参考口径漂移。前两个月把含税总价视为答案，本月改成未税净价，新版得分更低可能来自口径变更。应检查参考版本、逐条裁定和原始凭证，并用共同口径重算两个候选。若新口径确实代表上线要求，旧版优势也不能成为继续沿用旧答案的理由。修正的是比较条件，不是删除不利结果。

还有一种难以补救的限制：供应商的基础模型可能接触过公开资料，企业只能证明本地样本管理，不能证明模型预训练完全独立。可优先选择近期获准使用的内部任务、保留来源与时间，但仍须明确可证明的范围。若上线涉及极少见且高损失事件，持续补题也可能长期拿不到足够证据，此时应限制自动执行，而不是让合成问法代替真实暴露量。

把退役规则写成可执行的交接卡

建议每个发布批次交付一张卡：本次要决定的自动化范围、冻结候选的完整版本、回归题集编号、新验收材料来源与事件组、参考答案版本、接触记录、全部提交次数、配对结果、关键退化及未覆盖项。卡片应能让未参与开发的人解释为什么推进、只修复不扩大、或暂缓，而不是只看到一个合格章。

退役不等于销毁。已向开发者开放完整错误的材料转为开发或回归用途，停止承担该团队后续独立验收的角色；源数据授权到期则按既定保留与删除规则处理，不为可复现性永久留存敏感原文。口径改变的材料进入待重标状态，未经裁定不能继续混算。无法找回源证据的题标成不可复核，不得以旧分数补位。

交接还应安排一次反向演练：由评估负责人故意把一条已暴露材料放进候选验收清单，检查事件组和接触记录能否识别；再把一条参考答案版本不一致的记录加入结果汇总，检查是否被隔离。演练只使用批准的测试资料，不泄露真实业务内容。预期输出是明确的拒收原因和受影响批次，而不是静默删题后继续报告原样本量。修正规则后用同样触发条件复验，并保存修正前后计数。这能把“题库有管理”转化为可检查的控制证据，但不能证明系统发现了所有未知泄漏。

执行时可以用四个问题检查卡片。第一，是否有候选冻结前已经接触本次答案的人参与修改；有则重新界定材料用途。第二，新材料是否来自同一事件的改写；有则按组重新划分。第三，新增通过是否伴随关键退化；有则单独设置处置条件。第四，预算是否足以维持承诺的更新节奏；不足则缩小自动化与发布范围，并明确下一次补证据的责任人。

这些是本文提出的管理方法，不是引用研究提供的统一验收标准。企业可以按任务风险选择更严格的隔离和统计设计，也可以在低风险辅助阅读中保留固定题库与人工抽查。最终必须把“已知问题没有复发”“新样本表现如何”“未来总体能承诺什么”分开记录。题库的价值来自可追溯的使用方式，而不只是它积累了多少道题。