企业 AI 从建议工具进入业务流程后，“每个请求都给答案”不再是天然正确的目标。对于证据不足、超出范围或错误代价较高的任务，系统应有明确的不执行出口。真正困难的是证明哪些任务可以自动通过，而不是给模型加一句“没把握就说不知道”。本文讨论这一长期有效的决策问题，不将早期研究包装成近期突破。
把采购问题从全量准确率改成可自动承担的范围
一个工单分类器在全部样本上达到某个准确率，仍不能直接回答“可以自动分流多少工单”。错误可能集中在少数复杂类别，也可能恰好发生在高置信分数区域。企业要采购的是有边界的业务服务：哪些任务自动完成，哪些补充材料，哪些必须交给有资格的人。
选择性分类研究用覆盖率和选择性风险描述这类取舍：前者是接受预测的比例，后者是在被接受集合上计算的损失。2017 年的相关研究在图像分类与特定采样假设下构造风险控制方法。[1] 其理论和实验不能直接转换为企业问答的错误保证；本文借用的是评价问题的方式。
建议同时保留三个分母：全部进入服务的合格请求、自动放行请求、最终按时完成请求。范围之外的请求单列原因；超时与系统错误不能伪装成主动拒答，也不能从服务报表中消失。这样才能看清准确率改善究竟来自更好识别，还是只剩很小一块容易业务。
拒答后的承接流程可结合人工复核的容量与有效纠错方法。本文关注的是进入自动处理区的选择规则；人工复核是否有效、是否及时，是另一项必须独立验证的条件。
分数能排序，不等于它就是正确概率
模型输出的“置信度 0.95”可能是分类概率、检索相似度、另一个评审器的评分，也可能只是生成的一段文字。它们的含义不同。首先写清评分对象：某一类别正确、整份答复合格，还是某条证据相关；不要把局部相似度当成整项业务结果正确的概率。
scikit-learn 的校准文档说明，概率应通过相似预测概率样本中的实际频率来评估，并强调用于拟合校准器的数据应与模型训练数据分开。[2] 企业还需要把评分事件与验收事件对齐。例如预测“类别 A”的概率，与“分配给任何一个可接受处理组”的成功率不是同一标签。
排序和校准应分别检验。一个评分可能把较容易的任务排在前面，却把所有概率报得过高；另一个评分平均频率较准，却难以挑出更安全的子集。前者可通过校准改善概率表达，后者仅重新标定数值未必改善自动处理边界。
对于开放式生成，不建议未经证据就给模型自报分数贴上概率标签。可以把证据完整性、规则校验、任务类别和独立评审信号作为候选选择依据，再用人工参考结论检验它们能否筛除错误。无权执行、关键字段缺失等硬条件应先阻断，不受高分覆盖。
阈值应由独立样本和错误后果共同决定
先固定可评价的任务单元和合格标准。例如售后工单可以有多个合格处理组，而设备安全操作建议的合格标准可能包含不可缺失的限定条件。对不同后果分别定义损失，至少将普通返工与关键错误分开统计；不能用大量轻微正确抵消少量不可接受动作。
可将样本分为模型训练、选择规则开发和最终验收三个用途；数据少时可在开发阶段使用严格隔离的交叉验证，但最终验收集仍不参与挑阈值。同一客户的近重复工单应按组划分，必要时按时间外推，避免同一事件以不同措辞同时进入开发与验收。
在开发集上按候选分数扫描阈值，记录每个点的接受数量、错误数量、关键错误、拒答类型和后续处理需求。冻结一个符合业务条件的点后，在独立样本上重新测量，并报告样本量和不确定性。不能在验收集反复调到通过，再把结果称为独立证明。
少量样本零错误不是零风险。对样本很少的新类别，可以保持人工处理或收集更多证据；不宜把总体置信区间套到每个小类。若业务要求统计保证，应说明抽样、独立性和分布条件及所用界限，而不是引用论文中的保证词语代替本地计算。
一个构造算例：准确率更高，整体方案却未必可用
以下均为构造数据，不是壹典项目或实测。假设同一批 1000 项合格请求上，方案 A 自动接受 800 项，其中错误 16 项；方案 B 接受 500 项，其中错误 5 项。A 的覆盖率为 80%，接受集合错误率为 2%；B 分别为 50% 和 1%。其余 200 项与 500 项需走后续处理。
若每项普通自动错误的处理损失假设为 100 元，每项转人工成本假设为 4 元，暂不计其他成本，则 A 为 16×100＋200×4＝2400 元，B 为 5×100＋500×4＝2500 元。更低的接受错误率，并不自动给出更低总成本。
若普通错误损失改为 500 元，同样假设下 A 为 8800 元，B 为 4500 元，选择就会改变。这只是敏感性分析；真实成本还应包括复核错误、等待、投诉、返工和维护。关键错误若有不可接受的约束，应先排除不合格方案，再比较成本，不能全折算成一个平均价格。
假设团队每天最多接手 300 项且这些请求都要求当日完成，B 的 500 项转人工已超过这个简化容量。此时正确决策可能是缩小上线范围或增加合格承接资源，而非偷偷降低阈值。最终应比较自动与人工路径合在一起的按时合格完成量。
联合训练、规则拒答与补问，应按问题选择
2019 年 SelectiveNet 研究把预测与拒绝联合训练，并在其分类、回归实验中改善风险—覆盖率取舍。[3] 这提示选择机制也可以成为模型设计对象，但不证明企业必须重新训练模型，也不保证在新分布上仍然有效。
若错误来自缺少订单号，先补问比训练一个复杂拒答器更直接；若来自权限不足，应停止或转授权流程；若某个新产品没有知识资料，应明确说明覆盖不足。只有错误与可观察信号存在稳定关系、且能形成可靠监督时，才值得比较学习型选择器。
规则方案的优势是原因可解释、上线和审计成本较低，代价是维护例外较多。学习型方案可能处理更复杂的边界，但增加标注、训练、漂移监测和回归成本。可先建立规则基线，再在相同独立样本与相同覆盖率下比较，避免把覆盖缩小误认为算法进步。
拒答也应有结构化结果：原因、缺失证据、可采取的下一步和当前任务状态。补问、转人工、范围外与暂时故障分别统计。不要把原请求不断换措辞重试，直到随机得到一个高分答案；这会改变已经验收的选择过程。
上线后防止只看见被放行任务的偏差
如果只有自动通过的任务才获得标签，团队就不知道被拒的请求里有多少本来能够完成。应在授权范围内分别抽样自动放行、转人工和范围外请求，记录抽样概率与标签延迟；拒答样本若被过度抽取，汇总时要还原实际流量权重。
按产品、语言、输入质量和新老客户等相关业务分组同时观察覆盖率与错误风险。总体曲线稳定，仍可能有某个小类几乎全部被拒，或错误集中在一个高后果类别。标签尚未成熟时只报告已观察部分，并跟踪未定结果，不能把未收到投诉当成正确。
将模型、提示词、证据规则、评分器与阈值一起版本化。任一关键组件变更后，重新检验选择边界；线上发现关键错误或数据条件变化时，应按预先批准的规则缩小自动范围。企业真正获得的是一份可被证据修订的委托范围，而不是永久有效的置信度数字。