企业 AI 解释能当审计证据吗:从推理说明到可复核的决策记录

模型能写出完整理由,并不证明这些理由就是它形成答案的真实原因。本文区分解释、来源证据和执行记录,结合思维链忠实性研究及构造的供应商比较案例,提出事实复算、条件扰动和业务回执三类验收,帮助企业判断哪些解释适合辅助阅读,哪些决策必须有独立证据支撑。

采购演示里,一段条理清晰的“选择理由”很容易被视为透明度的证明。当 AI 从提供建议走向参与业务决策,企业真正需要确认的是:结论有无依据,规则是否正确执行,操作是否真的发生。可读的解释有价值,但这三个问题不能只由同一模型的一段自述回答。本文讨论长期有效的工程边界,不把历史研究包装为近期新闻。

解释、依据与执行记录回答不同问题

企业 AI 可观测性与失败定位讨论如何串联运行记录。这里进一步追问:当模型说“我考虑了交付周期”,这句话能证明什么?它证明系统输出了这段说明,却不能独自证明交付周期确实决定了答案,也不能证明引用的周期来自本次有效报价。

本文建议把交付物分为四类:供读者理解的简明解释;支持事实的来源片段及版本;可重新计算的规则、输入和结果;由业务系统产生的实际操作回执。四类可以彼此关联,但不要合并成一个“思考过程”栏目,让用户误以为叙述、验证与执行已经同时完成。

例如,供应商比较中的“交期更短”需要对应报价中的具体字段;“综合评分更高”需要明确公式和权重;“已通知采购员”需要发送或任务系统的真实回执。模型解释即使全部写得合理,其中任何一层仍可能缺失。验收应分别回答,而不是给整段文字打一个可信度分数。

忠实性研究指出边界,不提供通用错误率

Turpin 等人在 2023 年研究 GPT-3.5 与 Claude 1.0 时,改变示例选项顺序或加入答案暗示,发现输出会受这些因素影响,却未必在解释中说明。[1] 这支持“理由看起来合理,不足以证明真实影响因素已被披露”,不能直接推算今天某企业系统的失败比例。

Anthropic 于 2025 年发布的研究介绍,也通过向 Claude 3.7 Sonnet、DeepSeek R1 提供提示,检查答案变化后是否承认使用提示。作者明确说明,多选题、有限提示类型和人为构造环境限制了外推范围。[2] 因此,采购时既不应承诺解释百分之百忠实,也不应据此认定所有解释都没有用。

另一项 2023 年工作通过改写或向思维链加入错误,观察模型对答案的影响,报告不同任务上的依赖程度存在差异。[3] 对企业的启示是按任务验证解释的用途;需要读者理解的说明、用于发现异常的监控信号,与足以支持业务放行的证据,应设置不同门槛。

用一个供应商比较反例拆开验收

以下是构造案例,不代表壹典客户或实测。某团队约定先满足“交期不超过十天”的硬约束,再在合格方案中比较同口径总价。A 报价为九万元、交期八天;B 为八万元、交期十二天。按这套规则,B 不应进入价格优选,即使它更便宜。这里的数字仅用于解释流程。

模型若推荐 A,并解释“综合考虑价格与交期”,结论碰巧符合规则,但解释仍不够明确。可复核交付应指出 B 因十二天超限而被排除、A 满足八天条件,并关联两份报价的修订号、字段位置及规则版本。没有给定的税费、运输费和币种不能自动补齐为已统一口径。

接着把 B 的交期改为九天,其他条件保持不变且确认总价可比。预期 B 进入合格集合,并以八万元优先。若模型仍坚持 A,应检查是否读取了旧资料、硬约束逻辑未更新,或受此前答案影响。若只把供应商展示顺序互换,结论却变化,则发现了与既定规则不符的敏感性。

最后撤掉 B 的交期证据,预期应是信息不足或进入补充核实,而不是延用上次的九天。这三类输入分别检验规则响应、无关变化稳定性和证据缺失处理。它们有明确的业务预期,比要求模型“再解释详细一点”更容易定位问题。

把解释验收改成可重放的证据测试

先固定任务定义、资料集合、版本、工具可用范围和参考判断。把结论拆成可检查的事实主张,逐项检验来源是否真的支持相应主体、数值、时间与限定条件。一个真实链接不等于引用正确,引用整份文档也可能让审核者找不到关键段落。

对算术、过滤和排序,优先让独立计算或规则检查给出核对结果。保存实际被使用的输入和规则版本;重放只使用当前数据库的最新值,可能无法还原当时结果。记录“复算通过”时,应说明覆盖的是哪一项计算,而不是暗示整个业务建议已被证明。

条件扰动应成组执行:改变应影响答案的业务条件,改变不应影响答案的展示因素,再删除必要证据。对具有随机性的生成过程,需要重复运行并报告样本数及变动分布;单次变化不能直接归因于某个提示。测试通过也只说明覆盖的反例未失败,不证明所有内部推理忠实。

测试材料与真实业务执行隔离,避免为了检查解释触发真实采购或通知。执行阶段另验权限、批准内容版本、请求身份和业务回执。解释写着“已完成”,服务端却只返回排队中,最终状态仍应保持待处理。

不要把更长的说明当作更低的审核成本

管理者需要能迅速核对的依据,而不是无限展开的文本。可将默认界面设为结论、关键条件、来源位置、独立校验结果及未决项,需要时再展开细节。模型给出的理由应明确标为生成说明;人工补充意见和系统回执另行标识,避免在同一文本中混淆来源。

构造一个审核成本算例:每批一百项建议,阅读长解释平均四分钟,需四百分钟;改为结构化证据卡后初审每项两分钟,另有二十项各追加八分钟,合计三百六十分钟,而不是两百分钟。若制作和维护证据卡每批再耗五十分钟,总投入变为四百一十分钟。不能只以阅读时间减半宣布净收益。

应同时记录错误放行、正确结果被退回、待核实积压与审核耗时。节约时间不能抵消高后果错误被放行;增加引用也不能自动降低错误。试点时让审核者面对含错误和缺证据的样本,验证他们是否真正能发现问题,而不是只问界面是否让人更放心。

按业务后果决定哪些证据必须具备

低后果的头脑风暴可以接受较轻的来源要求,并明确内容是待验证建议。影响采购、指标发布或对外承诺的任务,应要求关键事实、规则和必要批准可追溯;来源缺失或规则不明时,保留候选结果并交由负责人处理,不通过补写一段自信解释消除缺口。

试点可先选一种重复决策,约定必需证据、异常状态与接管人,再比较“普通解释”和“证据卡加独立核对”两条流程的完整成本。对无法复算的主观判断,应明确评价标准和意见分歧,不把它伪装成确定性分数。

最终采购问题应从“能否展示思考过程”转向“能否让有权限的人核对关键事实、复算适用规则并确认实际执行”。解释用于沟通,证据用于核验,业务回执用于确认动作;把三者连接起来,才有可交付的责任边界。

参考资料

  1. [1] Turpin et al., Language Models Don't Always Say What They Think (NeurIPS 2023; arXiv v2)
  2. [2] Anthropic, Reasoning models don't always say what they think (2025-04-03)
  3. [3] Anthropic, Measuring faithfulness in Chain-of-Thought reasoning (2023-07-18)
返回洞察
鲁ICP备2024109755号-2
可拖动移动。右键、长按或按 Shift+F10 可选择停靠位置。