企业 AI 试点到了预算评审阶段,问题会从“能否完成任务”变为“如果没有这套系统,同一批业务会怎样”。这不是多做一张前后对比图就能回答的。本文讨论长期有效的收益归因方法,不将早期实验文献包装为近期行业新闻;文中算例均为假设,既非壹典项目数据,也非实测结果。
先把收益主张写成可以被否定的问题
官网关于企业 AI 规模化准备的讨论已经说明,扩容要考虑完整流程成本与责任边界。这里进一步追问:观察到的改善,到底有多少能够归因于本次引入的 AI 工作方式?成本账正确与因果判断正确是两个条件,满足其中一个不能替代另一个。
例如,原流程平均用时二十分钟,新流程十二分钟,看似节省八分钟。但新流程可能只接收简单工单,资深员工先参与试用,或恰逢知识库同步整理。直接相减得到的是两批观测的差异,尚不能识别模型、培训、任务构成各自贡献。
建议把待验证命题写成:对事先定义的合格工单,提供 AI 辅助及配套培训后,在质量底线不降低的前提下,能否减少完整处理工时?若上线同时包含界面重构与知识治理,结论应针对这个组合方案。想单独确认模型贡献,需要能够区分这些变化的额外设计。
立项时固定业务范围、主要收益指标、质量底线、观察窗口及最小有用改善幅度。微软的实验设计资料强调先定义可检验假设、成功指标和适当随机化单位。[1] 本文将这些原则用于企业工作流;资料本身并未证明任何特定 AI 项目能节省多少成本。
选择分流单位,避免让对照组也接受干预
能安全随机时,优先让同期、符合相同入口条件的对象进入现有流程或新流程。稳定分配意味着一个员工不会因为刷新页面就在两组间跳转;入口规则也不能由是否愿意使用 AI 决定。提前记录分配,然后记录实际使用,才能分清方案被提供与方案被采用。
按工单随机适合处理之间较少相互影响的任务;若员工学会 AI 提示方法后也改变了人工处理方式,按员工或团队分配更合理。共享排班、协作知识和经理指导会继续造成组间影响,因此要把这些路径写进设计。按团队分配的代价是独立单位更少,不能把同一团队的一万张工单当作一万个独立团队。
对于高风险任务,可以比较不同辅助方式,而不取消必要人工审核。两组均应保留相同的底线控制。如果评估者能在不损失上下文的情况下不知道输出来自哪组,可降低主观评分偏向;做不到时应记录评分者与评分规则,并交叉复核争议样本。
主分析建议按最初分配统计,即使有人未使用 AI、使用失败或退回人工,也应保留在对应组的结果中。这回答的是企业提供该方案后的实际效果。仅比较积极使用者与未使用者,会把积极性、技能和任务选择混进结果。使用者分析可以解释机制,但不能自动冒充随机分配的效果。
先审计分母和日志,再解释收益曲线
每个进入评估范围的任务应有可追踪身份、分配时间、处理状态、完成时间、人工操作工时、复核与返工记录,以及最终质量判定。等待接口响应的自然时间与人员实际投入应分开;同一员工同时处理两项工作时,不能把重叠等待全部计成人工节省。
核对从分配到分析的数量:分配了多少对象,多少进入日志,多少完成,多少失败,多少质量评估尚未到期。样本比例不匹配检查关注观测数量与预设分配比例是否出现无法用随机波动合理解释的偏差。微软将 SRM 用作识别实验数据问题的信号,要求诊断后再解释效果。[2]
在工作流中,尤其要排查只记录成功响应、失败后换任务号、对照组漏记人工工作,以及按最终是否完成再筛样本等问题。SRM 没有报警也不等于没有偏差:两组同样漏记、耗时定义不一致或质量评估选择性缺失,都可能逃过这项检查。
任务尚未完成时不要把耗时填零,也不要悄悄剔除。按预先约定的成熟窗口分析,并单列未完成比例和积压;若延期本身受 AI 影响,必须将其作为结果。严重质量事故可以触发预设安全停止,但不能看到一个有利的短期均值就提前宣布经营验收通过。
用完整任务账,区分释放时间与现金收益
以下是假设算例,仅演示记账。两组各有一百项分配任务,最终全部通过同一质量标准。现有流程总人工投入为二千分钟。AI 组的初始处理为八百分钟,复核七百分钟,返工与人工接管六百分钟,各项互不重叠,合计二千一百分钟。
只看初始处理,会报告减少一千二百分钟;看完整账,则增加一百分钟,平均每项从二十分钟变为二十一分钟。这个算例没有方差、分流证据或真实样本,因此只能说明计算口径,不能推导统计显著性或行业收益。
建议同时报告每项分配任务的平均人工工时、按期合格交付率、每份合格结果成本及延迟分布。后一项成本的分子包含失败消耗和共同运行费用,分母只计真正合格的交付;同时保留任务总数,防止少交付难任务让单位成本变得漂亮。不同完成率下,单一成本比率可能掩盖业务损失。
工时改善得到支持后,再讨论价值实现。员工仍在岗、预算未减少时,释放时间不是现金节支;应确认是否减少加班、避免新增外包,或转用于有需求的工作。一次性接入费用、持续维护与接口费用分别列示。不要同时把同一小时计为工资节省和新增产出,造成重复收益。
小样本与非随机方案,需要降低结论强度
团队数量少或任务波动大时,短期观察可能无法区分有用改善与噪声。应围绕预先确定的最小有用改善估算所需独立单位及周期,并报告不确定区间。区间同时容纳明显获益与明显受损时,结论是证据不足;没有显著差异并不证明两方案等效。
不能随机时,可以采用同期可比组、分阶段上线或时间序列反事实分析,但不能认为软件会自动消除混杂。Google CausalImpact 文档要求控制序列不受干预影响,并对干预前后关系的稳定性作出假设。[3] 如果所有部门同时培训,剩余部门未必还是未受影响的对照。
建议在上线前保留足够历史,检查候选对照的业务机制,记录促销、组织调整、任务分配规则及人员变动;用未上线时段的假干预日期检查方法是否频繁产生虚假收益。通过这些检查仍不是因果保证。无法排除同期变化时,应报告相关改善和待验证假设,而非确定的 AI 投资回报。
前后对比仍有用途:发现流程瓶颈、估算下一轮试验规模、验证日志是否可用。它不必被废弃,但必须标清证据等级。业务急需决策时,可以限定小范围投入并设置复核日期,不能因为管理上需要确定答案,就把统计上的未知改写成肯定。
把验收结果变成三种可执行决定
本文建议用五项证据组成评审单:干预与目标人群定义;分流及组间影响说明;日志和分母对账;包含质量、工时与成本的不确定区间;收益兑现路径与持续费用。每项注明负责人、观察范围和未解决限制,避免只保留一个“效率提升百分比”。
扩大适用范围,需要同时看到可信归因、质量底线满足,以及对企业有意义的净改善。先扩大同类任务,再验证新部门与复杂任务,不将一组熟练试用者的效果直接推广给所有员工。
延长或重做验证,适用于日志可修复、独立样本不足或采用率尚不稳定的情况。补采应遵循事先确定的分析规则,不能不断追加数据直到出现理想结论。暂缓则适用于质量越界、完整成本恶化或收益无法兑现;可缩小功能并重新提出可检验命题。
这套流程的新增价值,是把成本核算与收益归因连接起来。AI 能完成任务,是技术能力的证据;企业因部署它而获得可持续净收益,还需要业务实验、完整记账和适用范围共同支持。
