企业为同一问题增加模型投票前,应先证明新增成员能纠正现有错误,且不会制造更多共同误判。模型品牌不同、回答次数更多,都不能代替这份证据。对于答案能够明确核对的任务,可以比较配对错误与完整成本;对于证据缺失、规则含糊或后果重大的任务,先补信息和裁定依据,通常比继续增加同类投票更有价值。
先确定投的是什么票,再谈模型数量
本篇讨论同一输入交给多个模型后,如何合成一个结果,例如判断一段企业知识资料是否支持某个答案。它不同于按请求选择一个模型:企业多模型路由处理的是资源分配,投票处理的是多个结果的聚合。两者可以组合,但路由节省的费用不能自动证明投票带来的质量收益。
先冻结答案单位。若任务只有“支持”和“不支持”两种标签,三票可以直接取多数;若输出是整段建议,三段文字相似并不代表条件、金额和适用版本一致。应先拆成可核对的事实或结论,并约定无法判断、拒答、解析失败与超时怎样处理,不能事后删掉难以计票的回答。
自一致性研究通过同一模型采样多条推理路径,再聚合最终答案,在特定算术与常识任务上取得改善。[1] 这里增加的是候选路径,不是多份外部事实;研究也说明了固定答案集合的适用条件。因此,企业可以把它作为候选方案,却不能把“多数说支持”直接写成支持概率。
比较之前还要固定参与模型可接触的数据、资料版本和判定规则。若一个模型看全文,另一个只看摘要,效果差异同时包含输入变化。若目标正是比较不同取证方式,则应明确把证据路径作为方案组成部分,分别记录,避免将数据准备的改进全部归功于模型数量。
研究支持组合尝试,也要求保留反例
Du 等人在 ICML 2024 研究中,让多个模型实例提出答案并进行多轮讨论,在其测试任务上观察到推理与事实表现改善。[2] Smit 等人同年的比较则发现,讨论策略并不稳定胜过自一致性等基线,参数与协议选择会影响结果。[3] 两者共同支持的判断是需要按任务比较,而非预设辩论必然有效或必然无用。
Kim 等人的 ICML 2025 研究考察了多个模型集合,发现错误存在相关性;在所研究的一个排行榜数据集上,两个模型均答错时,约六成情况下选择相同错误答案。[4] 这个分母是“两者都错的题”,不是全部题,也不是企业模型必然具有的相关系数。它提示应检查共同错误,不能直接拿六成替自己的组合定价。
2026 年 8 月 26 日,Amazon Science 的研究者介绍了考虑评审器依赖关系的聚合方法:除了单个评审器的可靠性,还对成对依赖建模,并在三个二分类任务上比较。[5] 这提供了比简单等权投票更丰富的选择,但需要足够数据估计关系;其结果不等于企业可以免去独立参考判断。
这些证据并不能证明某个企业当前应采购三家模型。任务、版本、提示和资料来源都会改变共同失败方式。接下来需要把“更多意见”转换成同一批问题上的增量纠错记录,并同时观察原本答对却被组合改错的情况,才有可检验的投入理由。
一千条记录:三模型多数票到底纠正了多少
下面构造一千条知识资料支持性判断,每条都有经资料核对的二分类参考标签,且三个候选均在期限内返回有效标签。用 A、B、C 表示模型,用 1 表示与参考一致、0 表示不一致。此处的位序始终为 ABC。
八类记录分别为:111 有800条,110有40条,101有35条,011有30条,100有25条,010有20条,001有15条,000有35条。合计800+40+35+30+25+20+15+35=1000。A正确900条,B正确890条,C正确880条;三票多数正确的是前三种双对情况加全对,共800+40+35+30=905条。
相对 A,组合在011的30条上纠错,却在100的25条上把正确答案改错,净增加5条正确,正确率由90%变为90.5%。只展示“新增纠正30条”会漏掉25条回退;只展示三个模型各自的总分,又看不出这两种变化。验收应同时保留修正、破坏和不变三种结果。
A答错的100条中,B也答错的有001与000,共50条,所以在A错误条件下B的错误比例为50%;B的总体错误比例却仅11%。这说明在本组输入上,两者错误并没有像独立抽签那样分散。该条件比例用于定位组合问题,不证明错误相关是由共享训练数据造成;也可能是同一批难题或共同缺失的资料。
至少一个模型正确的记录有965条,但多数票只正确905条。两者相差60条,说明“候选中存在正确答案”还需要可靠的选择机制才能变成收益。只在事后知道参考答案时挑对的965条,是这组候选的可选范围,不是可以对外承诺的交付正确率。
独立假设与一致放行,为什么都不能直接套用
若暂时假设三个模型错误彼此独立,且错误概率固定为0.10、0.11和0.12,则三票多数错误概率为0.10×0.11+0.10×0.12+0.11×0.12−2×0.10×0.11×0.12=0.03356。减去两倍三者全错,是因为前三项把全错重复计了三次,而多数错只应计一次。
这个独立模型会预期一千条中约33.56条多数错误;前述构造记录实际有95条。公式算对,不代表独立前提成立。把单模型准确率输入公式后获得一个漂亮的组合准确率,只完成了条件推算。需要实际配对输出,才能判断自己的任务是否接近这一前提;混合容易与困难问题时,还应分层检查。
另一条路径是只交付三票一致的结果,把分歧送人工。在本例二分类且全部返回有效标签的前提下,111与000都属于一致,共835条;其中35条仍然错误,已放行结果的错误占比为35÷835≈4.19%。其余165条转人工。这里提高了放行结果的纯度,却缩小了自动覆盖,不能与全量多数票的9.5%错误率混用分母。
该简化不适用于多选或自由文本:三个模型全错时,可能给出三个不同错误答案,不再必然一致。真实验收还要按参考标签分别统计不支持却被批准、支持却被拒绝;八类正确性计数无法单独回答这两项。若错误批准的后果更重,应另设该类错误的放行条件,而不是让大量正确拒绝把它平均掉。
把纠错、调用与复核放进同一投入账本
沿用这组结果作预算推演,假设每月处理20000条同类输入,错误构成保持相同;A每次调用0.04元,B、C各0.03元,三票聚合另需0.005元,新增组合维护每月1200元。金额均为本例预算假设。单用A的调用费为800元;三模型为20000×0.105=2100元,连同新增维护,多支出2500元。
按样本比例外推,单用A每月2000条错误,多数票1900条,净少100条。若每条错误平均带来20元返工,A路径的调用加返工为40800元,多数票路径为2100+1200+1900×20=41300元,反而多500元。这里暂将正确结果的其他处理费用视为两路相同,并假定错误都会被发现后返工;现实账本应补上未发现错误及不同严重度。
在上述假设下,净减少的每条错误平均需要避免超过2500÷100=25元损失,组合才覆盖新增费用。若可避免损失为60元,净收益变为100×60−2500=3500元。若流量减半而质量比例相同,新增调用费650元、维护仍1200元,减少50条错误,临界值升至37元。固定投入使小流量项目更难只靠少量纠错回本。
一致才放行的路径还要计算人工容量:20000×16.5%=3300条待复核,每条2分钟就是110小时。若团队每月只能安排40小时,最多处理1200条,留下2100条积压。即使按80元/小时支付8800元覆盖全部110小时,也仍需核查人工纠错质量和业务期限,不能假定付费便自动具备人员与能力。
错误可能涉及不可接受的越权或错误业务承诺时,期望金额不能代替硬性控制。应先满足禁止自动放行的边界,再在合格路径之间比较费用。预算账本是判断投入的一部分,不是用低价交换任何风险的许可。
保留单模型、增加投票,还是换一种证据
保留单模型适合现有质量已满足用途、错误主要来自资料缺失,或新增成员只反复给出同样错误的情况。先修复检索范围、资料版本和字段校验,可能比多买调用更直接。维持现状也应保留抽检和错误清单,不能把“暂不增加模型”解释为不再验证。
增加独立初答后再投票,适合答案可归一、样本显示互补、额外时延与费用可承受的任务。先让各模型看同一冻结输入并独立作答,再执行已定义的聚合;不要让第二个模型先看到第一个结论,却仍把两票当成独立观察。若需要多轮讨论,应另保留讨论前后结果,判断讨论纠正了什么、又说服谁改错。
引入不同证据适合规则和来源能够外部核查的任务。例如数值合计交给确定性计算,型号适用范围对照批准的主数据,引用支持性回到原文条件,争议口径由负责人裁定。它的投入可能是维护规则、补齐资料或安排专业复核,不一定是增加模型。不同品牌仍读同一错误底稿时,额外意见无法补出缺失事实。
带权或依赖感知聚合可以作为第四种候选,但权重必须在开发数据上拟合,在独立样本上比较;不能看到验收答案后给答对者加权,再把同一组分数当作上线证据。只有在简单多数票和单模型基线之外持续带来增益,且维护责任可承担,复杂聚合才有额外价值。
三类失败,应怎样发现和复验
共同资料错误:把同一份过期资料交给所有模型,它们可能一致接受已经失效的条件。抽检不能只看分歧队列,应随机覆盖一致通过的记录,并核对来源版本和适用日期。发现后修正取证路径,分别重跑原错误、相邻版本与正常样本;若换品牌仍用旧资料,不算修复。
组合成员变差:某个模型在新语言或新产品线上输出更弱,反而把原本正确的少数票压下去。按切片查看“原模型对、组合错”及相反方向的数量,再检查各成员的缺失、超时和标签解析。可以缩小组合适用范围、替换成员或恢复单模型;复验使用新的独立样本,不能只删除已经暴露问题的题。
一致来自协商而非证据:多轮讨论后所有成员采用同一论据,看起来更整齐,却可能丢掉最初正确的异议。保留初答、各轮改判与引用来源,抽查正确转错误的轨迹。修正可以是限制相互影响、保留少数意见送复核,或增加资料核查。重新执行同题的独立初答和讨论对照,观察净增量,而不是只数最后一致率。
上线还要检查服务故障是否悄悄改变票制。三模型中一方超时,系统究竟等待、回退还是转人工,必须提前定义;不能把两票中的一票当作三票多数。按完整请求记录费用、端到端期限和最终交付状态,保留未返回的调用,才能避免用幸存样本高估组合质量。
把组合验收卡交给采购与运行负责人
验收卡第一组填写任务与输入:答案单位、允许标签、资料版本、适用业务切片、业务后果、超时与无法判断的处理。第二组填写组合:各模型与提示版本、是否相互看见初答、聚合规则、成员缺席时的路径。每项都应对应一个可复现样本或配置记录,避免只写“多模型交叉验证”。
第三组填写效果证据:单模型基线、组合净纠错、正确转错误、一致但错误、分歧数量、按标签区分的错误批准,以及各切片样本量。参考标签由可核查资料与明确规则支持;开发和最终验收分开,同一材料的近似改写成组划分。某切片证据不足时列为未确认,不用总体分数替代。
第四组填写资源与决策:每月请求量、实际调用和重试账单、新增维护、复核分钟数、人员可用小时、端到端期限和退出条件。只有净纠错有证据、关键失败可控、人员容量足够且完整账本支持时才推进;若共同错误占主导就先补证据,若收益被维护吞噬就保留简单路径。
组合升级也应有负责人和复核日期。模型、规则、输入分布或资料来源变化后,重新检查配对错误与复核队列;恢复旧方案时保留对照记录。企业购买的应是能够核对的纠错增量和交付能力,而不是越来越多的同意票。
参考资料
- [1] Wang et al. — Self-Consistency Improves Chain of Thought Reasoning in Language Models(ICLR 2023;arXiv v4)
- [2] Du et al. — Improving Factuality and Reasoning in Language Models through Multiagent Debate(ICML 2024)
- [3] Smit et al. — Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs(ICML 2024)
- [4] Kim et al. — Correlated Errors in Large Language Models(ICML 2025)
- [5] Balasubramanian and Podkopaev — When LLM judges agree, should we believe them?(Amazon Science,2026-08-26)
