只有在各工厂确实需要共同学习、输入与标签能够对齐、原始数据集中受到明确约束,而且逐站收益足以覆盖协调成本时,联邦学习才值得进入试点。它把部分训练移到数据所在处,再汇总模型更新;既不自动解决口径差异,也不等于更新内容没有泄露风险。决策对象应是整套合作训练安排,而不是一个“数据不出厂”的架构标签。
先区分共同训练、汇总分析与现场推理
设定三家工厂希望识别同一类表面缺陷:甲有六千张训练图,乙有三千张,丙有一千张,每张约一兆字节。三方愿意共享训练成果,但目前只批准模型更新出厂,未批准原图集中。以下沿这组构造输入,逐项核对训练条件、预期收益与投入,数据规模不是产品或客户指标。
联邦学习通常让各参与方从共同模型开始,用本地数据计算更新,再由协调方聚合。[1] 本文限定少量已知组织、相同特征结构和相同预测目标的横向联邦训练。银行掌握客户资产、零售商掌握购买记录的特征互补问题属于另一类架构,不能直接套用本例的参数平均。
如果需求只是合并三个工厂的缺陷数量,经过授权的统计汇总即可,不必训练共享模型。如果需求是断网仍能识别,首先解决现场推理依赖,也不必因此采用联邦训练。训练数据的位置、训练协调方式和推理位置是三个不同决定;共同模型最终仍可能分别部署到厂内。
Kairouz 等人的综述区分了跨设备与跨组织的联邦场景,指出后者仍存在数据、软件和协调差异。[2] 因而采购前先列出谁保管数据、谁批准更新、谁接收全局模型、谁承担退步损失。只有“不方便拷贝文件”而没有共同学习目标时,应先检查数据交付流程,而不是增加训练系统。
用输入契约判断三家工厂能否学同一件事
三方应共同填写输入卡:图像对应的工件与批次、相机与光源、采集时间、尺寸和颜色通道、缺陷类别、标注依据、复判人,以及允许训练的用途与期限。每项不仅写名称,还要写单位和排除条件。例如甲把可返修划痕标为缺陷,丙只把报废划痕标为缺陷,同名标签并不代表同一目标。
先抽取获准核对的标签定义、统计分布和边界样例,由质量负责人确认类别对应。不能交换原图时,可以在各自环境运行同一检查脚本,由当地复核人员提交受控结果。报告也可能含敏感信息,应约定最小汇总粒度和接收者,而非把统计表默认视为可公开资料。
训练与验收分开:同一工件的相邻拍摄图不应随机分到两边,使模型凭背景记忆过关。各厂保留按工件、批次或时间隔离的验收集;选择哪个维度取决于实际部署将遇到的新变化。新增工厂若没有代表性样本,现有三厂结果不能替它背书。
还要确认模型结构、初始权重、预处理、标签编号和更新格式一致。两个模型即使都输出“缺陷概率”,参数位置也未必可以对应平均。质量团队负责语义,平台团队负责可重复的执行环境;接口能传输一串数字,仅证明通信接通,不能证明这些数字可以共同学习。
看懂一次聚合,但不要把平均值当成效果
用一个参数坐标演示聚合:假设三厂从同一版本出发完成本轮本地训练,返回值分别为一、 一点四和零点四。按六千、三千、一千条训练样本加权,结果为零点六乘一,加零点三乘一点四,再加零点一乘零点四,合计一点零六。这个算式只核对更新合成规则,不说明模型识别能力提高。
样本权重还需要明确分母。这里使用本轮已纳入的训练样本数,而不是工厂全部历史记录数,也不是完成的梯度步数。各厂每条图重复训练多少遍,应另记为本地训练配置;不能把多跑几遍误算成新增样本,从而无意提高该厂权重。
如果丙本轮未完成,不能悄悄仍把它记为参与。只聚合甲乙且按九千条重新归一化时,该坐标约为一点一三三三;若约定必须三厂共同参加,就应保留上一版。两种策略都需要事先批准,并记录实际参与集合,不能为了让轮次继续而临时降低要求。
某厂图像背景或缺陷构成与其他厂不同,就是数据分布不一致的一种表现。共享更新可能帮助小样本站点,也可能让它向大厂的目标偏移。是否采用分组训练、局部个性化或独立模型,应由逐站验证决定。这里的算术并不等价于证明任何非线性模型收敛,更不能用一次聚合值推出准确率。
总漏检减少,为什么仍可能不能全量上线
为比较决策,给三厂各设一千件独立验收工件,其中各有一百件真实缺陷、九百件正常。假设原有独立模型在甲乙丙分别漏掉十二、十、四件缺陷,并把四十五、三十六、十八件正常品交去复检;候选共享模型的相应数字为六、五、八件漏检,以及三十六、二十七、四十五件误报。这是供复算的情景结果。
按缺陷件数汇总,漏检从二十六除以三百,即百分之八点六七,降至十九除以三百,即百分之六点三三。但丙厂漏检从四件增至八件,漏检率翻倍。正常品误报总数从九十九增至一百零八,误报率从百分之三点六七增至百分之四;仅报总体漏检下降,会遗漏复检工作量和丙厂损失。
本情景在评审前约定:每厂漏检数不得增加,每厂每千件因误报增加的复检量不得超过十件。这个约定服务于示例决策,不是行业标准。候选模型在丙厂两项均不通过,即使甲乙通过,也只能考虑局部采用、继续调试或维持独立模型,不能按整体平均值批准三厂切换。
验收样本各取一千件,因此这里的汇总按等样本量计算。若实际生产量甲远大于丙,可以另算生产权重下的预计负担,但仍应保留逐厂指标;训练样本权重不能直接搬来充当业务收益权重。一次小规模结果也不足以预测每个季节和产品批次,临界差异应扩大独立验证并检查不确定性。
“原图不出厂”还缺哪些保护条件
模型更新也是信息。Deep Leakage from Gradients 在其设定的模型、梯度可见性和实验条件下展示了从共享梯度恢复训练数据的风险。[3] 这不意味着所有联邦部署都能被同样还原,却足以否定“没有发送原图,所以不必保护更新”的推断。需要先说明协调方能看到什么,而不是只检查传输是否加密。
安全聚合的目标,是让协调方得到多方更新的聚合结果,而不直接获知单方贡献;Bonawitz 等人的方案还处理参与者掉线问题,并依赖明确的协议与威胁假设。[4] 采购应要求说明最小参与条件、允许掉线的范围和异常时停止规则,不能把论文中的大规模参与结果直接移植为三个工厂的保证。
NIST 对输入保护的说明同样把普通参数平均与安全聚合区分开来。[5] 把更新发给能解密的中央服务,与让该服务只能获得受保护的聚合结果,不是同一种边界。安全聚合也不替企业判断标签是否正确、参与方是否提供有害更新,或者发布后的模型能被谁查询。
本例只有三方,参与集合变化尤其值得审查。如果一个参与者知道自己的贡献,又能观察不同组合的聚合结果,可能获得额外推断线索。具体能推断多少取决于协议、串谋能力和可见信息,不能给出无条件安全结论。应让安全负责人审核实际配置与日志,再用获准样本检验边界;条件不足时保持独立训练。
把通信与协调投入放在同一张成本表
继续给出预算假设:每轮给每厂下发八十兆字节完整模型,并接收同样大小的更新,三厂参加一百轮。仅模型有效载荷就是三乘一百乘一百六十兆字节,即四万八千兆字节,约四十八十进制吉字节。原始一万张图按每张一兆字节计算约十吉字节;不集中原图,不代表通信量一定更少。
这没有计入安全协议、重试、评估结果、初始化和模型归档,也没有采用压缩更新。若需要两百轮,相同假设下有效载荷翻倍至九十六吉字节。比较集中方案时也要计入持续新增图像和重新传输,不能拿联邦的全年训练量与集中方案的一次上传价格当完整成本对比。
再设实施与协调用二百四十人时,三厂各适配四十人时,之后每月合计维护十八人时。首年为二百四十加一百二十加二百一十六,合计五百七十六人时。若获准集中训练的建设为一百六十人时、每月维护十人时,则首年二百八十人时,差额二百九十六人时。这些是待替换的预算输入,不是厂商报价。
工时还没有计入设备购置、训练算力、停产窗口和异常支持,不能据此直接给出采购总额。将差额交给业务负责人时,应同时带上逐厂通过结果和数据限制:如果集中训练根本未获授权,它只能是条件性备选;如果联邦方案没有证明增量收益,再低的协调报价也不足以批准扩容。
三条现实路径各在什么条件下成立
维持独立模型适用于工厂差异明显、各自已有足够样本,或暂时无法建立共同标签和维护责任的情况。它的代价是稀有缺陷经验难以共享、各厂重复维护,但能保留清楚的本地责任。在本例丙厂退步尚未解释时,让它继续使用原模型是完整方案的一部分,而不是项目失败后的临时补丁。
获准集中训练适用于用途与访问边界明确、原始数据能够合法依约汇集、网络和统一平台可承受的场景。集中检查更容易定位错标和重复数据,但仍需隔离评估、控制访问、维护版本。它不是天然更准确;同一标签和模型下的对照结果仍要逐厂确认。
联邦训练适用于共同学习价值已经显现、数据集中受限,而各方又能长期提供兼容计算环境和训练窗口的场景。试点应同时保留本地基线,并观察大厂与小厂收益。若只有甲乙适合协作,可重新界定参与范围;改变范围后必须重新检验质量与保护条件,不能沿用三方评审结论。
训练完成后的现场部署另行验收。工业 AI 边云协同的断网责任与恢复方法可以帮助核对推理、更新和离线重启;它不能替代联邦训练的收益验证。相反,某厂不能及时升级时,共享模型也不应自动成为该厂生产版本,应保留已批准模型和可追溯的切换记录。
用一张决策卡决定推进、缩小还是暂缓
决策卡第一栏填写共同任务、参与厂、标签定义、允许离厂的信息和批准人。第二栏写每厂训练样本数、独立验收范围、预处理版本及缺失场景。第三栏列本地、集中备选和联邦路径的逐厂漏检、误报、复检工时与完成期限。缺陷分母和正常品分母分别写清,不用一个“准确率”合并所有后果。
第四栏记录每轮基准模型、参与集合、样本权重、实际上传下载字节、失败轮次和恢复方式。第五栏登记协调方与参与方可见信息、保护机制、最小参与条件、更新留存和模型接收权限。第六栏填写一次性工时、持续维护、设备和算力成本,以及哪一项证据可以支持追加投入。
两个失败闸门应直接演练。其一,某厂把缺陷标签一和零反转:预期在本地输入核对或逐厂回归时发现,隔离该轮结果,修正映射后从共同基准重新验证,不能只删掉异常工厂指标。其二,一厂中途掉线:预期按事前参与规则停止或继续,记录实际集合;恢复时核对轮次和模型版本,禁止把旧更新混进新一轮。
再检查结果发布后的退步:若丙厂换光源导致误报上升,先区分采集变化、标签变化和模型变更,以原版本回放相同样本。未经复验,不因总体成绩好而要求丙厂接受损失。推进的依据是每个获准范围都有可交接证据;缩小范围应写清受益者和未覆盖站点;证据不足时暂缓共享训练,继续补齐输入和本地基线。
参考资料
- [1] McMahan et al. — Communication-Efficient Learning of Deep Networks from Decentralized Data, AISTATS 2017
- [2] Kairouz et al. — Advances and Open Problems in Federated Learning, arXiv v3, 9 March 2021
- [3] Zhu, Liu and Han — Deep Leakage from Gradients, NeurIPS 2019
- [4] Bonawitz et al. — Practical Secure Aggregation for Privacy-Preserving Machine Learning, CCS 2017
- [5] NIST — Protecting Model Updates in Privacy-Preserving Federated Learning, 21 March 2024
