防止过期工作者覆盖新结果,关键是让最终写入端拒绝已经失去资格的执行代次,并把资格判断与实际修改放进同一原子边界。延长租约、定期心跳或在提交前查询一次锁,都不能单独关闭迟到写入窗口。本篇面向调度、数据管道和智能体工具服务团队,以单个报表资源的发布为例,说明如何建立可验证的接管协议。
先确定保护对象与能够承诺的不变量
租约是有期限的持有权:工作者在有效期内可以继续某项任务,失联或超时后允许别人接管。到期改变的是服务端的分配资格,不会强制结束旧进程。垃圾回收暂停、宿主机冻结、网络延迟都可能使旧工作者在新持有者开始工作后继续发送请求。[1]
执行代次是每次有效接管时推进的编号,也称 fencing token。它需要与受保护资源绑定,由可信服务分配,随每次写请求到达最终接收端。随机持有者编号适合判断是否为同一个持有者,却不自带先后关系;客户端时间戳也不能代替服务端有序分配。
本文保护的资源是企业A的一张月度汇总报表R,计算过程可以较长,公开指针与结果回执保存在同一个 PostgreSQL 18 数据库。方案要求所有发布入口都经过同一服务,工作者不能直接覆盖结果表。外部付款、设备动作与多数据库原子提交不在此本地保证范围内。
约定三个不变量:新代次的接管事务提交后,旧代次不能再改变R;同一个操作键只能对应一份确定结果,重试不能制造第二份效果;发布结果必须对应当前批准的输入版本。代次正确不代表计算正确,输入版本正确也不代表执行者仍有资格,这三项检查各有用途。
还要精确定义“到期”。本方案在持有数据库行锁后读取服务端当前时间,判断能否授权这次短事务;不承诺现实时间跨过截止点的那一纳秒,已获准事务就被物理撤销。需要接管的事务必须取得同一行锁,因而授权、提交与接管有明确顺序。
用一条暂停时间线重现迟到覆盖
以下构造两笔报表输入:快照S1中订单O1为600元、O2为400元,合计1000元;经批准更正后,S2保持O1为600元,将O2改为300元,合计900元。S1和S2是两个不可变输入版本,金额定义相同。工作者甲持有S1的任务,乙接到的是批准后的S2任务,不能把两者假装成同一份冻结输入。
设相对时间0秒,甲取得R的第41代,截止时间为30秒;第5秒开始长暂停。第31秒,乙接管并取得第42代,服务端将当前批准输入设为S2;第35秒乙完成计算并提交900元。第40秒甲恢复,携带第41代与S1提交1000元。若服务只按报表编号覆盖,最终会倒退为1000元。
正确预期是第40秒拒绝甲,R继续指向S2和900元,甲的拒绝不会生成发布事件。即使甲恢复后查询了一次锁,也不能依靠“查询通过后马上写”保证安全,因为它可能在查询之后再次暂停。检查必须和发布绑定,放在别人无法插入接管的临界区内。
更强的反例是让乙在第31秒接管后暂不发布任何业务结果,甲在第32秒先到达写入端。如果写入端只记“最后成功结果的最大令牌”,它可能仍只知道第41代,因而放行甲。最高已见令牌能阻止已经看见更高令牌之后的回退,不自动等同于新持有者已完成接管。必须说明新代次何时在资源端生效。
本方案将接管定义为数据库内当前代次推进已提交,而不是锁服务刚返回一个新编号。如此,乙尚未产生900元,甲仍应被拒绝,旧的公开结果可保持不动并显示更新中。不要为了让页面总有新值,把不再有效的计算当作临时正确结果。
最小记录要分开资源、持有者与业务操作
为每个受保护资源预先建一条控制记录,以企业与资源编号为唯一键,保存资源世代、执行代次、持有者、租约截止时间、批准输入版本和状态。资源世代用于区分删除重建或恢复后的同名资源;执行代次在该世代内单调推进,不在每次任务重启时归零。
发布结果记录保存企业、资源、输入版本、结果摘要或不可变结果地址、金额与产生它的执行代次。操作回执以企业和操作键唯一,保存资源身份、输入摘要、最终输出摘要和提交结果。甲提交S1和乙提交S2是不同业务操作;乙的网络重试必须沿用原操作键与同一内容。
本例可把甲的操作称为Publish-S1,乙称为Publish-S2,但实际键不能仅靠容易重名的短字符串。键的作用域要覆盖企业和具体业务意图。若同键从900元改为950元,应报内容冲突;如果把每次重试时间拼进键,就失去了识别同一次操作的依据。
代次不是密码。服务先验证调用身份、资源权限以及代次确由当前控制记录授予该持有者,不能接收客户端任意填写的999999并把它当成更高资格。输入批准也来自受控记录,不由工作者在发布请求中自称已批准。读取旧回执同样需要权限,避免借去重查询泄露其他企业结果。
接口至少区分成功、原操作已完成、旧代次拒绝、输入版本冲突、权限拒绝与结果未知。零行更新不是成功,连接超时也不是确定失败。保留这些类别,恢复程序才能决定是返回原回执、重新领取任务、修正输入,还是等待查明原事务结果。
路线一:在结果数据库内原子完成接管与发布
领取事务先按企业和资源对控制行执行 SELECT FOR UPDATE,取得锁后重新读取当前状态。只有资源允许工作且现持有者已释放或租约按规则到期,才推进代次、绑定新持有者和批准输入,并设置新截止时间,再提交。两个领取者同时到达时,后到者等待后检查已经更新的行,不能继续使用加锁之前读到的过期状态。[2]
PostgreSQL 18 的行锁语义是这条路线的基础:冲突的修改和加锁要等待,锁通常保持到事务结束。[2] 长时间模型推理、文件生成和网络请求都应在领取事务结束后进行。把整个计算放进持锁事务会放大等待、占用连接,并阻碍接管;租约方案的目的之一正是缩短数据库临界区。
发布时先鉴权并核对原操作回执:同键同内容已经提交,就返回原结果,不再次修改R;同键异内容则拒绝。尚未完成时开始短事务,按固定顺序锁定控制行,在锁内检查资源世代、持有者、代次、批准输入版本、状态和截止时间,再登记操作、写结果并更新公开指针,全部一并提交。
用于判定截止时间的时间值应在获得控制行锁后读取。PostgreSQL 的 now() 与 CURRENT_TIMESTAMP固定为事务开始时间,而 clock_timestamp()反映调用时的实际时钟。[3] 一个事务如果等锁十秒,不能拿等锁之前的时间证明租约还有效。这里应读取一次服务端当前值作本次授权判断,不使用工作者传来的本地时间。
检查后到提交前如果达到截止时间,接管方仍因同一行锁而等待;原事务先提交,后续接管再依据新读到的状态决定。本方案保证的是序列化的接管边界,而不是硬实时停止。应限制提交事务时长、设置锁等待预算,并在超时后查原操作结果。时钟回拨可能拖延接管,因此还需监控时钟;代次屏障不能修复所有可用性问题。
若两次Publish-S2并发,二者还需受操作唯一约束保护,并在锁内重新查回执。第一笔提交900元后,第二笔返回同一结果,不增加发布事件。检查回执、结果与公开指针的事务必须一致;单独先写“已完成”会造成假成功,单独先写结果则会留下重复窗口。
续租、释放与同代次多次写入也要有规则
续租仍锁同一控制行,核对企业、资源世代、持有者与代次,并检查在当前协议下是否仍可续租。这里约定截止后不允许复活旧代次,工作者必须重新领取。续租成功不改变代次,只推进截止时间;返回未知时不能继续假定已获延期,应读取权威状态并按受控规则决定停止或恢复。
释放只清除匹配当前持有者与代次的资格,保留递增历史。甲在第42代已生效后执行“释放R”,不能清掉乙的租约。Redis 的官方锁说明同样强调根据持有者值释放,而不是无条件删除锁;该检查保护释放动作,不能代替结果存储端的写入屏障。[4]
一个代次可以包含多步操作时,不要简单把“请求令牌大于最后令牌”作为唯一条件,否则同一有效持有者的第二步也会被拒绝。可以像本方案一样核对当前代次相等,并另外为每项逻辑操作保存幂等回执;若只用最大令牌协议,则必须定义同令牌的重试与顺序规则。
执行代次与内容修订也不能合并。乙仍持有第42代,但批准输入从S2变成S3时,旧计算是否还能发布,应由输入版本条件裁定。接口条件更新的版本校验方法讨论的是这一类内容前提;领取资格和业务状态各自推进,才能诊断到底应该重新领取还是重新计算。
资源被取消后,即使租约尚未到期也应拒绝新的发布;已提交回执可以在授权查询中返回历史事实,但不能因此把取消状态改回运行。资源删除重建时换世代,旧代次无法借同名R重新生效。不能把清空控制表当作恢复步骤,否则旧工作者会与新记录发生身份混淆。
路线二:外部协调服务需要资源端接管屏障
当工作跨多个服务、已有可靠协调基础设施时,可由外部协调器授予租约与有序代次,再交给写入端核对。etcd 3.6 文档说明其KV操作具备严格可串行化保证,修订体现操作顺序;允许陈旧读取的模式与默认线性一致性读取有所区别。[5] 但一个协调器内有序的编号,不会自动成为另一个数据库的原子授权。
若要求与本文相同的接管语义,新持有者必须先在结果服务激活新代次,由结果服务原子推进该资源的当前资格;激活完成前不宣布资源接管成功。较旧激活请求迟到也必须拒绝。协调租约到期、新代次激活和业务结果发布是三个不同事件,应分别记录,不能只保留“已获取锁”日志。
特别要限制这条路线的承诺:仅在新代次激活后拒绝旧代次,不等于外部租约一到期就立即阻止旧写入。若业务要求后者,需要把资格验证与资源写入置于能够共同协调的协议,或采用结果端签发的短期授权及明确故障模型;提交前跨网络查一次租约仍存在检查后变化的窗口。
数据库内路线少一个跨系统接管缝隙,但会给热点控制行增加竞争,且保护范围限于该事务内结果。外部协调路线适合已有成熟运维、目标服务也能执行屏障的系统,却增加代次激活、网络分区、恢复与多目标一致性责任。若关键目标根本不接受代次或条件写入,仅新增锁服务不能实现这项保证。
随机令牌、计数器与一致性实现不能混为一谈。Redis 官方文档明确提醒长任务应考虑 fencing tokens,不能假设进程还活着就一直持有锁。[4] 这里不凭某个锁库名称判断正确性;应检查编号何时产生、失败后是否可能倒退、每条目标写入是否真正执行检查,并用具体时间线验证。
六组故障验收,分别查看持久证据
用例一暂停甲到租约过期,让乙接管并发布900元,再恢复甲提交1000元。预期旧代次被拒绝,当前结果、输入版本和发布事件均保持乙的提交。检查控制行、操作回执、最终指针与拒绝原因;若出现覆盖,修复所有写入口的原子检查,再交换工作者顺序复验。
用例二让乙只完成接管,不发布新结果,立即恢复甲。预期仍拒绝甲,证明屏障在接管时已经生效,而非等待第一笔新结果才建立。证据是接管事务提交位置和甲的拒绝记录。若最大令牌只存于结果表而未提前推进,应修复激活流程,再验证乙后续正常发布仍能成功。
用例三在租约截止附近并发续租和接管,并延迟旧释放请求。预期由控制行的实际串行顺序决定唯一有效代次:先成功续租则接管不成立,先有效接管则旧续租与旧释放不能修改新记录。检查事务顺序、截止时间和持有者。不要按客户端日志时间拼出一个未经数据库确认的先后结论。
用例四让乙的900元提交成功后丢失响应,再用相同操作键、相同内容查询与重试。预期返回同一提交回执,只有一份业务效果;另送同键950元应明确冲突。检查操作摘要、结果及事件数量。若原事务仍未确定,保持未知并等待核查,不能通过换键把一次操作变成两次。
用例五把批准输入改成S3或取消R,但继续让乙携带第42代和S2提交。预期输入版本或状态检查拒绝,证明有效代次不是无限权限。再测试错误企业、伪造大代次及旧资源世代;全部不得产生结果。修复条件或授权入口后,使用真实当前输入与合法身份作正向对照。
用例六制造控制行锁等待:事务开始时尚未到期,真正取得锁时已到期,且尚未接管。按本方案约定拒绝旧授权,检查在锁内取得的当前时间,而不是事务开始时间。再测临界区内跨过截止点的情况,确认后续接管等待原事务结束,验收记录与所承诺的串行边界一致。
恢复与外部副作用,不能靠一个编号包办
恢复旧备份可能让代次回退,旧网络请求却仍然存在。etcd 的恢复文档专门讨论快照恢复后的修订倒退,并给出修订提升及缓存失效的处理机制。[6] 这提醒我们把恢复纳入代次协议;文档中的选项并不会自动修复所有外部结果服务的状态。
本方案恢复时应先隔离旧工作者和旧写入入口,核对结果回执与控制记录的恢复点,建立新资源世代或其他获准的防回退边界,再开放领取。仅把计数器加一,未必高于曾经授予且仍可能在途的代次。恢复演练应主动送入旧世代请求,确认被拒绝,并对新世代执行正常发布测试。
若发布完成后还要发送通知,应把发送意图与结果提交放进同一本地事务,再按事务发件箱与消费去重方法处理交付。它保留发送义务,但不保证外部网络没有重复。过期工作者不能绕开发布服务直接发送通知,否则即使数据库拒绝旧结果,外部仍可能出现错误消息。
外部系统若不支持稳定操作键、结果查询或代次判断,应将未知结果留给受控核对,不承诺恰好一次。能够证明900元已入库,不能证明邮件只发了一封,更不能推断设备没有执行旧命令。每种副作用都要有自己的最终验收点。
把容量、监控与回退一起交付
租约时长是恢复速度与续租负担的取舍,不是越长越安全。设同时有一万个运行任务,每十秒续租一次,理想均匀负载约为每秒一千次续租请求;它未计重试、突发和批处理。应按峰值、尾部延迟、数据库锁竞争与租约失败数量测量,而不是以平均计算时长直接指定租期。
监控至少保留活跃资源数、领取等待、续租拒绝、过期提交、输入冲突、未知结果停留时间与最长提交事务。旧代次拒绝增加可能说明工作者暂停、网络拥塞或租期过短,也可能是重复派发;不要为降低告警直接关闭屏障。日志需要关联资源世代、代次和操作键,但不必复制整份敏感结果。
对多个资源的联合变更,本例的单行控制不能直接保证整体原子。若能同库完成,应使用确定锁顺序和同一事务;跨服务则需要额外协议和补偿边界。分片可以降低热点,却不能把一个必须整体更新的业务对象随意拆开。性能扩容前先确认保护对象与不变量保持一致。
上线时先用获准数据运行六组时间线,核对每个预期输出与实际持久记录,再逐步扩大资源范围。回退可以停新领取、等待已授权短事务确定结果并保留原回执,不应恢复成无条件覆盖。恢复数据库、升级协调服务和调整租期后,都应重做相关边界测试。
交接清单应写明资源粒度、输入批准来源、代次分配与激活点、当前时间判定位置、所有写入口、操作去重期限、未知结果负责人、备份恢复边界以及六组故障证据。示例的1000与900元可直接复算;并发与故障表现必须在目标环境取得记录,才能据此确认部署通过。
参考资料
- Martin Kleppmann — How to do distributed locking(2016-02-08)
- PostgreSQL 18 — Explicit Locking,Row-Level Locks
- PostgreSQL 18 — Date/Time Functions and Operators,Current Date/Time
- Redis — Distributed Locks,释放、延期与一致性提示(查阅2026-11-20)
- etcd 3.6 — API guarantees
- etcd 3.6 — Disaster recovery,Revision Difference / revision bump
