可靠的发送流程应把业务变更与待发送事件写入同一个本地事务,再由可恢复的转发器交付;它保证的是已提交变更有对应事件,不是消息绝不重复,更不是所有外部动作只发生一次。本文面向企业系统集成与数据平台团队,以订单审批后更新分析投影为目标,说明发送端的原子边界、转发策略和可复验的失败处理。
先写清成功发生在哪一层
事务发件箱(transactional outbox)是在业务数据库内保存待发送事件的结构。AWS 的模式说明将它用于解决数据库写入与消息通知分成两次提交的问题,并提醒消费者处理重复。[1] 本文讨论一个 PostgreSQL 18 数据库内的业务表与发件箱,目标消息系统独立运行;不把两个数据库或外部接口假定为同一本地事务。
先写业务再发消息,会在提交后、发送前的进程退出处漏掉通知;先发消息再写业务,又可能在事务回滚后让下游处理不存在的事实。给两个调用加重试,只改变失败概率,没有消除两者各自成功的窗口。应将“需要通知什么”变为与业务同存亡的持久记录。
PostgreSQL 的事务文档说明,本地事务可把多步修改组合为整体提交或回滚,未完成的中间状态不会直接暴露给其他事务。[2] 在这里,订单与事件必须使用同一数据库连接和同一事务边界。应用框架若为事件另开连接,或在提交后回调中再插入发件箱,仍然保留原来的缺口。
明确三个结果:订单变更已提交、消息系统已接受事件、消费者业务效果已提交。三者可能相隔一段时间,界面与接口应分别表达。本文的成功响应只承诺第一层并留下可查询的事件身份;下游分析更新完成要有消费证据,不能由发送调用返回成功推断。
环境基准为 PostgreSQL 18 的事务、序列与锁语义;另一条路线参考 Debezium 3.3 的 Outbox Event Router,消息保证参考 Kafka 4.1 文档。示例描述数据结构与操作步骤,未运行整套数据库和消息系统,不提供吞吐实测。
把业务命令、事件与对象版本分别编号
构造订单 O42:企业 A,初始业务版本 1,状态 draft,10 件、单价 100 元,总额 1000 元。命令 K-approve-42 要把它审批为 approved、版本 2;之后命令 K-correct-42 把数量更正为 9 件、金额 900 元、版本 3。分析端维护的是当前已批准金额投影,不是会计收入,也不执行发货。
命令键区分一次业务意图,重复请求沿用同一键;事件编号区分该意图产生的一份不可变消息,转发重试沿用同一编号;对象版本用于比较 O42 的先后状态。不能每次网络发送都生成新事件编号,也不能用请求重试次数充当业务版本。本例审批产生 E2,更正产生 E3;展示用短编号在实际表中可替换为 UUID。
业务表需要 tenant_id、order_id、version、status、quantity、unit_price 与 amount,金额采用确定的十进制类型。命令表以企业和命令键唯一,保存输入摘要、结果版本及事件编号。发件箱保存 event_id、企业与对象编号、aggregate_version、事件类型、payload_schema_version、不可变 payload 和创建时间。
约定本例一个对象版本只产生一种 OrderStateChanged 事件,因此再以企业、对象、版本、事件类型建立唯一约束。若实际一次变化要产生多种事件,应把类型或事件序号纳入身份,不能照搬单事件约束。对象主键与命令键的所有组成字段均为必填,避免未知身份进入去重路径。
轮询实现可增加 sent_at、attempts、next_attempt_at 和最后错误类别等投递元数据,或者另设交付状态表。业务 payload 不随重试改变,重试次数只更新元数据。若一个命令键被再次提交但数量从 10 改为 11,应返回冲突并保留原结果,不能把新内容悄悄写到原 E2。
一个本地事务同时产生订单状态与发送义务
审批事务按固定顺序处理:开始事务;插入或取得 K-approve-42 的命令记录;对 O42 加行锁并校验企业、当前版本及状态;把订单改为 approved 和版本 2;写入 E2 的完整事件;写回命令结果;提交。任何一步失败都回滚。只有实际命中符合前提的一行订单,才允许产生该次事件。
E2 的内容表达完整投影状态:企业 A、订单 O42、对象版本 2、approved、数量 10、单价 100、金额 1000、结构版本 1。E3 对应版本 3、数量 9、金额 900。应在业务事务内从已确认的变更值生成事件,不能等转发时重新查询当前订单来拼正文,否则 E2 可能被装成 E3 的状态。
两个相同审批命令并发时,由命令唯一约束和事务裁定归属;等待的一方读取已提交结果并比对输入摘要,不再生成事件。不同命令竞争同一订单时,行锁与版本前提决定是否允许后续转换。死锁或事务冲突需要按原命令重新核对并有界重试,不以新键跳过已经发生的业务事实。
如果数据库已提交但客户端没收到响应,返回的是结果未知。重新查询企业 A 的 K-approve-42:找到与输入一致的已提交记录,就返回版本 2 和 E2;若原事务仍未结束,应等待其确定结果。只有在数据库能明确判定原事务未提交后,才按同一命令重新执行。进程内没有成功标志不等于数据库没有写入。
本例应保持两个不变量:每个已确认的状态变化有且只有一份对应业务事件;没有提交的状态变化不会被转发。事件可能多次出现在网络中,但这不增加发件箱内的逻辑事件数量。验收时同时查订单、命令结果与事件集合,不只数消息系统收到多少条。
轮询转发先求可恢复,再讨论并行提速
路线一由轮询工作者读取尚未确认发送的记录。最容易分析的起点是小批量、受控并发:在短而有上限的事务内选中待发事件并加锁,发送完整原事件,收到约定的持久接受回执后写 sent_at,再提交。没有收到明确回执时不标记成功,让后续继续核查或重发原事件。
若发送已成功而写 sent_at 前工作者退出,下一次会再次发送 E2,这是预期的重复窗口。反过来先标记 sent_at 再发送,会在退出后永久漏发,所以不能为减少重复把顺序反转。持锁跨网络有代价:网络慢会延长事务与锁占用,应设发送时限、小批量,并测量它对业务库的影响。
多个工作者可以使用 FOR UPDATE SKIP LOCKED 分担队列候选,PostgreSQL 文档也将这种用法与普通一致性读取区分。[3] 但跳过被锁的 E2 后读到 E3,不代表同一订单可以乱序执行。行锁避免同时领取同一行,不能自动保证对象的业务顺序。
若下游要求逐版本处理,选择候选时只允许每个对象最早尚未完成的事件,并在该对象前序失败时阻断后序。可按稳定对象分片串行转发,或用对象级调度状态约束领取。被隔离的前序也必须算未解决,不能因它退出普通待发队列,就让后序悄悄越过。
高吞吐实现可把领取和发送拆开,用租约避免长期持锁,但必须保存领取代次,过期工作者只能按当前代次有条件地写交付状态。代次检查能防旧工作者覆盖状态,不能撤回已经发到远端的消息;消费者仍需去重。未证明这种并发协议之前,宁可限制并行度,不把更多工作者当作可靠性改进。
自增编号不是提交进度,不能据此跳过旧行
一个危险优化是保存 last_id,然后每轮只读 id 大于它的事件。设事务 T1 先取得序列号 101 但尚未提交;T2 取得 102 并先提交;转发器读到 102,把 last_id 更新为 102。随后 T1 提交,101 虽然是新的可见事件,却永远不满足 id>102。
PostgreSQL 序列保证并发取值的分配行为,但取号不等于事务提交,回滚也不会让编号自动恢复为无缺口序列。[4] 上述遗漏是根据这些语义构造的并发反例。不能通过检查编号连续性,推断哪些业务事务成功、失败或仍在运行。
轮询路径应按每条事件的未完成状态发现工作,并建立适合该条件的索引;编号可以辅助公平排序,不承担完整性证明。清理已发送数据时保留必要的审计与恢复范围。若依赖提交日志消费,则使用该机制定义的位点与恢复协议,不能把业务表最大主键伪装成日志位点。
同一对象版本也需要自己的生成边界。本例在锁住 O42 后递增版本,因此 O42 的两个有效变更有确定先后;不同订单之间不要求总顺序。创建时间、UUID 和消息分区位点都不能直接代替这项业务约定,跨库来源更需要显式定义可比较范围。
日志捕获减少轮询,却增加位点与保留责任
路线二仍把订单和发件箱一并提交,再由变更数据捕获(CDC)读取提交日志并转发。它可以避免反复扫描待发集合,适合已有日志捕获运维能力、需要连续交付的环境。它并不把未经业务定义的任意表更新自动变成正确事件;明确的发件箱 payload 仍负责表达业务含义。
Debezium 3.3 的 Outbox Event Router 将 id 用作事件身份,将 aggregateid 用作消息键,并按聚合类型路由;其约定主要处理插入,更新不属于正常发件箱操作,删除会被过滤。[5] 因此不能把轮询方案中不断更新发送状态的表原样接上该转换器,声称两个配置完全相同。
采用该路线时,将业务事件表保持不可变,把运维投递状态放在独立结构或连接器证据中;额外的对象版本和结构版本需明确如何进入消息。按对象选择消息键有助于同分区排序,但必须继续核对分区变更、转发配置和消费者并行处理,不能只设置一个字段就承诺全局有序。
PostgreSQL 18 文档说明,逻辑复制槽在崩溃恢复后可能重复发送最近变化,且未消费槽会保留所需资源。[6] 应监控位点推进与保留空间,并给日志丢失后的重建定义步骤。恢复不是简单重启连接器;需要确认缺口范围、快照边界及消费者原有去重记录。
两条路线的选择依据应是实际延迟要求、业务库负担、故障恢复能力和团队责任。轮询少一个日志基础设施依赖,却多出扫描、状态清理和持锁取舍;CDC 需要复制权限、连接器升级、位点管理与日志容量预算。没有可靠运维条件时,不能仅以“更实时”决定迁移。
消费者怎样把重复事件收敛为一份正确投影
消费者为每个订阅保存以企业和 event_id 为键的接收记录,去重标志与目标投影写入放在同一个目标数据库事务中。收到 E2 后把 O42 当前已批准金额从 0 改为 1000,收到 E3 后把原贡献 1000 改为 900,汇总变化为负 100。投影是替换当前贡献,不是每条消息都增加一笔销售。
正常顺序 E2、E3 后,重送 E2 或 E3 都应保持 900;事件身份已处理时返回已知结果。相同 event_id 携带不同内容应作为冲突隔离,不覆盖最初证据。即使出现另一个事件编号,如果对象版本和状态完全相同,也不应重复改变投影;同版本不同状态则需要来源核对。
若 E3 先到,只在本文明确的完整当前状态投影契约下,允许直接记 O42 版本 3、金额 900,并把后来版本 2 标为陈旧。若下游要执行版本 2 的独立审批动作、发货或按事件增量记账,则不能跳过;应等待缺失版本或走指定补偿流程。数字较大的版本不是忽略中间业务的通行证。
消费者在投影提交后、消息确认前退出,恢复仍会收到事件,应由已提交去重记录阻止二次效果。若先保存去重标志再单独更新投影,中间故障会把未完成业务误判为完成;若先改投影再另存去重标志,则会重复。事务边界必须覆盖实际结果,不能仅覆盖消息接收日志。
Kafka 4.1 文档明确区分其内部事务处理与写入外部系统所需的协调。[7] 如果最终动作是发邮件、操作设备或调用外部服务,目标数据库事务无法覆盖它。需要远端稳定操作键、可查询回执或专门的未知状态处置;不能把本例投影的收敛结论推广成所有业务的端到端恰好一次。
六组故障验收,逐项检查持久证据
用例一在写入 E2 前主动让审批事务失败。预期 O42 仍为 draft、版本 1,命令成功结果和 E2 均不存在,消息系统无该事件。检查事务回滚后的三张表与发送记录;若发现孤立事件,修复连接或事务范围,再以正常审批作为对照复验。
用例二在审批提交后、接口响应前断开连接。预期按 K-approve-42 查询得到同一版本 2 和 E2,再次请求不增加事件。证据包括命令摘要、对象版本和事件数量;如果出现第二条事件,修复命令唯一性与未知结果恢复,再并发重复同一键验证。
用例三在消息系统接受 E2 后、sent_at 提交前终止转发器。预期网络可出现两次投递,但投影只为 1000;随后 E3 将它改为 900。保留两次发送尝试、同一事件编号与消费事务记录。修复去重原子性后重放,不能以网络没有重复作为唯一通过条件。
用例四用两个数据库会话制造 101 未提交、102 先提交的时间线,之后再提交 101。预期两份事件最终都可发现与发送;只读到 102 即暴露高水位漏洞。检查待发集合、查询条件与发送记录,改为逐事件状态或正确日志恢复后复验,并再测回滚留下编号空洞。
用例五先送 E3,再送 E2,另构造与 E3 同编号但金额 950 的冲突消息。当前投影应保持版本 3 和 900,冲突进入待核对;逐步执行型消费者则应对缺失前序暂停。检查实际采用的语义契约,修复版本与内容判断,再测试正常新版本,防止靠丢弃所有消息通过。
用例六让消息服务中断并持续产生获准订单,恢复后观察积压清空。预期业务提交各有待发事件,未确认事件不被清理,恢复仍保持原身份。检查最旧待发年龄、事件总量和最终对象集合;若日志或事件已过保留期,明确转入重建,不能只因连接恢复就报告完整交付。
容量、清理与交接要围绕最旧未完成事实
用另一个容量假设复算恢复窗口:事件产生率每秒 20 条,消息服务中断 30 分钟,新增积压为 20×1800=36000 条。若恢复后转发能力为每秒 60 条,而新流量仍为 20 条,净消化速率为每秒 40 条,理论追平时间 900 秒,即 15 分钟。它未计重试、慢对象和限流,不是性能承诺。
若单事件正文平均 2 KiB,这次积压仅 payload 就约 70.31 MiB,还未计行、索引、日志和副本。应按实际峰值及长尾消息重新测量。平均吞吐高而某订单前序长期失败,仍会阻塞该对象;因此同时看积压条数、最旧年龄、重试分布、隔离对象和实际消费完成数。
清理依据是已确认交付阶段及约定恢复期限,而不是创建时间超过一天。消费者去重保留期必须覆盖允许回放的历史,发件箱归档要保留原事件身份和结构版本。回放旧事件之前先检查目标是否仍保有对应去重或版本证据;缺失时安排受控重建,避免把清理后的旧事实重新当作新业务。
变更上线可先在获准测试数据上固定本例三张记录与故障点,比较旧、新转发器的输出集合。切换期间避免两套无法关联的事件身份,已经确认完成的事件不换键重发。回退应能停用新转发路径并保留未完成队列,而不是删除队列恢复一个看似干净的状态。
交接表应列出数据库与消息版本、命令和事件身份、对象排序范围、发送接受条件、消费者事务边界、未知状态负责人、保留期限,以及六类故障的输入和复验记录。从 CDC 到可信数据产品可继续核对下游指标口径;业务回调验签与事件账本则补充接收入口的认证。发送可靠性、接收可信性与业务数字正确,各有独立验收证据。
参考资料
- [1] AWS Prescriptive Guidance — Transactional outbox pattern(查阅2026-11-16)
- [2] PostgreSQL 18 — Transactions
- [3] PostgreSQL 18 — SELECT,Locking Clause / SKIP LOCKED
- [4] PostgreSQL 18 — Sequence Manipulation Functions
- [5] Debezium 3.3 — Outbox Event Router
- [6] PostgreSQL 18 — Logical Decoding Concepts
- [7] Apache Kafka 4.1 — Design,Message Delivery Semantics
