PostgreSQL 读副本为何看不到刚提交的数据:重放进度、读写路由与验收

主库返回提交成功,随后的报表仍可能从只读副本读到旧数。本文限定 PostgreSQL 18 物理流复制,用三笔订单复算提交前后的结果,比较关键读取回主库、按 WAL 位置等待副本及同步应用三条路径,处理连接池换节点、旧快照、超时和主备切换,并提供可直接执行的故障验收清单。

读写分离下,写入成功与下一次读取包含这次写入是两个条件。要保证用户能读到自己的更正,既要确认目标副本已重放相应提交,还要让业务查询在该节点取得之后的新快照。本文以 PostgreSQL 18、一个主库及其物理流复制只读副本为范围,讨论普通表查询;逻辑复制、跨集群同步、分析仓库和缓存需要各自的完整性协议。

先把提交、复制与可见性分开

预写日志 WAL 记录数据库变化,物理副本接收并重放这些日志。主库本地提交成功,并不表示每个异步副本已经应用到同一位置。PostgreSQL 热备文档明确区分两端的可见状态:事务提交记录在副本重放后,其变化才对之后取得的新快照可见。[1] 因而立即刷新页面读到旧数,不应首先被认定为写入丢失。

同一个接口先写后读,也不自动具有“读到自己写入”的保证。写请求可能进入主库 P,读请求被中间件分到 S1;第二次刷新又可能进入落后更多的 S2。要验证应用承诺,应把提交确认、实际读取节点、查询事务边界和结果版本连成证据,而不是只观察两次请求时间接近。

云服务同样需要看具体拓扑。Amazon RDS 的 DB instance read replica 文档说明,源实例的更新异步复制到读副本。[7] 这项说明支持识别异步读副本的边界,不应扩展成所有托管集群、所有多可用区产品都使用同一协议。采购或运维交接时,记录实际产品、引擎版本和端点用途。

本文只要求读取包含指定写入,允许同时看到其后的其他已提交变化;它不是读取提交瞬间历史状态的接口,也不保证业务永远保持刚写入的值。若另一笔合法事务随后改了订单,新结果可以不同。需要精确复现历史金额时,应保存输入版本或结果快照,不能把复制进度当作历史查询功能。

权限与业务口径仍是前提。读副本追上不代表当前用户有权看到全部订单,也不意味着订单与外部退款系统已经共同到齐。比较时先固定租户、筛选、金额单位和目标表;否则总数不同可能来自权限、定义或上游完整性,增加等待不会修复这些问题。

三笔订单与一条可复核的提交时间线

下面构造一个订单表:order_id 为非空唯一编号,amount 为整数元,所有行属于相同获准范围。起初 O1 为一百元、O2 为二百元,总额三百元。主库在一个事务中把 O2 更正为一百七十元,并新增 O3 八十元;成功提交后应为三笔、合计三百五十元。测试期间不允许其他写入,以便明确预期。

把写事务标为 T,业务操作标识标为 R17,并记录实际提交确认。其后在同一主库连接上取得一个 WAL 位置作为读取门槛。日志序列号 LSN 是日志位置,不是时间或订单版本;下文用 0/3000200 作为示意门槛,部署时必须使用函数实际返回值,不能硬编码这个数。

假定副本已重放位置为 0/3000100,且 T 的提交记录仍在其后。此时直接查副本可得到旧的两笔、三百元;结果在该副本当前视图内可以完全正确,却不满足 R17 之后应包含更正的承诺。主库若能在相同授权范围的新快照读取,则应得到三笔、三百五十元。

当同一副本重放达到门槛或更后的位置,例如 0/3000280,再在它上面建立新查询快照,应看到三笔、三百五十元。门槛与之前位置相差 256 字节,但这不能换算成缺了几笔订单或还要等几毫秒。不同事务产生的 WAL 体积和副本处理速度不同。

应用应保留一条核对记录:R17、提交已确认、可信集群与拓扑代次、门槛 LSN、实际副本身份、通过检查时的重放位置、业务查询开始时间、结果行数与总额。字段是建议的应用记录,不是 PostgreSQL 自动生成的完整审计表。记录只需包含核验所需身份和结果,避免复制整份敏感明细。

路径一:关键读取直接回主库

若写后读取量不大、主库尚有预算,最简单的实现是把与本次写入相关的关键读取路由到已确认的主库,在提交确认后开始新查询。可按操作或会话标明需要这一保证,而不是让全部经营报表永久绕过副本。路由标记应由可信服务生成,不能让任意客户端输入决定访问管理端点。

它减少副本进度检查和等待逻辑,但会把读取 CPU、I/O 与连接占用带回主库。若关键读取包含昂贵全表汇总,仍应限定查询范围、索引和执行预算。按用户固定回主库几秒钟只是时间策略;在回到副本后,时间过去并不能证明该副本已经追上,不能把固定延时当作一致性证据。

主库路径也必须重新取得合适快照。如果连接池交回一个仍持有旧事务的连接,或者应用从结果缓存取值,回主库本身仍不足以证明读到了新状态。先清楚结束旧事务并遵守池化清理规则,再执行受控读取。若拓扑切换导致主库身份不明,应转入明确的恢复状态,不按旧地址继续声称保证成立。

路径二:提交后取门槛,在实际副本上等待

对希望保留读扩展能力的场景,可以在确认 COMMIT 成功后,于原主库连接执行 SELECT pg_current_wal_insert_lsn(),保存返回位置。官方说明区分插入、写出和刷盘位置;插入位置表示当时 WAL 的逻辑末端。[2] 在本流程中,提交后的采样可覆盖本事务提交记录,也可能包含其他会话的更后日志,因此是保守门槛,不是 T 的精确提交位置。

不要在写事务提交前采样门槛。此前的行修改已经产生日志,并不代表提交记录也包含在内;副本即使越过那个过早门槛,仍可能看不到 T。也不要把应用墙上时钟或 last_updated 字段当成替代证明。若提交已确认但采样失败,可按原操作记录选择关键读取回主库,不能为了重新取位置而再次执行业务写入。

将门槛与可信的集群、拓扑代次和操作身份绑定,经服务端受控传递。读端选定具体副本后,在同一物理连接上检查 pg_is_in_recovery() 及 pg_last_wal_replay_lsn(),以 pg_lsn 类型比较重放位置是否大于等于门槛。[2] 不能按字符串字典序比较,也不能用接收位置 pg_last_wal_receive_lsn() 代替已经应用的位置。

等待检查在短事务或自动提交模式中进行。满足条件之后再开启业务读取事务;若需多个合计与明细一致,可在同一连接上建立新的只读 Repeatable Read 事务,读取整组结果后及时结束。不要先开启并建立一个旧的稳定快照,再在其中循环等待,否则进度达到门槛也不会刷新原快照。

关于多条查询怎样共享视图,可参照 SQL 报表快照一致性方法。这里新增的先后约束是:确认副本重放门槛,随后建立业务快照。若代理会在语句或事务之间更换后端,仅保留逻辑连接对象还不够,须使用能够固定实际节点的读取路径;无法证明绑定,就选回主库等更容易验收的方案。

等待应有总期限、退避间隔和取消路径,并为后续查询留出预算。例如一次示例请求允许一千毫秒,其中最多三百毫秒用于检查与等待;这只是应用约定,不是 PostgreSQL 标准。期限内未达到门槛,可以在剩余预算和主库负载允许时回主库,或明确返回尚未就绪,不能悄悄返回旧数并标记成功。

该流程只在同一受控复制历史内成立。若连接断开、节点被提升或集群代次改变,废弃本次节点检查证据,重新确认操作和复制关系。LSN 数值相同或更大并不能单独证明来自同一历史。旧主库提交可能没有进入新的主库,必须核查 R17 的业务回执与新主库状态,不能让一次位置比较掩盖数据丢失或未知结果。

路径三:同步应用仍需约束读取路由

PostgreSQL 的 synchronous_commit=remote_apply 在配置了相应同步备库时,让提交等待当前同步备库报告已经重放事务。[3] 这把等待移到写入确认阶段。它与只确认远端写出或刷盘不同,但也增加提交延迟,并让同步备库可用性成为写入路径的依赖。

不能只改这一参数便宣布所有副本立即可读。synchronous_standby_names 为空时,它没有等待某个远端副本的效果;多个备库使用 FIRST 或 ANY 选择同步确认集合时,未参与本次确认的节点可能仍落后。[3][4] 应说明读端如何选到得到保证的副本,必要时仍逐节点检查门槛,且保证业务快照在确认之后取得。

三条路径的选择依赖工作负载。少量关键写后读优先评估回主库;大量可等待且能稳定绑定节点的读取,可以评估门槛等待;本身就需要同步应用语义、能够接受写入时延和故障阻塞的场景,再评估 remote_apply。不存在仅凭配置名称就同时降低延迟、提高吞吐和消除运维成本的选择。

同步配置调整属于数据库运维决策,应在隔离环境验证失败行为、写入期限、切换和恢复。本文没有把任何等待阈值或部署规模当作通用推荐,也没有把三笔样例当作性能测试。实际验收应经过同款连接池、代理和路由策略,而不仅是管理员直接连库的一次成功查询。

看监控时,分清字节距离、历史延迟与当前请求

主库 pg_stat_replication 可展示各直接连接备库的 sent_lsn、write_lsn、flush_lsn 和 replay_lsn;它们分别帮助定位发送、写出、持久化与应用进度。[6] 比较之前先确认对应节点和采样时间。级联复制的下游节点不会全部自动出现在主库这一视图中,应用仍应观察自己实际读取的副本。

replay_lag 等时间字段记录近期 WAL 处理的延迟,不是按当前速度预测副本还需多久追上的倒计时。[6] 空闲主库很久没有新事务,最后重放事务的时间戳也会逐渐变旧;仅用当前时间减该时间戳,会把没有新变化误解成复制持续落后。诊断要结合位置、连接状态和是否还有待应用日志。

副本上的长查询还可能与日志重放冲突。官方热备文档描述了清理、锁和其他操作造成的冲突,以及延迟重放或取消冲突查询的取舍。[1] 若为了保护每一条长报表而不断拉长等待,其他用户写后读取也可能越来越慢。应结合冲突记录与查询预算定位,而不是只加网络重试。

若门槛已通过,直接普通表查询是三百五十元,页面却仍是三百元,应继续查缓存、保存的汇总或旧结果标识。物化视图刷新与数据边界验收解释了保存结果的另一层生命周期。副本完成重放不会替应用刷新每一种派生结果,也不能代替正文或页面实际使用新版数据的核验。

六组故障验收,把输入、证据与修复连起来

用例一:在隔离测试环境让 S 的重放停在 T 提交之前,再执行 R17 并取得门槛。无门槛读允许暴露旧的两笔三百元;受保护读必须等待、回主库或报尚未就绪,不能直接交付旧数。保留 P 的提交记录、S 的位置及路由身份。恢复重放后复验同一业务范围,应得到三笔三百五十元。

用例二:故意在提交前取得一个位置,控制副本只重放到该位置,T 随后才提交。错误实现可能提前放行。修正为提交确认后的采样,并在相同顺序下复验;同时核对业务值和采样时点,不能仅检查两个 LSN 的大小。测试需确保早期位置确实不覆盖提交记录,否则不能形成有效反例。

用例三:让 S1 已达到门槛、S2 尚未达到,检查在 S1 执行却把业务读路由到 S2。预期验收应识别后端变化并重新检查或拒绝交付。证据包括真实节点标识、连接或事务关联和金额;固定目标节点后再重放相同用例。一个逻辑连接名称或相同域名不能单独证明后端未变化。

用例四:在副本追上前建立只读 Repeatable Read 快照并读到三百元,随后副本达到门槛,继续在原事务查。预期仍可得到旧值,这是隔离语义,不是复制失效。[5] 修正为结束旧事务、确认进度、再建立新业务快照;复验总额与三笔明细一致,避免只把其中一张卡片换成新数。

用例五:等待超时或重放函数返回 NULL。预期是状态未确认,不可把 NULL 当作零延迟或比较成功。记录节点是否仍处于恢复、是否发生重连及超时阶段;排除身份或连接错误后,在新受控读取中复验。业务写入已确认时不重复执行 R17;提交本身未知时,先按业务操作标识核查回执。

用例六:检查通过后发生主备切换,或长查询因恢复冲突被取消。预期废弃未交付的整组结果,重新确认拓扑与业务状态,再从新边界读取;不能保留旧合计、仅补新明细。保存错误、代次、操作回执及后续查询证据。只有确认新主库包含 R17,才能继续声称这次读取包含原更正,否则报告未确认并进入恢复处理。

规模化时,把等待成本与回退负载一起验收

门槛等待会占用连接或应用任务。若每秒一百个请求都独立轮询十次,就增加每秒一千次检查,还可能挤占正常业务。该算式只是负载估算,不是压测成绩。可以限制同时等待数、退避轮询或在受控节点上复用保守的进度观测;任何优化都不能把 S1 的通过结果当作 S2 的保证。

回主库也需要预算。如果副本突然落后,所有请求同时回退,原本用于保护体验的机制可能把主库压满。预先限制回退并发和查询成本,给关键读取保留容量;没有剩余预算时明确返回未就绪。检查期限、查询期限和整体请求期限要能相互扣除,避免等待已经耗尽时间却继续执行昂贵查询。

权限上区分读取进度与控制恢复。应用通常只需必要的只读函数和业务表访问,不应为此获得暂停重放、提升节点或修改复制配置的权限。门槛记录来自可信服务,结合租户和授权范围使用;拥有一个 LSN 不应变成读取其他租户记录的凭据,也不应把内部节点信息直接暴露给外部用户。

交付一张最小验收卡:引擎版本与物理复制拓扑;写入确认及操作回执;门槛取得顺序;集群代次和节点绑定;等待期限与 NULL 处理;新快照建立位置;普通表与派生结果的差异;回退预算;切换和冲突复验。每项附一次实际输入、返回和负责人,未验证的代理行为标为待确认。

当驱动、连接池、代理、同步集合、故障切换策略或缓存改变时,重新运行受影响用例。若实际业务允许旧数,可选择更简单的异步读取,并向用户说明数据边界;若承诺包含刚完成的更正,就必须同时证明提交、复制、节点和快照四项条件。所谓读副本可用,应落实为某种具体读取承诺,而非一次健康检查成功。

参考资料

  1. [1] PostgreSQL 18: Hot Standby
  2. [2] PostgreSQL 18: System Administration Functions
  3. [3] PostgreSQL 18: Write Ahead Log — synchronous_commit
  4. [4] PostgreSQL 18: Log-Shipping Standby Servers
  5. [5] PostgreSQL 18: Transaction Isolation
  6. [6] PostgreSQL 18: The Cumulative Statistics System
  7. [7] Amazon RDS: Working with DB instance read replicas
返回洞察
鲁ICP备2024109755号-2
可拖动移动。右键、长按或按 Shift+F10 可选择停靠位置。