Jepsen报告震动Go社区:NATS JetStream会丢失已确认写入
分布式系统测试机构 Jepsen 近日发布了一份针对 NATS JetStream 的深度分析报告,揭示了该消息系统在特定故障模式下存在严重的数据丢失风险。报告指出,NATS JetStream 可能会丢失已经被服务器确认并声称“已成功持久化”的数据。这一发现对于依赖该系统进行关键业务处理的开发者而言,意味着需要对现有的架构配置进行重新评估。
01核心结论与问题根源
Jepsen 报告的核心结论是,NATS JetStream 在默认配置下无法完全保证数据的持久化。虽然系统向客户端确认写入成功,但在特定窗口期内,数据实际上并未物理落盘。
- 默认 fsync 策略风险
NATS JetStream 默认每两分钟才调用一次 fsync,将数据从操作系统的页面缓存刷入物理磁盘。这意味着在两次 fsync 之间,存在长达两分钟的时间窗口,所有被服务器立即确认的写入实际上只存在于内存中。 - 断电导致数据丢失
如果在该窗口期内发生协调性断电、内核崩溃或多个节点快速连续重启,那些仅仅存在于内存中且已被确认“持久化”的数据将永久丢失。Jepsen 利用 LazyFS 工具模拟“断电即失忆”场景,成功复现了该问题。 - 实测数据表现
在一次测试运行中,NATS 丢失了约 30 秒的写入数据,共计 131,418 条已被确认的消息。
02与 Raft 理论的背离及理论对比
持久化策略对比
严格落盘原则
要求节点在响应客户端之前,必须将新的日志条目刷入磁盘。
遵循“先落盘,再确认”原则,确保数据物理持久化。
代表系统:MongoDB、etcd、TiDB、Zookeeper。


异步 fsync 权衡
默认每两分钟进行一次 fsync,响应时数据仅在页面缓存。
通过异步 fsync 获得极高的写入吞吐量。
牺牲了对断电、崩溃等灾难性事件的防护能力。
03文件损坏与漏洞细节
除了 fsync 策略问题,Jepsen 报告还指出了在文件损坏场景下更为严重的漏洞。这些问题可能导致大规模数据丢失或集群脑裂。
- 数据块文件损坏引发脑裂
在 5 节点集群中,即使仅对少数节点的 JetStream 数据块文件(.blk)引入单比特位错误或截断,也可能导致集群丢失大量已确认写入。测试显示,对两个节点的文件进行比特翻转,最终导致三个节点丢失了 78% 的已确认消息,且不同节点返回不同的消息集。 - 快照损坏导致数据清空
当快照文件损坏时,节点可能错误地认为某个流已经“孤立”(orphaned),并决定删除该流的所有数据。在测试中,一个数据损坏的节点成功当选为集群领导者,并立即删除了包含所有测试消息的流。 - 异步网络环境下的风险
Jepsen 证明,在异步网络环境下,仅一次单节点的操作系统崩溃(模拟断电),就可能导致已提交写入的丢失和持久性的副本分歧。
04官方回应与配置建议
针对 Jepsen 发现的问题,NATS 团队已做出回应。官方承认了默认策略下的风险,并在文档中补充了相关说明。对于需要更强持久性保证的用户,官方提供了具体的配置调整方案,但这将对系统性能产生显著影响。
| 配置策略 | 操作方式 | 持久性保证 | 性能影响 |
|---|---|---|---|
| 默认策略 | 每两分钟调用一次 fsync | 存在 2 分钟数据丢失窗口 | 极高写入吞吐量 |
| 高持久性策略 | 将 sync_interval 设置为 always | 遵循“先落盘再确认”,防止断电丢失 | 吞吐量降低至每秒几百条消息 |
NATS JetStream 配置策略对比
当前文章无评论,是时候发表评论了