面对大规模并发读取的存储瓶颈，传统方案成本高且扩展性差。一种创新的缓存架构，通过将业务节点转化为分布式缓存池，并引入两级缓存机制，成功支撑了1.45TB/s的聚合吞吐。该方案以极低成本解决了高并发场景下的性能与稳定性问题。
智能速览
传统NAS在数千节点并发时不堪重负，管理成本剧增。
利用4000台业务节点构建P2P缓存，无需独立缓存硬件。
实测实现了1.45TB/s的聚合读取带宽，且性能稳定。
引入二级缓存池，解决业务节点波动引发的稳定性问题。
该架构适用于影视渲染、AI训练及弹性计算等多种场景。
精华内容
如何在不增加硬件成本的前提下，将海量客户端的闲置资源转化为强大的存储能力？关键在于架构的革新。
传统方案的困境
在影视渲染等场景中，数千台节点并发读取数据时，传统的SMB挂载NAS方案面临严峻挑战。当并发客户端超过1000台，存储系统性能急剧下降，管理员被迫持续增加SMB服务节点，导致管理复杂度和成本直线上升，运维压力巨大。
节点即缓存的构想
与其投入专用缓存硬件，不如转换思路，利用海量业务节点自身的闲置资源。JuiceFS的分布式缓存（P2P）模式将每台业务节点都化为缓存的一部分。同一份数据在集群内仅被读取一次，后续请求直接从邻近节点获取，将绝大部分流量从底层对象存储中分流，实现零成本的吞吐量聚合。
极限压测与数据
在实际测试中，4000台Windows业务节点在无预热情况下，各自读取16个2GB文件。测试结果显示，系统聚合吞吐量达到惊人的1.45TB/s。从2000台到4000台节点，所有节点完成读取的总耗时稳定在100秒左右，没有出现性能拐点，证明了该架构卓越的水平扩展能力。
稳定性的挑战
纯粹的P2P缓存架构存在隐患。当业务节点作为缓存节点在任务完成后被销毁，其上的缓存数据会随之丢失。若大量节点同时下线，可能引发流量洪峰涌向对象存储，导致其成为新的瓶颈，影响整个系统的稳定性。
两级缓存架构
为解决此问题，引入了由少量稳定节点构成的二级缓存（L2）池。当L1缓存（业务节点）未命中时，请求会优先访问L2缓存；若L2也未命中，才回源对象存储。在本次测试中，仅用2台独立服务器作为L2缓存，就有效缓冲了回源流量，确保了即使L1节点大规模波动，业务访问依然连续稳定。此设计也支持异地缓存复用，极大简化了跨区域部署。
该方案证明了通过软件架构创新，能够充分释放集群潜能，以近乎零成本实现存储性能的指数级提升。两级缓存的设计，更为大规模、高弹性的业务场景提供了坚实保障。这种思路能否成为未来高并发存储架构的主流范式，值得业界共同探索与实践。
