面对Claude Code的冲击,OpenAI迅速亮出底牌,首次公开Codex的“大脑”Agent Loop架构,并揭秘了支撑全球8亿用户的PostgreSQL极限方案。这不仅是一场技术展示,更揭示了其深厚的工程积累与独特的架构哲学,为开发者提供了宝贵的学习范例。
智能速览
Agent Loop是Codex的核心,实现了“观察-思考-行动-反馈”的闭环。
通过Prompt Caching和Compaction技术,解决了Agent开发的成本与上下文限制。
OpenAI仅用1个PostgreSQL主库+50个副本,就扛下了8亿用户的访问。
缓存锁定与连接池优化是支撑高并发的关键。
OpenAI的架构哲学是“如无必要,勿增实体”,优先用简单方案解决问题。
精华内容
OpenAI此次公布的不仅仅是技术细节,更是一种思维方式的展示。从智能体的“思考方式”到后端的“承载极限”,其背后蕴含的工程智慧值得深入探究。
智能体闭环
Codex的背后,是一个名为Agent Loop的“大脑”在运转。它并非简单的问答系统,而是一个包含了“观察-思考-行动-反馈”的完整闭环,能让AI真正独立解决问题。
以“给README.md加一个架构图”为例,Codex首先会构建一个包含系统指令、可用工具和环境上下文的精密Prompt。模型推理后,决定调用shell工具读取文件,再将结果追加到Prompt中进行新一轮思考。这个循环持续进行,直到任务完成。这种架构让AI从一个“陪聊”变成了能自我规划、检查错误和验证结果的“实干家”。
破解Agent难题
Agent Loop的开发面临两大痛点:成本爆炸和上下文窗口有限。OpenAI给出了两个硬核解决方案。
首先是Prompt Caching(提示词缓存)。通过缓存不变的Prompt前缀,如系统指令和工具定义,将长对话的成本从平方级增长降至线性级。其次是Compaction(对话压缩)。当Token数超过阈值,系统会调用特殊接口将对话历史压缩成一段加密内容,既保留了模型的“隐性理解”,又避免了关键记忆被挤出窗口。
极限架构哲学
更令人惊叹的是,支撑全球8亿ChatGPT用户的,竟是一个PostgreSQL主库加50个只读副本的架构。其核心是读写分离和对读路径的极致优化。
关键技术包括:通过PgBouncer连接池代理,将连接建立时间从50ms降至5ms;采用缓存锁定机制,防止缓存失效时的数据库查询洪峰;以及负载隔离,用专用实例处理不同优先级的请求。这套实践证明了,一个优化到极致的单机架构,其能力远超想象。
突破物理极限
OpenAI也坦言,这套架构已触及物理极限。PostgreSQL的MVCC机制会带来写放大,而随着副本增多,主库的WAL(预写日志)复制压力也愈发沉重。
为应对挑战,OpenAI正将可分片、高写入负载的服务迁移至Azure CosmosDB等分布式系统。同时,他们正在测试级联复制,让中间副本向下游转发WAL,目标是支持超过100个副本,以进一步扩展读能力。
架构的取舍之道
这个案例完美诠释了“如无必要,勿增实体”的架构哲学。许多公司过早追求复杂的分布式系统,既未享受其好处,又背负了额外的复杂度。OpenAI的选择是先用简单方案撑住,并进行极致优化,直到撑不住再演进。这种务实的态度,避免了过度设计,确保了系统在高速迭代中的稳定与高效,为技术决策提供了深刻的启示。