OpenAI绝地反击!Codex大脑首曝,8亿用户极限架构硬刚Claude

源自公众号:新智元

01-31 19:51

面对Claude Code的冲击,OpenAI迅速亮出底牌,首次公开Codex的“大脑”Agent Loop架构,并揭秘了支撑全球8亿用户的PostgreSQL极限方案。这不仅是一场技术展示,更揭示了其深厚的工程积累与独特的架构哲学,为开发者提供了宝贵的学习范例。

OpenAI绝地反击!Codex大脑首曝,8亿用户极限架构硬刚Claude智能速览

  • Agent Loop是Codex的核心,实现了“观察-思考-行动-反馈”的闭环。

  • 通过Prompt Caching和Compaction技术,解决了Agent开发的成本与上下文限制。

  • OpenAI仅用1个PostgreSQL主库+50个副本,就扛下了8亿用户的访问。

  • 缓存锁定与连接池优化是支撑高并发的关键。

  • OpenAI的架构哲学是“如无必要,勿增实体”,优先用简单方案解决问题。

OpenAI绝地反击!Codex大脑首曝,8亿用户极限架构硬刚Claude精华内容

OpenAI此次公布的不仅仅是技术细节,更是一种思维方式的展示。从智能体的“思考方式”到后端的“承载极限”,其背后蕴含的工程智慧值得深入探究。

智能体闭环

Codex的背后,是一个名为Agent Loop的“大脑”在运转。它并非简单的问答系统,而是一个包含了“观察-思考-行动-反馈”的完整闭环,能让AI真正独立解决问题。

以“给README.md加一个架构图”为例,Codex首先会构建一个包含系统指令、可用工具和环境上下文的精密Prompt。模型推理后,决定调用shell工具读取文件,再将结果追加到Prompt中进行新一轮思考。这个循环持续进行,直到任务完成。这种架构让AI从一个“陪聊”变成了能自我规划、检查错误和验证结果的“实干家”。

破解Agent难题

Agent Loop的开发面临两大痛点:成本爆炸和上下文窗口有限。OpenAI给出了两个硬核解决方案。

首先是Prompt Caching(提示词缓存)。通过缓存不变的Prompt前缀,如系统指令和工具定义,将长对话的成本从平方级增长降至线性级。其次是Compaction(对话压缩)。当Token数超过阈值,系统会调用特殊接口将对话历史压缩成一段加密内容,既保留了模型的“隐性理解”,又避免了关键记忆被挤出窗口。

极限架构哲学

更令人惊叹的是,支撑全球8亿ChatGPT用户的,竟是一个PostgreSQL主库加50个只读副本的架构。其核心是读写分离和对读路径的极致优化。

关键技术包括:通过PgBouncer连接池代理,将连接建立时间从50ms降至5ms;采用缓存锁定机制,防止缓存失效时的数据库查询洪峰;以及负载隔离,用专用实例处理不同优先级的请求。这套实践证明了,一个优化到极致的单机架构,其能力远超想象。

突破物理极限

OpenAI也坦言,这套架构已触及物理极限。PostgreSQL的MVCC机制会带来写放大,而随着副本增多,主库的WAL(预写日志)复制压力也愈发沉重。

为应对挑战,OpenAI正将可分片、高写入负载的服务迁移至Azure CosmosDB等分布式系统。同时,他们正在测试级联复制,让中间副本向下游转发WAL,目标是支持超过100个副本,以进一步扩展读能力。

架构的取舍之道

这个案例完美诠释了“如无必要,勿增实体”的架构哲学。许多公司过早追求复杂的分布式系统,既未享受其好处,又背负了额外的复杂度。OpenAI的选择是先用简单方案撑住,并进行极致优化,直到撑不住再演进。这种务实的态度,避免了过度设计,确保了系统在高速迭代中的稳定与高效,为技术决策提供了深刻的启示。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章