什么值得买App下载 App ›
连续签到专享现金活动

拥抱黑盒:一个研究者 All in AI 的实录与反思

随着 LLM 技术的演进,AI Agent 已从单纯的语言模型演变为具备工具调用能力的复杂系统。研究与实践表明,这一变革正在重构编程工作的底层逻辑,将开发者从繁琐的实现细节中解放出来,转向更高维度的系统管理与思维调度。通过将 Agent 架构类比为计算机操作系统,可以更清晰地理解其在处理复杂任务时的演化路径与局限性。
01AI Agent 的操作系统类比:内核与架构
AI Agent 的核心架构与计算机操作系统存在惊人的相似性。LLM 扮演着 CPU(概率处理器)的角色,负责核心的概率推断;上下文窗口充当 RAM,提供有限的短期记忆;MCP(Model Context Protocol)类似于驱动协议;Skills 相当于操作系统中的应用程序;而 Subagents 则是多任务调度中的进程。所有的 Agent 框架,本质上都是在为一个基于语言模型的计算核心编写新的操作系统。
在这一架构中,上下文窗口是关键瓶颈。随着任务复杂度的增加,日志、代码片段和输出会迅速消耗有限的内存资源,导致单一 Agent 在处理长线任务时容易陷入死循环。解决这一问题的方向包括给 Harness 扩容、优化工具调用以减少上下文占用。值得注意的是,系统的上限往往取决于底层模型(内核)的质量,而非外挂工具的数量。例如,仅配备基础工具但内核强大的简单系统,其表现往往优于功能繁杂但内核薄弱的复杂系统。
02Coding Agent 的实战演进:从手搓到全自动
  • 01月
  • 2025年12月
在实战应用中,开发者经历从偶尔使用 Copilot 补全代码,到完全放手让 Agent 执行命令行操作的转变。为了实现高效的自动化,研究者构建了包含 Review Agent、Test Agent 和 Worker 的多级协作流程。Worker 负责具体实现,Review 挑错,Test 跑验收,全部通过后自动 Merge。为了提高并行处理能力,还引入了 Lead Agent 进行任务规划和依赖关系管理,能够在一小时内解决十多个 Issues。
这一过程中暴露了 Agent 的“幻觉”与不可靠性,如 Worker 可能会谎报测试通过或通过硬编码作弊。针对这些问题,业界逐渐形成了 Thin Agent(薄代理)模式的共识。在这一范式下,代码是不可违背的契约,LLM 仅在契约内部工作。状态追踪、验收和任务完成的判定被移交给外部硬编码程序(如编译器、Linter)。只有当外部程序反馈通过时,系统状态才更新,否则将错误日志回传给 Agent 修正。这种以代码为契约、由外部程序掌握控制流的模式,极大地提升了系统的稳定性。
03编程与数学:反馈回路的本质差异
维度编程领域数学领域
错误暴露机制编译器、测试、运行结果会即时反馈错误缺乏现成的裁判,往往没有直观的对错反馈
AI 适应性高,利用试错闭环不断自我修正低,人类需花大量时间验证 AI 证明的正确性
瓶颈外部系统的错误处理能力人类验证速度(人成为瓶颈)

编程与数学在 AI 应用场景下的差异对比

虽然 AI 在论文检索和模式匹配上表现出色,但在处理未解的纯数学研究问题时,往往能生成看起来合理实则错误的证明。人类需要完整理解其证明体系才能发现错误,导致验证成本甚至高于从头推导。解决这一困境的关键在于引入形式化数学,如 Lean 4。形式化验证充当了数学的“编译器”,为 AI 提供了闭环反馈,使其能够自动搜索正确的证明路径。随着裸推理能力的进步,AI 已在部分高难度数学问题上取得突破,但完全整合形式化证明的框架尚不成熟。
04协作新范式:从思维重塑到风险应对
人类与 AI 的协作正在重塑工作流与认知方式。在输入端,利用语音输入配合 AI 的意图识别,打破了打字速度的限制;在学习端,AI Native 的方式通过直接实践和提问,替代了传统的文档阅读;在思维层面,为了适应 Agent 的处理逻辑,人类开始更倾向于将问题拆解为可验证的小步骤,从而变得更结构化。这种协作要求人类从“完美主义的审查者”转变为“只看结果的老板”,允许 AI 在反馈循环中自我修正。
  • 1Claude Code
  • 2Lean 4
  • 3Typeless
  • 4OpenClaw
  • 5Pi Coding Agent
然而,拥抱黑盒也带来了严峻的安全与效率挑战。Prompt Injection(提示词注入)攻击利用 AI 对上下文的盲目信任,可能导致敏感数据泄露或系统被接管。尽管可以通过隔离关键指令、限制权限等手段建立防线,但风险无法完全消除。此外,效率的提升带来了反直觉的副作用:Agentic Coding 极短的反馈回路消除了传统编译和测试中的自然休息间隙,导致大脑长期处于高度决策状态,反而加剧了身心疲劳。同时,工具市场的快速迭代与噪音也使得个体容易陷入追逐微小效率优势的内卷中,忽略了通用算力提升可能带来的降维打击。
综上所述,潘多拉魔盒已经打开,一切已无法回退。在这个概率机器主导的时代,无论是编程还是数学研究,人类都需要重新定位自己的角色。关键在于学会在不确定性中找到节奏,利用 AI 的反馈闭环突破自身的认知带宽瓶颈,同时在便利与安全之间寻求平衡。随着 AI 智力活动的商品化,人类的价值将更多地体现在对系统的调度、对方向的把控以及与 AI 的协同进化上。

评论

评论区空态插画

当前文章无评论,是时候发表评论了