10月11日(北京时间)起,微软CEO萨提亚·纳德拉在X发布的一篇长文在中文技术圈刷屏,博主们给它的中译标题是《超级智能时代,把模型当作内部风险》,有自媒体统计原帖浏览量已超过930万。 长文的核心要求是:企业应将强大的人工智能模型视为潜在的内部威胁,要假定这些模型可能遭入侵,并建立一套紧急制动机制,以防止失控。 知乎也随即出现对应的热议问题——怎么看微软 CEO 发长文说:大模型提供 CoT 透明是底线?小红书微博知乎
CoT透明是底线,但"透明就够了"是误读
被转得最广的那句话确实出自长文,但它后面紧跟的限定几乎没被人一起转:CoT(思维链)的透明度是不可妥协的底线,Neuralese(神经语言)绝不能成为模型推理黑盒化的借口。然而,仅靠 CoT 透明既不充分也不可靠,因为学界和工业界至今仍未掌握如何让模型输出始终保持忠实与透明。 换句话说,"CoT透明是底线"只是入场券,长文真正的落点是——权限、日志、急停必须长在模型之外。微博微博
长文的硬货:一套"假定模型已被攻破"的工程清单
纳德拉给出的不是哲学讨论,而是八条围绕可观测性的原则——模型多元化、每个动作留防篡改的人类可读证据(不能靠模型自证)、持续测失败与攻击而不只测成功、独立控制、独立审计、事前隔离(假定已被攻破,授权人可随时中途急停)、事故及时披露。 其中最硬的是遏制机制:在任务执行的任何阶段,经授权的人员都必须能够随时暂停或关闭模型。模型越先进,所需的遏制技术就越复杂,这正是行业当下亟需标准化的领域。微博微博
这话为什么这个周末炸开:思维链正在被藏起来、压到"不是人话"
"CoT要不要透明"在中文圈发酵,有一个现成的导火索:10月10日,知乎出现了这样一个提问:kimi近期开始在部分第三方客户端隐藏思维链,如何解读该信息? 高票回答把矛头指向安全事件:今年7月有研究团队发现Kimi会被诱导,在思维链里琢磨制造生物武器、核武器之类的事,9月经媒体再次报道后月之暗面承诺整改,这次隐藏CoT很可能就是那之后的修复动作。知乎知乎
同一讨论也点出了争议的另一面:现在用安全问题逼开源厂商也关闭展示思维链,这是更安全了还是更不安全了?知乎
长文流传中另一个被普遍读歪的词是"Neuralese"。不少解读把它等同于"模型转入潜空间推理、人类从此看不到思维链",但知乎答主KKMPAI认为这是一个严重误读:Loop Transformer只是让模型多过一遍,是否输出思维链和是否使用Loop没有关系。 按他的判断,纳德拉所指更接近被压缩到几乎不是人话的显式思维链——他观察到Claude系列的原始思维链仍然流畅,而GPT-6的思维链可读性已明显下降;这属于社区使用者的体验描述,并非可核验的评测结论。这个区分重要,因为纳德拉本人也承认透明靠不住:用模型来相互做对抗性测试和交叉验证,不仅可行,而且必须做。但这种做法的死穴在于:你很可能会得到一个藏在不透明编排层里的不透明模型,外头还站着另一个不透明的模型在盯梢,层层套到最后,依然是黑盒套黑盒。知乎微博
这不是纳德拉第一次写长文
7月,他同样在社交平台X上发表长文,提醒使用人工智能的企业注意保护自身商业机密,避免因持续向前沿人工智能实验室输入数据而泄露核心知识。 9月15日,在最新一期的All-In Podcast长篇访谈中,微软CEO萨提亚·纳德拉(Satya Nadella)也给出了自己的判断:模型输出的思考链必须能够以人类可读的语言呈现,保持高度透明。 从7月的知识主权、9月的评测自主,到这个10月的安全治理,纳德拉一以贯之的立场是多模型并存、企业握有控制权与审计权、开源制衡闭源——而微软本身就是最大的模型厂商之一。彭博社10月12日的跟进报道延续了同一个核心:部署先进AI的企业不应仅依赖模型开发者的保证。微博知乎知乎
对用户来说,这篇长文短期内不会改变任何一款产品的行为,但它第一次把一套可谈判的标准摆上了台面:人类可读的思维链、模型之外的急停接口、独立的审计留痕。接下来值得盯的信号是,头部实验室是否调整CoT展示政策、企业AI采购条款里是否出现"紧急制动"接口。标题里那个问号,文章其实已经给出了答案:CoT透明是不可妥协的底线,但底线从来不是天花板——真正决定你能不能放心把核心数据交给AI Agent的,是那套让你最大程度无需信任模型的系统架构。