大模型“黑箱”问题迎来了新的解法。Guide Labs 开源的 Steerling-8B 模型,通过在架构中预设可解释层,让每个生成词的来源都可追溯。这不仅提升了模型的透明度,还为精准控制和纠偏提供了可能,为构建更可信的AI系统指明了新方向。
智能速览
Guide Labs开源了80亿参数的可解释大模型Steerling-8B。
模型生成的每个词都可追溯其受影响的提示词、概念和训练数据。
其核心是内置一个包含数万个已知和自学习概念的概念层。
支持概念控制,能通过调节概念权重来影响模型输出,无需重新训练。
性能表现优异,仅需少量数据即可媲美更大规模的模型。
创始团队由三位在AI可解释性领域深耕多年的MIT博士组成。
精华内容
Steerling-8B的突破并非从外部解读,而是从内部架构着手,为模型天生就赋予了可解释的基因。这种“源头可溯、过程可控”的设计,究竟是如何实现的,又带来了哪些颠覆性变化?
内置概念层
模型内部有一个包含约3.3万个人工标注概念和10万个自学习概念的“概念层”。这个层如同一个分类和标签系统,为数据处理提供了可追溯的路径。当模型生成文本时,每个词块的输出都能明确其动用了哪些概念,例如“基因编辑”或“临床感”,从而使整个推理过程不再是完全的黑箱操作。
三维溯源法
用户可以查看每个词块背后的三张清单:输入特征归因,揭示其受提示词中哪些词的影响最大;概念归因,列出生成该词时所调用的具体概念;训练数据归因,则指明这些概念的来源,如arXiv或维基百科。这一机制让模型输出的每一步都清晰可见,为解决内容版权、偏见等棘手问题提供了直接证据。
精准概念控制
模型独有的“概念控制”能力允许用户在推理时直接干预,通过放大或压制特定概念的权重来调整输出风格或内容。例如,想让回答更专业,就增强“专业”概念的权重;要避免暴力内容,就降低“暴力”概念的影响。这种方法比传统的安全护栏更高效,用几十个概念的调节就能取代成千上万条训练数据的效果。
性能与验证
Steerling-8B使用了1.35万亿个tokens进行训练,在多项基准测试中,其性能与使用了2到7倍数据量的模型相当。测试表明,模型80%以上的tokens贡献来自概念层。即便关闭其他计算通道,模型性能变化也很小,这有力地证明了其预测过程确实主要依赖于概念,确保了可解释性的真实有效。
Guide Labs的实践为解决AI可解释性难题提供了一条全新且可行的路径。Steerling-8B虽然只是一个开始,但它证明了从模型设计之初就植入透明度的巨大潜力。未来,当更多AI系统走上这条“开灯”之路,人类与AI的互信关系是否会迎来一个崭新的篇章?