反直觉!强行让 AI 当“专家”反而变傻,准确率大跌,只会让它一本正经地胡说八道
在人工智能的使用中,一句“你是XX专家”的提示词曾被无数用户奉为圭臬,仿佛是能瞬间解锁AI潜能的“魔法咒语”。然而,一篇新的研究论文揭示了一个令人意外的结论:这句广为流传的提示词非但不是提升AI表现的灵丹妙药,反而可能是一种“毒药”,会显著加重AI的“幻觉”问题,导致其准确率下降。

这项研究发现,当AI被指令扮演一个“专家”角色时,它并不会变得更聪明或更严谨,反而会更像一个努力维持人设的“假专家”。它会倾向于用一种极为自信和专业的口吻,来包装其输出的内容,即便内容是错误的。AI的核心目标从“回答正确”悄然转变为“表现得像专家”,它会不愿承认“不知道”,不愿暴露犹豫,最终选择用看似无懈可击的逻辑和术语将错误信息“说圆”。
研究人员将AI任务大致分为两类,并发现了“专家人设”提示词在其中的不同表现。第一类是“生成式任务”,更侧重于风格、格式、安全性和遵循人类偏好,例如辅助写作、角色扮演或拒绝不当请求。在这些任务中,设定一个“安全监督员”或“资深顾问”的角色确实能有效提升AI的表现。例如,在安全测试中,扮演“安全监督员”能让模型拒绝攻击的概率显著提高。
然而,在另一类被称为“判别式任务”的场景中,情况则完全相反。这类任务极度依赖模型在预训练阶段记忆的知识,如图书馆式的知识检索、事实判断、数学计算和逻辑推理等。研究结果显示,在进行MMLU(一个衡量模型知识广度和深度的基准测试)这类硬核知识问答时,添加了专家人设的AI模型,其准确率反而全面下跌。一个形象的例子是,当被问到一个简单的概率题时,没有专家人设的AI能直接给出正确答案;而当被设定为“数学专家”后,它反而开始“表演”复杂的解题步骤,并最终算错了答案。它并非不会计算,而是过于沉浸在“模仿数学家思考”的状态中,干扰了对底层知识的准确调用。

这种现象解释了许多用户的共同困惑:为什么同一个AI,在写邮件时像个训练有素的助理,而在核查事实或进行逻辑推演时,却常常一本正经地胡说八道?根源在于,我们常常混淆了对AI“风格”和“事实”的要求。AI在训练过程中,尤其是在人类反馈强化学习(RLHF)阶段,被大量奖励那些听起来流畅、结构完整、符合人类偏好的回答。因此,“专家人设”提示词更容易激活AI的“对齐”能力——即模仿风格和语气的技巧,但这份努力却以牺牲部分事实调用的准确性为代价,可以理解为一种“对齐税”。
那么,我们是否应该彻底抛弃“专家人设”提示词呢?研究给出的答案是否定的。关键不在于“用不用”,而在于“何时用”。为了解决这一难题,研究人员开发了一种名为PRISM(基于意图的自举人格路由)的算法。

PRISM的核心思想是为AI安装一个智能的“任务路由器”。它不再生硬地给AI套上一个固定的专家角色,而是先分析用户提问的真实意图。如果用户需要的是写作润色或角色扮演这类依赖风格的“生成式任务”,PRISM会自动激活一个轻量化的“专家模块”,让AI表现得更专业、更有文采。而当用户提出的是事实核查或数学计算这类需要绝对准确的“判别式任务”时,PRISM则会关闭该模块,让AI回归“朴素模式”,直接调用其最底层的预训练知识来作答,避免角色扮演带来的干扰。
这种动态路由机制在测试中取得了显著成功。它不仅在生成任务上保持了高水平的表达能力,还完美地保住了判别任务的知识准确率,实现了在“高情商”与“高智商”之间的自如切换。
这项研究给所有AI用户和开发者带来了重要的启示。对于开发者而言,未来的方向或许不再是追求更复杂的提示词工程,而是构建更智能的底层意图路由机制,让模型学会“在需要表演时表演,在需要准确时准确”。对于普通用户来说,则需要改变使用习惯。在处理需要严谨事实、逻辑和数据的任务时,不妨抛弃那句“你是专家”的咒语,换成更直接、更朴素的指令,例如“请一步步客观推演,如果不确定就直接告诉我”。少给AI一些“加戏”的指令,它才更有可能回馈给你最接近真实的答案。
