别再给AI立“专家人设”:数学代码变差,只有腔调变像

源自177位全网作者

09:12

上周五晚上,小红书一篇笔记冲上首页,标题里写着“别再让 AI 扮演专家”。到今天,1.1 万赞、9946 收藏。小红书

有意思的是评论区。点赞最高的一条不是夸,是质疑:“昨天刚刷到视频,一样的文案,不知道谁洗的谁的稿。”

洗稿的瓜可以吃,但这句话本身对不对,更值得吃。因为我们几乎都干过这事——打开对话框,第一句先写“你是一位有十年经验的资深专家”。

别再给AI立“专家人设”:数学代码变差,只有腔调变像

先说结论:在今天的模型上,这句话大概率白写,有时还倒扣。

南加州大学今年 3 月挂出的一份预印本(arXiv:2603.18507,未经同行评审)跑了 MMLU 这个公开知识测试集:什么身份都不加,准确率 71.6%;加一句“你是专家”,掉到 68.0%;人设写得越长掉得越狠,最长那档只剩 66.3%。这是同一份实验里的三档结果。知乎专栏知乎专栏

不是孤例。EMNLP 2024 一项研究测了 162 个角色、4 个模型家族、2410 道题,73% 到 100% 的人设对准确率没有正向作用。沃顿商学院今年 4 月那份报告,标题就是结论:《玩过家家:专家人设不能提升事实准确率》。三拨研究者,指向同一个方向。知乎知乎专栏

原因不难猜。你说“你是专家”,模型听到的是“演一个专家”。于是它端起架子、直接抛结论、懒得把推理走完。腔调像了,功夫没多一分。知乎专栏

但别一棍子打死。同一份南加大研究里还有另一组数:给模型一个“安全审查员”身份,它在 JailbreakBench 上拒绝恶意请求的比例从 53.2% 涨到 70.9%。写作、整理、守规则这类活,人设确实加分。所以准确的说法是:人设改的是行为和语气,不是知识。你要它“像个客服”,有用;你要它“算得对”,没用。知乎专栏

知乎上也有人不服:Codex 官方仓库的系统提示词里就写着 autonomous senior engineer,怎么解释?区别在这儿——那是厂商在训练阶段就绑好的行为模式,模型一看就知道调哪套动作;你临场贴上去的一句头衔,只是一张纸。知乎

别再给AI立“专家人设”:数学代码变差,只有腔调变像

那这招当年是怎么火的?因为它真火过。2023 年那批模型指令遵循弱、输出散漫,一句“你是专家”确实能收束得像样。人设是弱模型的拐杖——拐杖没错,错的是腿好了还拄着,还把它当成了身体的一部分。知乎专栏

撕掉头衔,该写什么

五件小事,按性价比排:

一、写目标和用途,不写职称。“你是资深数据分析师”,换成“我要在周会上向管理层汇报华东区销售走势,3 句话说清同比、最大贡献品类和风险点,语气正式,能直接进 PPT”。

别再给AI立“专家人设”:数学代码变差,只有腔调变像

二、给两个示例。模型的模仿能力远强于推理能力,两三个输入输出对照,比十句“请注意格式”都管用。这招最省事,也最容易被跳过。知乎专栏

三、拆成两步,先要方案再要成品。“先列提纲等我确认,再逐章展开”——跑偏成本从重写一千行降到重写十行。

四、给判定条件,别给实现路径。哪些行不参与合并、错多少算错、字数卡在哪,这些是口径,越多越准;先用哪个函数、按什么顺序写,那是你的习惯,越多越僵。

五、让它先问缺什么,交稿前自己过一遍检查清单。多数翻车不是模型不行,是你没说清。

反过来也别走极端。那篇笔记下面有条评论说得实在:“这么宽泛的命令,鬼知道 ai 会给你执行成什么样子,完全不可控了。”删掉头衔,不等于不写要求。顺手还有个隐藏项:不少平台和中转站的默认系统提示词里,已经替你写好了身份。进去改掉默认设置,比每次手动删省事。知乎专栏

最后说钱

有知乎博主整理 OpenAI 给 GPT-5.6 写的提示词指南,提到删掉冗余角色声明和示例后,内部 coding-agent 评测分提升 10%–15%,token 消耗降 41%–66%,API 成本省 33%–67%。这是二手转述,数字别当铁板,方向是清楚的。知乎

别再给AI立“专家人设”:数学代码变差,只有腔调变像

微博上一个程序员说得更扎心:Anthropic 和 OpenAI 的员工 token 无限,想怎么烧怎么烧;我们是订阅制,有额度,得精打细算。这话不好听,但是实话。微博

所以那句“你是资深专家”贵不贵?八个 token,几分钱。真正贵的是——你花二十分钟给它打磨头衔,却没写清预算、禁忌和交付格式。知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章