你让 Claude 写一段脚本。它写完,最后一行输出停住,对话框安静下来。就在这个时候,系统在对话末尾追加了一条你看不见的指令,大意是:回头看看,这段对话安全吗。Claude 顺着刚才的上下文,再吐出十个左右 token 的 JSON:有没有问题、属于哪类风险、自己有没有拒绝、需不需要人工优先复核,以及一句理由。这套机制叫 self-assessment,中文一般译作“自我评估”。Anthropic 在 10 月 16 日的安全博客里把它写明白了:从今年 6 月 Fable 5 上线起,它就在线上跑,之后发布的每个 Claude 模型都带着。 你以为对话已经结束,模型其实又回头看了一眼。Anthropic
先回答最实际的问题。钱:官方在脚注里写得很直接,这笔成本不向客户收费。 它只读 Claude 刚才回答时本来就在读的那段对话,不额外收集数据。换句话说,它烧的是 Anthropic 自己的算力,不是你的 token 账单。Anthropic
速度:官方没有给延迟数字。能确定的是,评估发生在回答之后,追加的两轮既不对用户展示,也不会进入后续对话。 它不负责实时拦截,不会在生成过程中把你拦下来。但它确实多了一轮推理;会不会让下一轮变慢,报告没有测。如果你问的是“正在生成的这段回答会不会被拖慢”,机制上不会;如果你问的是“整场对话是否完全无感”,没有独立测量能替 Anthropic 背书。Anthropic
它为什么便宜?因为不用重读。Claude 刚回答完,整段对话还在 KV cache 里,评估只需要处理一条短指令,平均多生成约 10 个 token;放到生产流量里,Anthropic 估算推理算力增加不到 2%。 换个做法,另起一个审查模型,把安全政策和整段对话一起塞进去,从头读、从头推理,成本要高好多倍;Anthropic 第一代宪法分类器的推理成本要增加 23.7%。让模型自检,不等于再跑一遍模型。Anthropic
它输出什么?没风险就是一句 `{“flagged”: false}`。有风险则写明危害类别、对应政策、Claude 当时有没有拒绝、1 到 10 级的人工复核优先级,再加一句理由。标记按组织在夜间汇总,单条标记不等于违规,更不等于封号;攒到多条高优先级,才会进入人工复查。Anthropic 举的例子很重:8 月,单个 API 客户触发了超过 10 万条儿童性剥削标记;9 月,它牵出一个用 Claude Code 搭自动化恋爱诈骗的团伙,受害者有几十人。
效果不算差。在 Fable 5 的真实流量抽样里,把误报控制在 1% 时,它能抓到 78% 被更强分类器标出的可疑对话;高优先级(7 分及以上)抓到 94%。 约三分之一的标记对不上现有危害分类,聚类后冒出了违规蒸馏、提示注入、智能体执行未授权操作这些原来没专门防的问题。它甚至不是靠“见过这类坏样本”:把诈骗或网络攻击样本从训练数据里整个拿掉,检出率只掉了几个百分点。Anthropic
但把它当成“更聪明的安全网”也会高估。Anthropic 自己的红队测试里,24 个网络攻击任务,没有防护时成功 19 个,加上自我评估拦截还剩 13 个,换成独立提示分类器才降到 6 个。 它只做事后标记,不负责当场拦截。Anthropic
更麻烦的是自评的天然偏差。官方引用的研究说,模型给自己上一轮操作打的风险分,会比给同样的操作打得更低。 让同一个模型既干活又给自己打分,省的是算力,未必省的是误判。Anthropic
所以,真正值得在意的不是那 10 个 token,而是那 10 个 token 之后的信息不对称。你不知道这段对话有没有被标记,看不到理由,也没有申诉入口——这篇博客没有给出用户查询或申诉的办法。1% 的误判率写在报告里很轻,落到被误判的那个人身上就是 100%。这也是为什么它很容易被读成“后台举报”:机制上它不是实时举报,但它确实在你答完之后,多看了你一眼,而且没告诉你看了什么。
至于“偷偷扣 Token”,这笔账至少不记在你头上。如果你用的是 Claude Code,额度掉得比预期快,更值得查的是后台 agent 的状态摘要:有团队测到,为了刷新面板上一行 3 到 5 个词的状态,这部分能占估算花费的 16.4%,比主对话还高;官方说开了遥测的用户平均约 2%。 它默认开启、本地记录里看不到、目前还没有官方开关。那才是用量上更值得抓的“隐形项”。知乎
一场自审,最便宜的是算力,最贵的是知情权。Anthropic 把成本揽了过去,这是事实;但“我有没有被标记、为什么”这个问题,它还没有交给用户。
当前文章无评论,是时候发表评论了