同样用AI,非英语团队为什么更贵?三笔账叠在一起,只有一笔能靠降价省下来

源自45位全网作者

00:17

同样一件事交给AI,非英语团队的账单几乎总是更高。这跟厂商按不按语言设标价没关系——API对每百万token的报价不分语种——贵在三笔账叠加:分词器把非英文文本切成更多块,计费和工作空间被同步抬高;小语种输出到不了"能上线"的标准,人工审校省不掉;单语种能力本身要靠语料级投入训练,等不来行业降价。三笔账里,只有第一笔会随词表修补和价格战慢慢变薄,后两笔几乎不降。模型越便宜,小语种相对"贵"的部分反而越显眼。

同一段话,被切成更多块

极客公园2026年5月做过一次目前最细的公开对比:把22组中英平行文本送进Claude、GPT、Qwen、DeepSeek的5个tokenizer(分词器)数token,Claude旧词表下中文/英文的token比值在1.11到1.64倍之间,最吃亏的是商业新闻类文本,中文版要多消耗64%的token,等于多付64%的钱;GPT-4o的新词表把差距缩到1.0–1.35倍。 根源在BPE这类分词算法:它按训练语料里的高频组合合并token,英文组合进词表快,汉字在英文主导的语料池里频率不够,只能被当作原始字节处理,一个汉字占3个字节,就变成3个token。知乎
账单之外还有工作空间:同样200k的上下文窗口,用旧版Claude装中文资料,能塞进去的内容量比英文少40%到70%——钱花得多,模型能参考的上下文反而短。 降价也挡不住分词器反向吃账:Haiku 5.5今年10月把列表价降到上一代的十分之一,Anthropic官方同时承认新的分词器会多用大约25%的token,平均实际节省从九成缩水到75%左右。36氪

但这笔"税"是词表排位问题:中文在被修补,小语种还没排上队

同一组测试里藏着一个常被转述忽略的结论:Qwen 3.6和DeepSeek-V3的词表下,中文/英文比值大面积低于1,DeepSeek最低做到0.65倍——同样的内容,中文版比英文版便宜三分之一。 国产模型从词表设计之初就把整字、整词纳入,汉字信息密度高的天然优势才显出来。所谓"中文税"不是中文的原罪,只是英文中心词表没给它留够位置。知乎
修补也在按语料频率排队进行。Opus 4.7的新分词器让英文token数膨胀了1.24到1.63倍,中文大量维持在1.000倍纹丝不动——中文早已被切到单字颗粒度,没有再膨胀的空间。 高频语言陆续被补上,但泰语、越南语、斯瓦希里语这类语料规模小的语言,按同样的BPE机制在任何厂商词表里都切得更碎——目前还没有覆盖小语种的分词倍率公开测量,但机制上BPE不留例外:语料进不了词表,文字就只能按字节计费。分层定价还会放大这个差:Haiku 5.5在10万token以内输入0.1美元/百万,超过10万token价格涨到5倍,同样一份材料,token效率更低的语言更容易把批量任务推进高价带。36氪

AI替不掉的第二笔账:大头是人工

短剧出海的译制环节,是目前小语种AI成本最透明的样本:英日韩字幕已是每分钟5–15元的红海价,泰、越、阿、印尼要贵出一倍,原因很直白——语料少、术语乱,要人补;再加人工精校,价格翻三倍。 而整条译制成本里,配音占45%–55%,翻译只占20%–30%,字幕擦除占15%–20%——AI打薄的本就是最薄的那一层。知乎
更边缘的语种连"人"都是稀缺品。一家给游戏、医药行业做翻译的服务商讲过,希伯来语、乌尔都语这类单子此前投产比太低、公司干脆放弃,现在靠AI先译一轮、母语者审校才跑通。 小语种团队用AI的真相往往在这里:模型把活干到"看得懂",干不到"不出戏",术语、称谓、俚语的兜底人工省不掉,而且比大语种更贵。微博

第三笔账:一门语言的能力,是用语料买出来的

想让小语种能力从"能聊天"到"能做生意",投入是语料级的。今年9月沙特HUMAIN发布的humain-m3,以MiniMax的M3为底座,用超过1万亿token的阿拉伯语原生文本继续预训练,参数达到4280亿。 代价换来的是位置:它在7个阿拉伯语公开基准上拿到89.37%的等权平均分、五项排名第一,超过了GPT-5.6 SOL和Opus 5。 特定语种的最优解不是等通用模型降价普惠,而是有人为一门语言单独烧一轮训练。钛媒体
蹭通用模型这条路在训练侧也有代价:低资源语言在梯度里只是噪声级别的存在,主流数据的梯度一遍遍碾过去,小语种学到的那点东西很快就被冲没,这就是灾难性遗忘——只能靠混合语料的采样策略摊薄,小语种因此排在通用模型优先级队列的末尾。 供给空白也在被零星填上:Meta去年11月开源的语音模型能听懂1600多种语言,其中500种是从来没有任何AI支持过的小语种——"第一次支持"本身,就是过去这道成本门槛的高度。知乎微博

哪笔会降,哪笔不会

第一笔账可以等。被广泛转引的Epoch AI研究报告测算,自2023年以来,达到同等AI性能水平的成本每季度下降约47%——词表会继续扩大,token单价会继续变薄。 但母语审校的时价、语料级训练的门槛,不会沿着同一条曲线下降。对非英语团队,当下能主动做的其实有限:换词表对自己语言友好的模型,把纯AI产出用在跑量内容、人工精校留给付费档;然后盯住三类节点——分词器词表扩容、语言定制模型发布、小语种语音开源。每落地一个,"贵"就少一层;一直不落地的那些,就是终究要自己付的账。36氪

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章