同一款大模型，同一句话，换成不同语言，被切出来的 token 数量最高能差 17 倍；即使只看互联网上最常用的 20 种语言，最贵的一种也要用最便宜语言 1.5 到 5 倍的 token。这项研究由"语言公平 AI 研究联盟"（CLEAR）于今年 9 月发布，外媒 Rest of World 于 10 月 28 日当地时间报道，30 日传入中文科技平台；研究者把这笔看不见的额外成本称为隐性的「分词器税」，网络内容较少的语言尤其容易受影响。IT之家微博
对中文用户更紧迫的问题是：这笔税要不要交，以及它影响的是不是只有账单。先把最大的误解排掉：17 倍不是中文和英文之间的差距，它落在缅甸语、藏语这类文字在训练语料里罕见的语言上。中文有十几亿使用者、网络文本量巨大，主流编码器普遍做过中文优化，不在最严重的那一档——但"不在最惨"不等于不吃亏。知乎专栏
决定价格的不是语法，是词表见过多少这种文字
模型读的不是字，而是被切成 token 的编号片段，切法来自 BPE 这类统计算法：它只按频率从训练语料里合并片段，常见的词整块切走，罕见的组合被切碎，最碎时退回按字节处理——中文一个汉字在 UTF-8 里占 3 个字节，合并表没兜住时，一个字就变成 3 个 token。于是语料的语言分布，直接变成了价格的分布。CLEAR 用的例子很直观：同一句英文 13 个 token，马拉雅拉姆语 26 个，阿姆哈拉语 78 个，正好 6 倍。知乎专栏知乎专栏
会不会是这些语言本身"话多"？研究人员对比了字符数，数据集里最啰嗦的是缅甸的掸语，也只比英文长 42%，而 42% 的字符差解释不了数倍的 token 差距。知乎专栏
真正拉开档位的是书写系统：缅甸语、藏语、提非纳文、高棉语、老挝语，这些文字在语料里出现得少的语言吃亏最重；反过来，阿斯图里亚语只有几十万人说、网上几乎找不到语料，但因为用拉丁字母、能借到西班牙语和意大利语学过的表示，反而没那么贵。决定贵不贵的，是文字，不是人口。知乎专栏
中文确实在交这笔税，但新老编码器之间差出一倍多
一位知乎用户把 10 组中英对照句子分别送进两代 OpenAI 编码器实测：老一代 cl100k_base 上，同样 10 句英文切出 109 个 token，中文要 183 个，是英文的 1.68 倍。换到新一代编码器，溢价收窄到一成上下；他本人也说明样本只有 10 句、不能当行业结论，但方向人人可以复现。知乎专栏
溢价能变小不是玄学，是设计：新一代 o200k_base 把词表从 10 万扩到 20 万，加了大量中日韩的常见词组。词表怎么扩容，直接改写各语言的单位成本，这也是比较不同模型时，对中文用户更真实的隐藏指标。知乎专栏
还有一层容易撞上的坑：常用汉字进了词表，罕见字没有。同一个模型，写日常文章和写满是专有名词的技术文档，中文相对英文的溢价不是同一个数。知乎专栏
账单之外，延迟和上下文一起吃亏
token 多出来的不只是钱。模型一个一个往外吐 token，token 越多，生成越慢。输入侧的预填充也更久；按订阅付费的用户感受不到单价，但同样的对话轮数，配额先见顶。更实际的账在材料量上：同样的内容花更多钱，上下文装得更少，长材料更早把窗口占满。知乎专栏知乎专栏
窗口本身是固定的，token 多的语言装得下的内容就少。一份几十页的合同或几千行的代码库，低 token 语言能整个塞进去，高 token 语言塞一半就要截断，模型开始忘掉前文。这笔税最贵的地方不在每百万 token 的单价，而在同样的价格买到的服务容量更小。知乎专栏
数字留一分警惕，动作现在就能做
这份报道的数字有证据边界。实测的那位知乎作者按 CLEAR 的名字检索过，没找到可以打开的原始报告或官网，中外媒体引用的 17 倍、1.5 至 5 倍，都出自同一篇报道的转述。知乎专栏
方向本身有更早的独立学术支撑：2023 年 EMNLP 的一篇论文测了 OpenAI API 上的 22 种语言，结论是很多语言的用户在被多收费，同时拿到更差的结果。所以"分词器税"的判断可以认真对待，具体倍数按媒体转述的口径看待即可。知乎专栏
算账要把两个乘数放在一起。一个模型每百万 token 便宜三成，但你的语言在它上面要多花一半 token，合账反而是亏的——做出海和多语言产品尤其要看这一条。知乎专栏
日常开发里有个几乎零成本的省法。系统提示、格式约束、风格规则这些用户看不到的部分，改用英文写，输出仍用目标语言，每个请求都能省下一截 token。拿不准自己亏多少，挑几十句产品里真实出现的文本，用目标模型的 tokenizer 数一遍再相除，得到的就是你的真实价格倍数。知乎专栏
接下来值得盯两个信号：各家编码器词表会不会继续向非拉丁文字扩容——新一代编码器已经证明溢价能靠设计压小；以及有没有厂商率先公布 CLEAR 建议的那张按语言划分的成本记分卡。把同一种任务在各语言下要花多少 token 摊开写明，谁先公布，谁在多语言市场就多一个可验证的卖点。知乎专栏
