AI 研究者 Aran Komatsuzaki 把 Rich Sutton 的知名论文「苦涩的教训」（The Bitter Lesson）翻成 9 种语言，喂进 OpenAI、Gemini、Qwen、DeepSeek、Kimi、Claude 6 家模型的分词工具（tokenizer），以英文原文在 OpenAI 分词工具上的 token 数为 1 倍基准，看各语言在各模型上花多少倍。结果：同样的内容用中文问 Claude，token 消耗是基准的 1.65 倍；用 OpenAI 只有 1.15 倍。印地语在 Claude 上更夸张，超过基准 3 倍。6 家横评里 Anthropic 垫底。 翻译会改变文本长度，所以跟英文比的倍数不完全精确。但更有说服力的是同一段中文在不同模型上的表现（仍以同一基准）：Kimi 只花 0.81 倍（比英文还少），Qwen 0.85 倍，到 Claude 上变成 1.65 倍。文本完全一样，差距纯粹是分词工具的效率问题。中国模型处理中文比英文还省，说明问题不在中文本身，而在分词工具有没有为该语言做过优化。 对用户来说，token 多了，API 直接变贵，模型回答前等待更久，上下文窗口也更快用完。分词工具的效率取决于训练数据中各语言的占比：英文数据多，英文词被高效压缩；非英文数据少，只能切得很碎。Aran 的结论：谁的市场大，谁就更省 token。 9 个帖子 - 8 位参与者 阅读完整话题