语言逻辑学了,也不看看除了Claude的模型中文都是最小,而且整体avg也是中文最优,这不是中文的问题,这是Claude问题
OctoberSama
(OctoberSama)
3
中文最优是因为里面几个国产模型专门做过优化吧
PJ568
(PJ568)
4
Baseline 是英语,所以不见得所有最低都是中文。
Ntacou
(阳区 新晴)
5
翻译一篇文学类文本然后丢进分词器能说明什么?每个模型在不同语言的文风就不一样吧?比如GPT中文特有的接住你,不同模型在不同语言沟通然后干活的时候思考的内容应该不一样。应该控制完成相同任务时耗费的token才更合理啊
PJ568
(PJ568)
6
确实,翻译的风格也需要注意,但毕竟输入也是要消耗 token 的 token 也要计入总上下文 token 数的。这个研究仍能提供一定参考。