


























我都不知道上面这么多人在应激什么。“词元”这个翻译明明很好啊,让我想到把“byte”翻译成“字节”。
每个 byte 能承载一个 ASCII 字母,所以翻译成“字节”。token 翻译成词元,“元”引申单元,也指最基础的、小的处理单位,我觉得很好听。
其他领域内 token 翻译成令牌、代币,那是其他领域的事。你如果能认为 LLM 的 token 跟翻译成令牌、代币的 token 是一回事,那证明你对这些概念的理解有重大错误。
维基百科“token”在电脑领域下给了七八个不同的词条,都可以叫 token 。session token (网页会话)、security token (指 yubikey 这种东西)、access token (这种情况下翻译成令牌),还有虚拟货币的 token (翻译成代币)全都是不同的词条,LLM 的 token 的词条叫 tokenization ,这几个概念差别很大,英语里却只有一个词。搞一个新词出来方便一般公众理解,合适得不得了。
我还是觉得最适合跟词元这个翻译类比的是字节。字节和 byte 也没关系,但纯意译就搞了这么个翻译出来。mouse 英文就是老鼠,但计算机领域给翻译成鼠标。switch 在生活里可以指墙上的开关,动词可以指开关的动作,也可以指切换;专业领域里可以指铁路铁轨的道岔,还能指任天堂的游戏机;但是计算机领域里就给翻译成“交换机”。在实际可行的时候,根据实际含义来细化英文词汇的中文翻译,是理所当然的。如 switch 一样,一个英文单词对应多个中文含义的情况是非常多见的,token 能有 3 个中文翻译,分别对应不同情况,反倒对公众的理解是好事。
在日本人四处往语言里塞片假名的时候,我跟着一起喷。在微软把 sit back and relax 翻译成“坐和放宽”的时候,我也跟着一起喷。但词元这个翻译既不是片假名,也不是坐和放宽这种垃圾翻译,我无法理解为什么还会有人喷。你爱用 token 就用,就像你用 byte 一样。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。