惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Proofpoint News Feed
Blog — PlanetScale
Blog — PlanetScale
GbyAI
GbyAI
C
Check Point Blog
腾讯CDC
Stack Overflow Blog
Stack Overflow Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
The GitHub Blog
The GitHub Blog
A
About on SuperTechFans
Recent Announcements
Recent Announcements
L
LangChain Blog
Microsoft Azure Blog
Microsoft Azure Blog
小众软件
小众软件
J
Java Code Geeks
博客园_首页
Jina AI
Jina AI
美团技术团队
H
Help Net Security
MyScale Blog
MyScale Blog
Engineering at Meta
Engineering at Meta
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
人人都是产品经理
人人都是产品经理
Y
Y Combinator Blog
S
SegmentFault 最新的问题

公众号阅读推荐

大厂高管、天才少年,扎堆Agent创业 涨的是车价,要的是老命 游戏里爆改老破小,是疲惫成年人的新型安慰剂 黄仁勋:奔跑吧,为了食物,或者“不成为食物” 好消息:微信群聊有 AI 了!坏消息:要跳转... 黄仁勋很孤独 AI收入占比突破30%,阿里进入新阶段 降噪耳机的第一批受害者,已经出现了!? 让你老得更快的一个行为!很多女性都中招 已成熟,已老实 养出千万收入的电竞女选手,她让300万粉丝追着喊“妈妈” 最具“聊缩力”的社交方式,它排第一 首次战胜高水平人类选手!打乒乓球的机器人来了 库克的卸任信,让我想起全季 这个只会搞钱的城市,被误解太深了 中国景区,门票才是最便宜的东西 没出片,我的假期毁了 「野生极客」老胡:47岁,跑货拉拉,建Agent王国 Harness Engineering:耗时一周,我是如何将应用的AI Coding率提升至90%的 多少打工人五一出游,被景区AI拍出“最丑照片”? 当 AI 开始收费 一个从没种过地的研究员靠AI“指挥”,在种玉米比赛成绩超过专业农民 当老板押注“AI提效” 最被低估的延寿运动!跑步、游泳都不如它 憋住的屎都去哪了?知道真相后你可能再也不憋了…… 首先,是你自己的成长 中学课堂上,物理化学实验正在悄然消失 五一前夜,5A景区集体翻车背后 俄网友疑惑:为什么如今的俄罗斯拿不出一项黑科技,去卡美国的脖子? 在美华人感慨:凡是移民美国的华人精英,不出两代,就变成普通人
连鲁迅都想不到,当代网友为了省钱开始说文言文了。。
2026-04-20 · via 公众号阅读推荐
经常用AI的朋友们都知道,要想AI用得爽,是得花钱的。大厂免费给你用的版本,很可能是阉割版,智力有问题,只会接住你的那种。 但这就有个问题了:AI每次回答我,都用的是我花了钱的额度,有时候叽里咕噜说一堆,效率巨低,额度还唰唰掉,心疼啊。 所以有没有一种方法,能让AI回答你问题的时候,效率又高,还能省钱? 聪明的网友就想到了,汉语是世界上信息密度最高的语言,甚至文言文还是浓缩中的精华。。 那我们用文言文跟AI聊天,对话篇幅大大减少,这算力省下来了,效率不就上来了,钱也扣得慢了,简直太完美了。 比如,把"我去,用户彻底怒了"改成"呜呼,客官震怒",把"你先别给我瞎bb"改成"何出此言",让AI也用古文回我。 有老哥已经直接询问AI了,答曰:可也。 毕竟,古人拿文言文省竹简,又何尝不是一种省token? 但也有人指出盲点:你省了token,消耗的不也是自己大脑的token吗? 天纵之才也! 但实际上,江江经过一系列尝试后,可以给大家个结论了: 省token乎?谬也! 要搞清这个问题,我们得先知道,AI的算力消耗其实看的不是字数,而是token,可以理解为AI处理信息的最小单位。我们说的省钱、省算力,其实就是省token。 于是,我们用DeepSeek V3的token计算器,做了几个实验,结果嘛,非常反直觉。 比如,"用户彻底怒了"是3个tokens,而"客官震怒"是4个tokens。 "永失吾爱"是4个tokens,"她永远不会回来了"却是3个tokens。 甚至蒹葭苍苍4个字,就占了6个tokens,陕西著名美食𰻞𰻞面,更是来到了惊人的9个tokens。。 最神秘的还是"免费在线观看"这6个字,DeepSeek那占3个token,GPT那它只占1个token,没有人知道GPT到底在线观看了什么。 所以说,字数越少效率越高这事儿,还真是个纯纯的伪命题。 为啥会这样呢?这就得从计算机是如何存储文字的说起了。 一个汉字在经过计算机编码后,会占3-4个字节,常用的字占3字节,而那些特别生僻的字,3字节放不下,就得占4个字节。而要把这些字节转化为AI能读懂的token,还得靠模型内部算法,它的工作原理其实很像消消乐。 一开始,所有汉字都被拆成字节存放,此时一个字节就是一个token。然后算法为了省算力,就会找那些相邻位置出现最频繁的字节,把它们合并成一个新的token。 比如"你""我""他"这些汉字对应的字节,成天组队出现,算法就直接给他们合并了,所以这些字就只占1个token。 甚至出现次数过多的词语,也会被合并成1个token,比如"用户""彻底""疯狂",甚至"免费在线观看"这个词,都可以成为一个token。 而那些出现几率少的字,比如"蒹""葭""饕""餮",在训练数据里寥寥无几,BPE找不出字节内在的关联,就像小学生把不认识的字写成拼音,那就只能保存为几个零散的token了,于是1个字就会等于多个tokens。 而因为底层的编码方式,导致所有字符的编码最多4个字节,如果一个字巨生僻,打都打不出来,它就只能像金针菇一样,进去啥样出来还是啥样,不会被合并,所以,1个汉字消耗tokens的最大值,就是4个。 因此,文言文爱用的那些古典生僻字词,在token的交易里,反而是奢侈品,每个字对AI来说都很烧脑。 那既然用文言文不省token,那我要说啥语言才能省啊? **江江的结论是,没有结论。**因为,不同模型的tokenizer,也就是token计算器完全不一样。我们拿同样的文本在OpenAI和DeepSeek那里都跑了一下,结果就截然不同,同一个字在OpenAI这边可能是2个token,在DeepSeek那边就是1个。 这是因为token怎么合并,取决于大模型的训练语料,而不同公司的训练语料构成差异巨大。 OpenAI的模型早期以英文语料为主,在token合并上,自然对英文更慷慨;DeepSeek等国产模型吃了大量中文语料,中文的高频组合见多了,自然就合并得更充分。 当然,模型也在不断进步,各家都在扩大多语言语料的覆盖,不同语言差距已经变得越来越小,所以除非你能把每个模型的token表背下来,不然咱不建议为了三瓜俩枣,抛弃自己舒服的交流方式。 如果非要给个建议,你可以试试用文言文的思路说白话文,比如"你吃饭了没有?"说成"吃了否","你是不是有毛病"说成"毛病乎?" 用你自己的大脑模拟一下,找到耗token最少的表达方式,主观能动性不就来了! 但讲道理,还是不如少说废话,奥特曼就曾经说过,你们整天给AI说谢谢,搞得我们已经多花几千万刀了,与其在形式上下功夫省token,不如从根源杜绝那些不必要的废话。 虽然我根本忍不住,谁能忍住不问候两句呢? 最后,其实还有个很有意思的视角。就算真有种信息密度大的语言,把token省了,最后费的还是你的脑子。 因为如果一种语言信息密度大,那也意味着,单个token表达的意思很多,歧义也会变大,咱就只能靠上下文理解来消歧,说白了 token 是省了,你还得自己费脑子理解。 比如,给你三分钟,你能读懂"用奶牛的牛牛牛奶,奶牛会不会被牛死"吗? 所以,其实token在某种意义上是守恒的,AI省的越多,你大脑消耗的token越多,耗费的还是自己的储存的能量。 你想花钱更快,还是肚子饿得更快,就看你自己的选择了。