惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

L
LangChain Blog
V
V2EX
爱范儿
爱范儿
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Martin Fowler
Martin Fowler
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Apple Machine Learning Research
Apple Machine Learning Research
WordPress大学
WordPress大学
有赞技术团队
有赞技术团队
宝玉的分享
宝玉的分享
Last Week in AI
Last Week in AI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
罗磊的独立博客
小众软件
小众软件
Vercel News
Vercel News
博客园 - 司徒正美
阮一峰的网络日志
阮一峰的网络日志
V
Visual Studio Blog
J
Java Code Geeks
P
Proofpoint News Feed
MongoDB | Blog
MongoDB | Blog
B
Blog
美团技术团队
量子位

博客园 - 优雅强盗*佛法无边

CMS 社区化搜索 四大皆空-有所感悟 再见,婆媳矛盾 Tag Records [转载]谈谈中文分词 芝诺悖论的又一现代翻版----调和级数悖论 从集合大小的定义到数学结构-解决了多年的疑惑 [转载][IDF是特定状况下的交叉熵]数学之美 系列九 -- 如何确定网页和查询的相关性 中兴通讯 基于定位的技术和市场分析 移动定位技术的发展及应用 移动定位之技术选择 WCDMA系统的三大主要移动定位技术简介 CDMA2000 1X位置服务平台实现方案 中兴通讯股份有限公司LBS LBS业务资料随记 位置业务解决方案 中国联通定位平台及其应用 ArcIMS介绍
信息熵(Entropy)到底是用来衡量什么的?
优雅强盗*佛法无边 · 2006-08-24 · via 博客园 - 优雅强盗*佛法无边

PS:简单而言,信息熵是衡量字符编码长度效率的参照,而不是通讯编码的信息含量大小(文中说的文字效率)的参照。从信息计算的角度来看,汉字其实有很大优势的。利用大众的信息不对称,一小撮人对信息论和计算机知识进行断章取义,得出错误的结论鼓吹拼音化的谬论,值得警惕!

——与Philip ZHANG商榷

思明

  Philip ZHANG先生在反驳彭小明的时候,提出一个观点,他说:“ 就语言文字来说,整体效率不是用民族主义来衡量的,而是用信息熵(Entropy)来衡量

的。”

        张先生介绍说:

        计算文字效率的基本公式是:

  H=-log2(P)

  H 为信息熵的值(或叫信息量),单位是比特(bit)。

        在这基点上,他根据资料引证:

  英文的平均信息熵是 4.03 比特,

  法文的平均信息熵是3.98,

  西班牙文的是 4.01,

  德文的是 4.10,

  俄文的是 4.8,

  而中文的平均信息熵是 9.65比特

  于是,“汉字是落后的,无论是简体还是繁体”就成了他轻松得到的结论。

  其实,要反驳他的结论是一点也不困难的,甚至可以说是非常轻松的——只要知道什么是一种文字的“平均信息熵”。

  只可惜,张先生把方向正好弄错了180度。

  公式是有的,叫做平均信息熵也确实。但是根本就不是文字效率的基本公式,而是在通讯中编码的码长的效率!提出这公式,申农是用以研究信息编码的。说得通俗一点,就是要(在可能有噪音的情况下)把已方(信息源)的信息进行标准化编码(比如,0-1化),然后传送出去,对方接收,解码,恢复成原来的信息。

  研究的重点,是多长的一组码为合理——如果太短,无法正确还原,如果太长,就有冗余。

  在接下去谈以前,先要强调,是码长的节约或冗余,不是信息本身的节约或冗余。比方说,如果拿尽用分币买东西,分币已经多得很,钱却不一定够。这是两回事。

  以英语为例,信息源集合大体是26个字母加上一个空格,这是基本集合。要传送给任何对方(比如用莫尔斯电码),码长要几位“0-1”?满打满算,是五位。

  要是用“平均信息的观点”来研究处理,会发现:有些字母出现得经常,另外一些比较不经常用,所以信息源是有点特征的,这特征就是信息含量不“饱满”。通俗地说,如果英文字母中只有一部分常用,其他罕用,通过巧妙编码可以把码长缩为4个多一点点。实际上由于目前通讯瓶颈已经不像半世纪以前那样重要,电脑里的正规编码方案全是冗余方案,并无人真正采用紧缩方案,连考虑的价值也没有。

  那么怎样计算信息量又是怎么回事呢?

  以电脑的0-1编码方法为例,如果“0”和“1”以均等机会出现,P就是1/2,对数就是-1,H就是1。因此它的信息含量就是1个比特(bit)。如果出现得不均匀(比如说基本是“0”出现,偶尔才有“1”出现),那么“0”的P值接近于1,其对数自然接近于0;另外的“1”的P值接近于0,对数就接近于负无穷,经过加权平均,(这种无穷乘以0的极限,自然可以用(数学上的计算)方法求出)信息比1个比特(bit)更小。

  因此,任何一组码的元素(比如英文字母),在最有效使用的情况下,可以传达的信息量最大,等于log2(N)(以源码的元数为N,例如英文的满荷值为4.75;俄文为5.08;按照中文的字数,小字库为12多,大字库为14多。等等)。

  大家知道,英文字母平均信息熵是 4.03 比特,说明它有一点“浪费”(因为2的4次方是16,这只相当于均匀使用了16个字母)。如果英文的“平均信息量”少到1或者2,就相当于只有两个或者四个字母了。所以张先生对英文的表扬可真的一点意义没有。

  那么,假设我们的祖先造的汉字只用了很少的部分,平均信息熵就会很小,比如,要是只用“是,不”二字而其他文字统统不用,那就只要有一个比特就够。

  张先生以为“平均信息熵”越少越好,是犯了一个“方向的错误”。可见,张先生在信息科学上的知识是多么脆弱,多么不精确!用这样的东西作为“证据”,要我们信改革有几千年历史的汉字很是必要,太不负责!

  张先生又引用说:

  本世纪四十年代,申农和霍夫曼等科学家提出了信息熵理论和方法,基本定理是:在一种非扩展的无记忆信息源中,字符编码的长度不能小于信息源的熵。这个定理适合所有的语言文字,是计算机和网络通讯的科学技术基础和工程设计的基本依据。

  这句话全对。不知道张先生是哪里引用来的,但是张先生显然不理解其含义。这话说明的是什么?原来,这不过是说,因为英文的平均信息熵是4多一点,因此作为通讯用的英文字符集的实用长度也至少要有那么长。德文和俄文的字母比英文多几个,它们多含一点信息量是正常的。德国人之不改动字母,绝对不是因为信息量多还是少的缘故。多更不是坏事。其实,大家知道在电脑里英文字母、德文、俄文统统用的是8位(8比特)。8位的满存储是256个字符,大家相聚在一起,谁多用谁少用,不会去斤斤计较。德国人也读英文,俄国人也用德文,更没有人用它来比较“语言的优劣”。

  中文,一开始是用了双字节的(即16比特),满存储是6万多,现在中文用了约1/3(当然其他文种还要用)。这和中文的效率并无直接的联系。如果,用一个汉字表达的“意思”的量,如果(平均起来)和一个英文字母一样多,那汉字就真太落后了!

  真是这样?我们的汉字真会这么落后?比如“我”是两个字节,“I”是一个字节。这就是中文不如英文的“唯一例子”了。但是“人、是、起、而、日、月、用、无、……”这几百成千个单字(严格说所有汉字)英文里都只要一个字母吗?不是。英文的字母只有26个,充其量只能有这26个比中文好——可惜英文的单字母词只有一个“I”,一个“a”(意义太简单,还无独立使用权)其他的(例如of,on,to,we,me,go,……)能和汉字打平就好。请注意,在用26个字母构成的676种二字母组合中,有意义的少之又少(比如aa,ab,ac,ad,ae,……就几乎全无意义)。所以,如果有人用汉字对比英文(在同样意义的词汇)的byte数,  

  十有八九汉字要“节约”得多!

  自然英文通过制造缩写的办法解决了不少问题——UN,USA,WTO,所以说汉字绝对优越也要谨慎。

  最最可笑的是,如果要按照“用拼音”的建议把中文翻译成拼音(即使那声调的符号省去、词汇连写等方法全用上),那byte数要大大增加了,虽然那“平均信息熵”也许还降低了(总不超过5)。打个比方,改用拼音的张先生可以告诉别人,我的平均信息量已经降低到4多一点(就是说‘我现在终于只要用一分的硬币买东西了,虽然我每年的开支因此增加了三倍,我才不在乎!’)。因为拼音里除了a、e以外,是不许单独字母成字的,就是a、e,还留空格。所以如果说要用拼音作文字,在浪费字节上是天下第一的“文字”——看不易懂还暂且不说!在这个意义上说,“从一九八九年开始,《人民日报》等报刊就用同样的手法抨击中文改革,连续发表文章鼓吹‘汉字优越’,说中文改革是盲目西化和导致中国文化传统消亡,等等。”真是做得对极了,好极了!

  张先生又说:

  中文的平均信息熵是 9.65比特,在计算机信息作业的时候,汉字的每个字符需》要两个字节的空间,因而中文的信息处理和传递的整体效率比英文等拼音文字的效率要低得多。

  这是完全违背基本常识的。套用他的汽车比喻,这好像是说:“独轮车无疑比12轮大卡车节省10倍,走的路只有1/10”;又好比说“用一元钱的钞票买东西比用
五角钱的贵一倍”;等等……

  尽管我们已经说明汉字实际上比英文和其他拼音文字只简不冗(从占用字节数的角度看),语言学上的问题仍然相当复杂,谁简谁繁似乎也还难以成为一种语言优劣的绝对定论。比如世界语、数学语言、电脑的汇编,显然都极简单而且规范,可是要代替自然的生活语言明明是不行的。这个问题我们暂且不讨论。

  张先生的文章还存在许多其它问题,比如他说:

  不管谁在使用和在哪里使用,也不管使用者的民族感情如何,这些文字的信息熵还是它们的信息熵。

  他根本就不知道,除了整个“民族”的平均信息熵以外,人人的语言都有其独特的信息熵。比如“不高兴”先生,碰到事情一般都是不高兴;总说“喳”的太监,他们的语言中的平均信息熵都很小。同样的字符集而熵小,这绝对不是什么先进,是贫乏。

  附带说一句,张先生犯的这个错误,国内某一派的“著名语言学家”在十多年前已经犯过,也被人尖刻批评过。他们既无法理解(大概对于数学绝缘)也不吱声,以至于十年过去后,他们的文改信徒还不断重复这错误。可悲又可叹,若把语言文字工作交给这等“既不内行又不热心”的人!


[中国研究/zgyj1999/xiamian.htm]