惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

aimingoo的专栏
aimingoo的专栏
I
InfoQ
B
Blog RSS Feed
D
Docker
GbyAI
GbyAI
N
Netflix TechBlog - Medium
Y
Y Combinator Blog
F
Fortinet All Blogs
P
Proofpoint News Feed
Microsoft Azure Blog
Microsoft Azure Blog
人人都是产品经理
人人都是产品经理
Martin Fowler
Martin Fowler
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
M
MIT News - Artificial intelligence
C
Check Point Blog
Vercel News
Vercel News
云风的 BLOG
云风的 BLOG
博客园 - Franky
Google DeepMind News
Google DeepMind News
WordPress大学
WordPress大学
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
V
V2EX
Last Week in AI
Last Week in AI
L
LangChain Blog

博客园 - tmfc

LightCloud设计特点 LightCloud -- 分布式键-值数据库 [翻译]更有效的使用垃圾收集– 第一部分 企业架构应用模式读书笔记(四) 企业架构应用模式读书笔记(三)下 企业架构应用模式读书笔记(三)上 企业应用架构模式读书笔记(二) 企业应用架构模式读书笔记(一) 对[解耦的故事]的一些补充 解耦的故事(二)-松耦合时代的来临 解耦的故事(一)-tmfc的开关 [翻译]了解ASP.NET底层架构系列文章(包括Word下载) [翻译]了解ASP.NET底层架构(完) [翻译]了解ASP.NET底层架构(八) [翻译]了解ASP.NET底层架构(七) [翻译]了解ASP.NET底层架构(六) [翻译]了解ASP.NET底层架构(五) [翻译]了解ASP.NET底层架构(四) [翻译]了解ASP.NET底层架构(三)
有怪兽,有怪兽 - 通过MONSTER OF COMPRESSION选择压缩算法
tmfc · 2009-03-08 · via 博客园 - tmfc

去年由于工作关系,需要给Memcached选择一种数据压缩算法,参考了2008版的MONSTER OF COMPRESSION,现在2009年度的又新鲜出炉了,有需要的朋友可以去下面看看

MONSTER OF COMPRESSION 2009

由于用于压缩缓存数据,所以重要指标是压缩速度和解压速度,直接参考Ranked on Time of Compression表和Ranked on Time of Decompression

可以发现排在前列的算法就这么几个,而且基本上都是LZ帮派的,其中又以LZ77分舵的气焰最盛,那个速度叫一个块,比7Zip要快15倍,比压缩比最高的NANOZIP要快70多倍。由于MONSTER OF COMPRESSION的压缩测试数据包括非压缩的图片,二进制文件(包括exe和dll),压缩音频,视频等等,LZ帮派基本上压缩率是比较惨的(1G的数据压缩到700多M),但是Memcached缓存的都是什么,都是序列化后的对象,那不就是XML文件吗(当然也可以使用二进制序列化,不在讨论之列)。于是本着认真负责的态度,本人决定测试一下LZ帮的文本压缩能力。

找来找去,去年排名前几的算法,只有QuickLZ(07年还是排名第五的大怪兽今年不知道由于什么原因,没有测试数据)提供了可执行程序(最重要是还有C#版本的库),那就用QuickLZ粗略测试了一下,测试使用了对象序列化后产生的XML文件,具体的成绩已经有些模糊,压缩比应该是在50%左右,这个成绩还真不错,完全可以满足要求。不过最后由于种种原因,没能应用到项目中,所以没法提供更多资料了,大家有兴趣可以自己测试一下实际效果到底如何。