几个常用快速无损压缩算法

  categories:资料  author:

Snappy
Snappy 是在谷歌内部生产环境中被许多项目使用的压缩库,包括BigTable,MapReduce和RPC等。谷歌表示算法库针对性能做了调整,而不是针对压缩 比或与其他类似工具的兼容性。在Intel酷睿i7处理器上,其单核处理数据流的能力达到250M/s-500M/s。Snappy同时针对64位x86 处理器进行了优化,在英特尔酷睿i7处理器单一核心实现了至少250MB/s的压缩性能和500MB/ s的解压缩性能。Snappy对于纯文本的压缩率为1.5-1.7,对于HTML是2-4,当然了对于JPEG、PNG和其他已经压缩过的数据压缩率为 1.0。谷歌强劲吹捧Snappy的鲁棒性,称其是“即使面对损坏或恶意输入也不会崩溃的设计”,并且在谷歌的生产环境中经过了PB级数据压缩的考验而稳 定的。
官方网站:http://code.google.com/p/snappy/

 

FastLZ
FastLZ是一个高效的轻量级压缩解压库,其官方测试数据如下表:
fastlz0001
FastLZ 压缩 10 亿字节的文本文件,更多内容请看基准测试结果

支持 Microsoft Windows, Linux,其他 Unix 系统,甚至是 DOS。在 x86, Itanium 和 UltraSPARC 机器上也能运行的很好。

官方网站:http://www.quicklz.com/

 

LZO/miniLZO
LZO是一个开源的无损压缩C语言库,其优点是压缩和解压缩比较迅速占用内存小等特点(网络传输希望的是压缩和解压缩速度比较快,压缩率不用很高),其提供了比较全的LZO库和一个精简版的miniLZO库,网上测试数据如下:
测试的时候使用bmp和文本文件,在X86的Linux虚拟机(单核256M内存,Debian 6.0 OS)上测试。

测试文件 原始大小 压缩后大小 压缩率 压缩时间 解压时间
1.bmp52920541593953.01%9.174ms23.037ms
2.bmp6912056338060.489%8.33ms36.17ms
3.bmp6220856510189182%25.78ms28.43ms
lzo.tar6645760245789036.98%34.68ms38.62ms
kdoc.tar16660480698740241.93%102.86ms108.2ms
kinc.tar18257920568492731.13%106.87ms113.86ms

官方网站:http://www.oberhumer.com/opensource/lzo/
来自《HBase: The Definitive Guide》中的一个对比:

Algorithm% remainingEncodingDecoding
GZIP13.4%21 MB/s118 MB/s
LZO20.5%135 MB/s410 MB/s
Zippy/Snappy22.2%172 MB/s409 MB/s


快乐成长 每天进步一点点