SEARCH THE LAB

你想了解什么?

科普审核信息未提供

压缩备份为什么有时几乎不变小

审核信息未提供 · 3 min

把 200 GB 的目录打包压缩,结果还有 190 GB,第一反应往往是压缩工具没生效。多数时候它确实生效了,只是这批数据本身几乎没有可压的余地。压缩只做一件事:找出重复或可预测的字节序列,用更短的编码替换。数据越接近随机,算法越只能原样搬运,顶多加一点框架开销。 最典型的是已经压缩过的格式。JPEG、PNG、M…

压缩备份为什么有时几乎不变小

把 200 GB 的目录打包压缩,结果还有 190 GB,第一反应往往是压缩工具没生效。多数时候它确实生效了,只是这批数据本身几乎没有可压的余地。压缩只做一件事:找出重复或可预测的字节序列,用更短的编码替换。数据越接近随机,算法越只能原样搬运,顶多加一点框架开销。

最典型的是已经压缩过的格式。JPEG、PNG、MP4、MP3,以及 zip、gzip、zstd 包,内部都做过熵编码,字节分布接近均匀,第二次压缩找不到多少重复。假设备份里是两万张 JPEG 照片,共 100 GB;tar 只是把它们首尾相接,gzip 至多省下一些文件头和对齐填充,压缩率接近 1 并不奇怪。把一批 mp4 再压一遍,常常只小百分之几。

加密数据同理。AES 这类算法的设计目标就是让密文不可区分于随机串。先加密再压缩,等于递给压缩器一整包噪声;正确顺序是先压缩再加密。若备份工具默认加密整个归档,之后再做外层压缩,收益通常很小。

文件数量和元数据也会吃掉收益。tar 为每个文件写 512 字节头,并按块补齐;若逐个文件调用 gzip,每个成员还有自己的头和尾。假设一百万个小文件、平均 1 KB,原始内容 1 GB,打包后光头部就可能接近 500 MB。头部重复度高,压缩能压掉不少,但小窗口算法跨文件找重复的能力有限,最终体积仍可能明显高于内容本身。

压缩算法的窗口大小决定了它能看多远。经典 deflate 只有 32 KB 窗口,相隔很远的相同块不会被匹配。xz 和开启长模式的 zstd 使用更大字典,能抓到远距离重复,代价是内存和 CPU。若数据每隔几十 MB 出现一段相同内容,小窗口算法就白白放过。

还有一种常见错觉:归档里一部分很好压,另一部分完全不可压。假设 100 GB 备份中 80 GB 是视频、20 GB 是文本日志;文本能压到 4 GB,视频仍是 80 GB,总计 84 GB,相对原始只缩小 16%。整体比例被不可压部分稀释,看起来就“几乎没变”。

数据库转储要单独看。纯文本日志重复多,压缩率往往很高;但表里若大量 UUID、随机哈希、时间戳、浮点数或二进制 blob,可压空间就有限。UUID 的十六进制字符看似有结构,实际每位近似随机;浮点尾数也难预测。行式转储里重复的列名和 SQL 关键字还能压一些,随机主键会把收益拉回去。

实操上,先别急着换算法。取一个代表性样本,分别用 gzip、zstd、xz 试压,看边际收益;媒体文件直接 store,不重复压缩;小文件先合并成大块再压;需要跨文件去重时用 dedupe 工具,它和压缩是两件事。提高级别也有天花板:-9 相比 -6 常常只多几个百分点,却慢几倍。解压速度和恢复时间同样要算进备份成本。

局限要说清:压缩率由数据内容决定,没有通用保证;压缩后的归档一旦损坏,影响范围可能比未压缩文件更大;分卷、加密、去重都会改变可压性。理解这些,就不会把“没变小”误判成故障,而是知道该换数据组织方式,或者接受它本来就这样。