SEARCH THE LAB

你想了解什麼?

科普審核資訊未提供

壓縮備份為什麼有時幾乎不變小

審核資訊未提供 · 3 min

把 200 GB 的目錄打包壓縮,結果還有 190 GB,第一反應往往是壓縮工具沒生效。多數時候它確實生效了,只是這批資料本身幾乎沒有可壓的餘地。壓縮只做一件事:找出重複或可預測的位元組序列,用更短的編碼替換。資料越接近隨機,演算法越只能原樣搬運,頂多加一點框架開銷。 最典型的是已經壓縮過的格式。JPEG、PNG…

壓縮備份為什麼有時幾乎不變小

把 200 GB 的目錄打包壓縮,結果還有 190 GB,第一反應往往是壓縮工具沒生效。多數時候它確實生效了,只是這批資料本身幾乎沒有可壓的餘地。壓縮只做一件事:找出重複或可預測的位元組序列,用更短的編碼替換。資料越接近隨機,演算法越只能原樣搬運,頂多加一點框架開銷。

最典型的是已經壓縮過的格式。JPEG、PNG、MP4、MP3,以及 zip、gzip、zstd 包,內部都做過熵編碼,位元組分佈接近均勻,第二次壓縮找不到多少重複。假裝置份裡是兩萬張 JPEG 照片,共 100 GB;tar 只是把它們首尾相接,gzip 至多省下一些檔案頭和對齊填充,壓縮率接近 1 並不奇怪。把一批 mp4 再壓一遍,常常只小百分之幾。

加密資料同理。AES 這類演算法的設計目標就是讓密文不可區分於隨機串。先加密再壓縮,等於遞給壓縮器一整包噪聲;正確順序是先壓縮再加密。若備份工具預設加密整個歸檔,之後再做外層壓縮,收益通常很小。

檔案數量和後設資料也會吃掉收益。tar 為每個檔案寫 512 位元組頭,並按塊補齊;若逐個檔案呼叫 gzip,每個成員還有自己的頭和尾。假設一百萬個小檔案、平均 1 KB,原始內容 1 GB,打包後光頭部就可能接近 500 MB。頭部重複度高,壓縮能壓掉不少,但小視窗演算法跨檔案找重複的能力有限,最終體積仍可能明顯高於內容本身。

壓縮演算法的視窗大小決定了它能看多遠。經典 deflate 只有 32 KB 視窗,相隔很遠的相同塊不會被匹配。xz 和開啟長模式的 zstd 使用更大字典,能抓到遠距離重複,代價是記憶體和 CPU。若資料每隔幾十 MB 出現一段相同內容,小視窗演算法就白白放過。

還有一種常見錯覺:歸檔裡一部分很好壓,另一部分完全不可壓。假設 100 GB 備份中 80 GB 是影片、20 GB 是文字日誌;文字能壓到 4 GB,影片仍是 80 GB,總計 84 GB,相對原始只縮小 16%。整體比例被不可壓部分稀釋,看起來就“幾乎沒變”。

資料庫轉儲要單獨看。純文字日誌重複多,壓縮率往往很高;但表裡若大量 UUID、隨機雜湊、時間戳、浮點數或二進位制 blob,可壓空間就有限。UUID 的十六進位制字元看似有結構,實際每位近似隨機;浮點尾數也難預測。行式轉儲裡重複的列名和 SQL 關鍵字還能壓一些,隨機主鍵會把收益拉回去。

實操上,先別急著換演算法。取一個代表性樣本,分別用 gzip、zstd、xz 試壓,看邊際收益;媒體檔案直接 store,不重複壓縮;小檔案先合併成大塊再壓;需要跨檔案去重時用 dedupe 工具,它和壓縮是兩件事。提高階別也有天花板:-9 相比 -6 常常只多幾個百分點,卻慢幾倍。解壓速度和恢復時間同樣要算進備份成本。

侷限要說清:壓縮率由資料內容決定,沒有通用保證;壓縮後的歸檔一旦損壞,影響範圍可能比未壓縮檔案更大;分卷、加密、去重都會改變可壓性。理解這些,就不會把“沒變小”誤判成故障,而是知道該換資料組織方式,或者接受它本來就這樣。