SEARCH THE LAB

你想了解什麼?

科普審核資訊未提供

相同的檔案,不同的磁碟佔用:稀疏檔案與克隆

審核資訊未提供 · 3 min

兩個檔案用 cmp 比較完全一致,ls -l 顯示的位元組數也相同,df 報告的可用空間卻差了一截。這不是檔案系統在說謊,而是「邏輯長度」和「實際佔用」本來就是兩套賬。檔案系統記錄的是檔案有多長;真正落到盤上的,是按塊分配的物理空間。兩者之間的差額,往往來自空洞、壓縮、去重和共享。 稀疏檔案是最常見的例子。程式可…

相同的檔案,不同的磁碟佔用:稀疏檔案與克隆

兩個檔案用 cmp 比較完全一致,ls -l 顯示的位元組數也相同,df 報告的可用空間卻差了一截。這不是檔案系統在說謊,而是「邏輯長度」和「實際佔用」本來就是兩套賬。檔案系統記錄的是檔案有多長;真正落到盤上的,是按塊分配的物理空間。兩者之間的差額,往往來自空洞、壓縮、去重和共享。

稀疏檔案是最常見的例子。程式可以把檔案長度設成 1 GiB,只在開頭和結尾各寫 4 KiB,中間從不寫入。支援稀疏的檔案系統會把這些從未寫過的區間記為空洞,不分配資料塊。用 ls -l 或 stat 看 st_size,仍然是 1073741824;用 du 或 stat 的 st_blocks 看,可能只有幾個塊。讀取空洞得到的是零,語義上和真寫了一堆零沒有區別,成本卻天差地別。truncate、dd 的 seek 引數,以及不少日誌和資料庫的預分配檔案,都會造成這種形態。

麻煩出在複製環節。普通 cp 逐位元組讀再寫,會把空洞變成真實的零塊,1 GiB 立刻變成 1 GiB 實佔。想保留稀疏性,需要用 cp --sparse=always、tar -S、rsync --sparse 這類選項,而且要確認目標檔案系統本身支援空洞。反過來,把稀疏檔案打進不支援稀疏的歸檔,或者打包時漏掉 -S,也會前功盡棄。虛擬機器映象和容器層裡「越拷越大」的事故,多半就是這麼來的。

克隆走的是另一條路。Btrfs、啟用 reflink 的 XFS、新版 ZFS 的塊克隆,以及 APFS 的 clonefile,都能讓兩個檔案共享同一批物理塊,寫入時再分離,也就是寫時複製。在 Linux 上,cp --reflink=always 可以在同一檔案系統內瞬間「複製」一個大檔案;macOS 上 cp -c 做同樣的事。此時兩個檔案的 st_size 和 st_blocks 都顯示完整大小,du 把它們各算一遍,看起來翻倍,df 卻幾乎沒變化,因為資料只存了一份。

這帶來幾個實際限制。第一,克隆通常要求源和目標在同一檔案系統、同一卷,跨裝置會退化成真複製。第二,共享塊要等所有引用都消失才真正釋放,刪掉一個「副本」不會騰出空間,容易誤判。第三,du 按每個檔案的塊數累加,不識別共享,統計目錄大小時會高估;判斷真實餘量要看 df。第四,加密層、某些網路檔案系統、舊核心或未啟用特性的卷不支援 reflink,cp --reflink=always 會直接報錯,而不是靜默降級。

還有一層:塊大小與尾部打包、內聯小檔案、透明壓縮、去重,也都會讓同樣內容落到不同的佔用上。4 KiB 塊的檔案系統存一個 1 位元組檔案仍佔一個塊,除非支援內聯;而壓縮或去重可能讓兩份相同內容只佔一份。所以看到佔用差異時,先分清問的是哪個數:ls -l 的長度、du 的塊數、df 的餘量,三者回答的是不同問題。

實操上,檢查稀疏性可以對比 du 與 ls -l,或用 filefrag、stat 看塊分佈;複製大映象前先確認目標是否支援稀疏和 reflink;備份時明確是否需要保留空洞;容量規劃以 df 為準,別拿 du 的目錄總和去推算還能放多少。這些差異不是檔案系統在騙人,而是「內容相同」從來就不等於「儲存代價相同」。