SEARCH THE LAB

你想了解什么?

科普审核信息未提供

相同的文件,不同的磁盘占用:稀疏文件与克隆

审核信息未提供 · 3 min

两个文件用 cmp 比较完全一致,ls -l 显示的字节数也相同,df 报告的可用空间却差了一截。这不是文件系统在说谎,而是「逻辑长度」和「实际占用」本来就是两套账。文件系统记录的是文件有多长;真正落到盘上的,是按块分配的物理空间。两者之间的差额,往往来自空洞、压缩、去重和共享。 稀疏文件是最常见的例子。程序可以…

相同的文件,不同的磁盘占用:稀疏文件与克隆

两个文件用 cmp 比较完全一致,ls -l 显示的字节数也相同,df 报告的可用空间却差了一截。这不是文件系统在说谎,而是「逻辑长度」和「实际占用」本来就是两套账。文件系统记录的是文件有多长;真正落到盘上的,是按块分配的物理空间。两者之间的差额,往往来自空洞、压缩、去重和共享。

稀疏文件是最常见的例子。程序可以把文件长度设成 1 GiB,只在开头和结尾各写 4 KiB,中间从不写入。支持稀疏的文件系统会把这些从未写过的区间记为空洞,不分配数据块。用 ls -l 或 stat 看 st_size,仍然是 1073741824;用 du 或 stat 的 st_blocks 看,可能只有几个块。读取空洞得到的是零,语义上和真写了一堆零没有区别,成本却天差地别。truncate、dd 的 seek 参数,以及不少日志和数据库的预分配文件,都会造成这种形态。

麻烦出在复制环节。普通 cp 逐字节读再写,会把空洞变成真实的零块,1 GiB 立刻变成 1 GiB 实占。想保留稀疏性,需要用 cp --sparse=always、tar -S、rsync --sparse 这类选项,而且要确认目标文件系统本身支持空洞。反过来,把稀疏文件打进不支持稀疏的归档,或者打包时漏掉 -S,也会前功尽弃。虚拟机镜像和容器层里「越拷越大」的事故,多半就是这么来的。

克隆走的是另一条路。Btrfs、启用 reflink 的 XFS、新版 ZFS 的块克隆,以及 APFS 的 clonefile,都能让两个文件共享同一批物理块,写入时再分离,也就是写时复制。在 Linux 上,cp --reflink=always 可以在同一文件系统内瞬间「复制」一个大文件;macOS 上 cp -c 做同样的事。此时两个文件的 st_size 和 st_blocks 都显示完整大小,du 把它们各算一遍,看起来翻倍,df 却几乎没变化,因为数据只存了一份。

这带来几个实际限制。第一,克隆通常要求源和目标在同一文件系统、同一卷,跨设备会退化成真复制。第二,共享块要等所有引用都消失才真正释放,删掉一个「副本」不会腾出空间,容易误判。第三,du 按每个文件的块数累加,不识别共享,统计目录大小时会高估;判断真实余量要看 df。第四,加密层、某些网络文件系统、旧内核或未启用特性的卷不支持 reflink,cp --reflink=always 会直接报错,而不是静默降级。

还有一层:块大小与尾部打包、内联小文件、透明压缩、去重,也都会让同样内容落到不同的占用上。4 KiB 块的文件系统存一个 1 字节文件仍占一个块,除非支持内联;而压缩或去重可能让两份相同内容只占一份。所以看到占用差异时,先分清问的是哪个数:ls -l 的长度、du 的块数、df 的余量,三者回答的是不同问题。

实操上,检查稀疏性可以对比 du 与 ls -l,或用 filefrag、stat 看块分布;复制大镜像前先确认目标是否支持稀疏和 reflink;备份时明确是否需要保留空洞;容量规划以 df 为准,别拿 du 的目录总和去推算还能放多少。这些差异不是文件系统在骗人,而是「内容相同」从来就不等于「存储代价相同」。