多语言文本的字数为何不能用字节数代替
把字节数当作字数,是多语言文本处理里最常见的一类偷懒。它看起来只差一个函数调用,实际会让长度限制、计费、排版和检索同时出错。原因很简单:字数是语言单位,字节数是编码单位,两者之间没有固定汇率。 先看编码。UTF-8 是变长编码:ASCII 字母占 1 字节,带重音的拉丁字母通常占 2 字节,汉字通常占 3 字节,…

把字节数当作字数,是多语言文本处理里最常见的一类偷懒。它看起来只差一个函数调用,实际会让长度限制、计费、排版和检索同时出错。原因很简单:字数是语言单位,字节数是编码单位,两者之间没有固定汇率。
先看编码。UTF-8 是变长编码:ASCII 字母占 1 字节,带重音的拉丁字母通常占 2 字节,汉字通常占 3 字节,emoji 通常占 4 字节。于是「你好」是 2 个字、6 个字节,「hello」是 5 个字、5 个字节,「café」是 4 个字、5 个字节。同样一段中文,用 GBK 存可能是每字 2 字节,用 UTF-16 又是另一套数字。字符序列没变,字节数却随编码变化,所以字节数不能反过来定义字数。
第二层麻烦在 Unicode 内部。一个肉眼看到的字符可能由多个码点组成。é 可以是一个预组合码点,也可以是 e 加组合重音符两个码点;家庭 emoji 由多个表情符号加零宽连接符拼成,显示为一个图形,码点数却远多于一个;国旗 emoji 由两个区域指示符组成。按码点计数,这些都会被算多;按字节计数,误差更大。
因此「字数」至少有四种口径:字节数、Unicode 码点数、字素簇数、按词数。它们服务不同目的。数据库字段长度、表单校验通常该用字符或字素簇;存储容量、传输限制该用字节;翻译报价常用词数或源字符数;排版要用显示宽度,因为汉字是全角、拉丁字母是半角,同样字数占的栏宽不同。
现实中的坑很具体。一个表单写「最多 20 字」,若后端按 UTF-8 字节校验,中文用户只能填 6 个汉字,英文用户能填 20 个字母,同一条规则对不同语言并不等价。短信按编码分段,纯文本和含中文的编码方式不同,可容纳的字符数也不同,按字节估算就会算错条数。数据库若是二进制列,按字节截断,中文会被切成半个字符,出现乱码。
还有一层:字数本身没有唯一答案。中文按字、英文按词、泰文和日文没有空格分词、阿拉伯文有连写变形,同一段文本在不同工具里会得到不同数字。字素簇的切分规则还会随 Unicode 版本调整,emoji 序列的计数可能变化。所以追求「绝对正确的字数」没有意义,有意义的是先说明统计目的,再选定口径。
可操作的做法是:先问这个数字要用来干什么;需要人眼字符数就用字素簇库,需要存储上限就用字节并明确编码;前后端和数据库统一口径;用中文、阿拉伯文、emoji、组合重音各准备一条样本做回归测试。不要用「字节数除以 3」这种近似,它在纯中文里勉强能用,一遇到 emoji、重音字母和混排就会失准。