多語言文字的字數為何不能用位元組數代替
把位元組數當作字數,是多語言文字處理裡最常見的一類偷懶。它看起來只差一個函式呼叫,實際會讓長度限制、計費、排版和檢索同時出錯。原因很簡單:字數是語言單位,位元組數是編碼單位,兩者之間沒有固定匯率。 先看編碼。UTF-8 是變長編碼:ASCII 字母佔 1 位元組,帶重音的拉丁字母通常佔 2 位元組,漢字通常佔 3…

把位元組數當作字數,是多語言文字處理裡最常見的一類偷懶。它看起來只差一個函式呼叫,實際會讓長度限制、計費、排版和檢索同時出錯。原因很簡單:字數是語言單位,位元組數是編碼單位,兩者之間沒有固定匯率。
先看編碼。UTF-8 是變長編碼:ASCII 字母佔 1 位元組,帶重音的拉丁字母通常佔 2 位元組,漢字通常佔 3 位元組,emoji 通常佔 4 位元組。於是「你好」是 2 個字、6 個位元組,「hello」是 5 個字、5 個位元組,「café」是 4 個字、5 個位元組。同樣一段中文,用 GBK 存可能是每字 2 位元組,用 UTF-16 又是另一套數字。字元序列沒變,位元組數卻隨編碼變化,所以位元組數不能反過來定義字數。
第二層麻煩在 Unicode 內部。一個肉眼看到的字元可能由多個碼點組成。é 可以是一個預組合碼點,也可以是 e 加組合重音符兩個碼點;家庭 emoji 由多個表情符號加零寬連線符拼成,顯示為一個圖形,碼點數卻遠多於一個;國旗 emoji 由兩個區域指示符組成。按碼點計數,這些都會被算多;按位元組計數,誤差更大。
因此「字數」至少有四種口徑:位元組數、Unicode 碼點數、字素簇數、按詞數。它們服務不同目的。資料庫欄位長度、表單校驗通常該用字元或字素簇;儲存容量、傳輸限制該用位元組;翻譯報價常用詞數或源字元數;排版要用顯示寬度,因為漢字是全形、拉丁字母是半形,同樣字數佔的欄寬不同。
現實中的坑很具體。一個表單寫「最多 20 字」,若後端按 UTF-8 位元組校驗,中文使用者只能填 6 個漢字,英文使用者能填 20 個字母,同一條規則對不同語言並不等價。簡訊按編碼分段,純文字和含中文的編碼方式不同,可容納的字元數也不同,按位元組估算就會算錯條數。資料庫若是二進位制列,按位元組截斷,中文會被切成半個字元,出現亂碼。
還有一層:字數本身沒有唯一答案。中文按字、英文按詞、泰文和日文沒有空格分詞、阿拉伯文有連寫變形,同一段文字在不同工具裡會得到不同數字。字素簇的切分規則還會隨 Unicode 版本調整,emoji 序列的計數可能變化。所以追求「絕對正確的字數」沒有意義,有意義的是先說明統計目的,再選定口徑。
可操作的做法是:先問這個數字要用來幹什麼;需要人眼字元數就用字素簇庫,需要儲存上限就用位元組並明確編碼;前後端和資料庫統一口徑;用中文、阿拉伯文、emoji、組合重音各準備一條樣本做迴歸測試。不要用「位元組數除以 3」這種近似,它在純中文裡勉強能用,一遇到 emoji、重音字母和混排就會失準。