Token 到底是什么？不是字数，是 AI 的「思维单元」

很多人第一次用 AI 就被一个词绕晕了：Token。它不是字数，也不是单词数——它是 AI 理解和生成文字的最小单位，可以理解为 AI 的「思维单元」。

Token 是什么

AI 模型读文章时，不是一个字一个字地读，而是把文字切成一个个小块，这些小块就是 token。一个英文单词通常是 1-2 个 token；一个中文字大多是 1-2 个 token；标点、空格、表情符号也都算 token。

什么是 tokenizer

把文字切成 token 的那套规则叫 tokenizer。目前主流模型大多用 BPE（字节对编码）算法：先把常见词组合并成一个 token，罕见的词则拆得更碎。所以「unbelievable」这种词可能被切成 un-believ-able 三块。

为什么中文比英文贵

因为 tokenizer 是在英文语料上训练出来的，英文常见词表大，一个词经常就是一个 token；中文单字使用分散，同样一句话，中文切出来的 token 数往往比英文多。所以你问 AI 同一个问题，中文消耗的 token 普遍比英文高一点——账单上的差距就是这么来的。

怎么估算消耗

经验法则：1000 个汉字大约对应 1500-2000 token；对话越长、历史消息带得越多，每次请求的 token 越多。用 AI 要算 token 而不是算字数，就是因为计费和上下文限制都是按 token 来的。模型的回答长度上限、上下文窗口大小，单位也全是 token。

搞懂了 token，你才算真正看懂了 AI 的「计价器」。