同一个词出现五十次,得分为何不是五次的十倍
在检索系统里,一个词在同一篇文档中出现得越多,这篇文档通常越可能相关。但这条直觉有个上限:出现五十次,得分往往远不到出现五次的十倍。这种“收益递减”有个名字,叫词频饱和。它不是为了惩罚长文或高频词,而是承认重复带来的新信息会越来越少。 先看朴素做法。若直接拿词频当分数,一篇反复提及“咖啡因代谢”的文档就能轻易压过…

在检索系统里,一个词在同一篇文档中出现得越多,这篇文档通常越可能相关。但这条直觉有个上限:出现五十次,得分往往远不到出现五次的十倍。这种“收益递减”有个名字,叫词频饱和。它不是为了惩罚长文或高频词,而是承认重复带来的新信息会越来越少。
先看朴素做法。若直接拿词频当分数,一篇反复提及“咖啡因代谢”的文档就能轻易压过一篇只提三次的短文。问题在于,同一篇文档里第二次、第三次提到某个词,往往只是重复同一件事;到第五十次,读者得到的新信息几乎为零。于是打分函数把词频压成一条逐渐变平的曲线:从零到一增长最快,之后每次增加贡献越来越小,最终逼近一个上限。
第二个机制是长度归一。长文档天然有更多机会出现某个词,若不加约束,检索会系统性偏向长文。归一化的做法是把词频除以文档长度(或长度的某种幂),让“每单位篇幅提到多少次”成为可比量。但归一也不能过头:一篇真正深入讨论该主题的长文,被过度压缩后反而吃亏。工程上通常用一个介于零和一之间的参数控制归一强度,再用另一个参数控制饱和点,按语料的平均长度来调。
还有一个平衡项:逆文档频率。像“的”“是”这类到处出现的词,即便词频很高也说明不了什么;只在少数文档出现的词,才更有区分度。三者合起来,就是常见的打分公式家族:词频饱和、长度归一、稀有度加权。
这也解释了一个常见现象:把关键词堆在页脚或重复几十遍,并不会让页面一直往上爬。饱和函数很快进入平台区,后面的重复几乎不再加分,反而可能因篇幅增加而被归一化稀释。更有效的做法是让词出现在该出现的位置——标题、首段、与查询中其他词相邻的地方。邻近性与字段权重这些信号,和饱和一起构成排序的骨架。
举个假设的例子。查询“咖啡因 代谢”,库里有一篇两百字的笔记提到三次,还有一篇五千字的综述提到三十次。按原始词频,综述明显占优;但读者可能只想要一句简明结论。经饱和与长度归一后,两者的分数会被拉到可比的区间:笔记靠“密度”得分,综述靠“总量”得分。哪个更靠前,取决于语料与参数,也取决于使用者要的是概述还是细节。这说明打分只是排序信号,不是相关性的判决书。
局限也要说清楚。第一,参数不是普适常数:不同语料、不同字段(标题与正文)需要不同设置,靠评测集反复试验。第二,饱和只处理“重复的边际价值”,处理不了同义词与多义词:查询写“咖啡因”,文档只写“caffeine”,词项不匹配依然会漏。第三,长度归一是近似:代码、表格、参考文献多的文档,其“有效长度”与字数并不一致。第四,分数高低不等于答案正确:它只表示词面匹配的强度,语义是否切题还要靠别的信号,或人工判断。
所以,词频饱和更像一条经济学式的承认:重复出现带来的信息增量递减。它让检索排序从“谁喊得最响”转向“谁说得更集中”,但也只是众多信号中的一环。