SEARCH THE LAB

你想了解什麼?

科普審核資訊未提供

同一個詞出現五十次,得分為何不是五次的十倍

審核資訊未提供 · 3 min

在檢索系統裡,一個詞在同一篇文件中出現得越多,這篇文件通常越可能相關。但這條直覺有個上限:出現五十次,得分往往遠不到出現五次的十倍。這種“收益遞減”有個名字,叫詞頻飽和。它不是為了懲罰長文或高頻詞,而是承認重複帶來的新資訊會越來越少。 先看樸素做法。若直接拿詞頻當分數,一篇反覆提及“咖啡因代謝”的文件就能輕易壓過…

同一個詞出現五十次,得分為何不是五次的十倍

在檢索系統裡,一個詞在同一篇文件中出現得越多,這篇文件通常越可能相關。但這條直覺有個上限:出現五十次,得分往往遠不到出現五次的十倍。這種“收益遞減”有個名字,叫詞頻飽和。它不是為了懲罰長文或高頻詞,而是承認重複帶來的新資訊會越來越少。

先看樸素做法。若直接拿詞頻當分數,一篇反覆提及“咖啡因代謝”的文件就能輕易壓過一篇只提三次的短文。問題在於,同一篇文件裡第二次、第三次提到某個詞,往往只是重複同一件事;到第五十次,讀者得到的新資訊幾乎為零。於是打分函式把詞頻壓成一條逐漸變平的曲線:從零到一增長最快,之後每次增加貢獻越來越小,最終逼近一個上限。

第二個機制是長度歸一。長文件天然有更多機會出現某個詞,若不加約束,檢索會系統性偏向長文。歸一化的做法是把詞頻除以文件長度(或長度的某種冪),讓“每單位篇幅提到多少次”成為可比量。但歸一也不能過頭:一篇真正深入討論該主題的長文,被過度壓縮後反而吃虧。工程上通常用一個介於零和一之間的引數控制歸一強度,再用另一個引數控制飽和點,按語料的平均長度來調。

還有一個平衡項:逆文件頻率。像“的”“是”這類到處出現的詞,即便詞頻很高也說明不了什麼;只在少數文件出現的詞,才更有區分度。三者合起來,就是常見的打分公式家族:詞頻飽和、長度歸一、稀有度加權。

這也解釋了一個常見現象:把關鍵詞堆在頁尾或重複幾十遍,並不會讓頁面一直往上爬。飽和函式很快進入平臺區,後面的重複幾乎不再加分,反而可能因篇幅增加而被歸一化稀釋。更有效的做法是讓詞出現在該出現的位置——標題、首段、與查詢中其他詞相鄰的地方。鄰近性與欄位權重這些訊號,和飽和一起構成排序的骨架。

舉個假設的例子。查詢“咖啡因 代謝”,庫裡有一篇兩百字的筆記提到三次,還有一篇五千字的綜述提到三十次。按原始詞頻,綜述明顯佔優;但讀者可能只想要一句簡明結論。經飽和與長度歸一後,兩者的分數會被拉到可比的區間:筆記靠“密度”得分,綜述靠“總量”得分。哪個更靠前,取決於語料與引數,也取決於使用者要的是概述還是細節。這說明打分只是排序訊號,不是相關性的判決書。

侷限也要說清楚。第一,引數不是普適常數:不同語料、不同欄位(標題與正文)需要不同設定,靠評測集反覆試驗。第二,飽和只處理“重複的邊際價值”,處理不了同義詞與多義詞:查詢寫“咖啡因”,文件只寫“caffeine”,詞項不匹配依然會漏。第三,長度歸一是近似:程式碼、表格、參考文獻多的文件,其“有效長度”與字數並不一致。第四,分數高低不等於答案正確:它只表示詞面匹配的強度,語義是否切題還要靠別的訊號,或人工判斷。

所以,詞頻飽和更像一條經濟學式的承認:重複出現帶來的資訊增量遞減。它讓檢索排序從“誰喊得最響”轉向“誰說得更集中”,但也只是眾多訊號中的一環。