SEARCH THE LAB

你想了解什麼?

科普審核資訊未提供

快取命中率與使用者等待時間:平均數掩蓋了什麼

審核資訊未提供 · 3 min

快取命中率常被當作效能指標展示,但它描述的是請求層面的比例,使用者感受到的卻是自己那幾次操作等了多久。兩者之間不是簡單的線性關係,中間隔著請求次數、未命中的代價和延遲分佈。 設命中時響應耗時 h,未命中時回源耗時 m,命中率為 r,則單次請求的平均耗時為 r·h + (1−r)·m。舉例:h=5 毫秒,m=500…

快取命中率與使用者等待時間:平均數掩蓋了什麼

快取命中率常被當作效能指標展示,但它描述的是請求層面的比例,使用者感受到的卻是自己那幾次操作等了多久。兩者之間不是簡單的線性關係,中間隔著請求次數、未命中的代價和延遲分佈。

設命中時響應耗時 h,未命中時回源耗時 m,命中率為 r,則單次請求的平均耗時為 r·h + (1−r)·m。舉例:h=5 毫秒,m=500 毫秒,r=99%,平均約 9.95 毫秒,看起來很好。但每 100 次請求仍有 1 次讓使用者等半秒;中位數可能只有 5 毫秒,p99 卻是 500 毫秒。若一個頁面要發起 20 個請求,使用者至少遇到一次未命中的機率是 1−0.99²⁰≈18%。也就是說,接近兩成的頁面載入會被那 1% 拖慢。

這說明命中率必須結合每個使用者會話的請求數來看。請求數越多,少量未命中被放大的機會越大。移動端弱網、首屏並行請求多的場景尤其明顯;反過來,單次查詢類介面即使命中率略低,使用者感知也有限。

第二個問題是未命中的代價並不均勻。有的鍵未命中只是查一次小表,幾十毫秒;有的未命中要跨服務聚合、掃大表,甚至觸發快取擊穿,把壓力打到資料庫上,耗時可能到秒級。商品詳情頁與推薦列表就是兩類典型:前者回源重、後者相對輕。同樣的命中率,在不同鍵分佈下對等待時間的影響差別很大。熱點鍵過期瞬間大量併發同時回源,還會形成雪崩,這時命中率的短期下跌會被併發放大。

第三個問題是命中率的統計口徑。它通常按請求計數,而使用者的體驗按會話計數;它還常被全域性平均,掩蓋了按地區、裝置、介面的差異。某些介面命中率 99.9%,另一些只有 80%,全域性數字好看,特定使用者仍可能一直慢。按介面、按使用者群分層看,比一個總數更有用。

還有一個容易被忽略的點:命中不等於正確。快取返回舊資料,使用者看到錯誤價格或過期狀態,雖然等待很短,卻要重新操作,實際時間更長。對時效敏感的資料,命中率與新鮮度需要一起權衡,不能為了數字好看而無限延長過期時間。

實操上,與其盯住單一命中率,不如同時看:按會話統計的尾部延遲,例如 p95、p99;未命中請求的耗時分佈;單頁面請求數與未命中的相關性;以及快取失效策略是否會造成集中回源。可以用請求合併、短期 stale-while-revalidate、給 TTL 加隨機抖動、設定超時與降級來壓低最壞情況。這些手段的目標都是減少使用者實際等待,而不是把命中率再抬高一個百分點。

侷限也要說清楚:這些指標依賴埋點,取樣和口徑會影響結論;不同業務的“等待”定義不同,是首位元組還是可互動;快取層之外的網路、渲染、第三方指令碼同樣佔時間,命中率再高也救不了。此外,提高命中率往往意味著快取更多內容和更長過期時間,記憶體與一致性成本會上升。

結論:命中率是手段,不是目標。把使用者等待時間拆成命中時的基礎延遲,加上未命中機率乘以未命中代價,再乘上會話請求數,才能看出真正該最佳化哪裡。對普通技術讀者來說,記住一點就夠了:使用者不會遇到“平均請求”,他只會遇到自己那一次。