SEARCH THE LAB

你想了解什么?

科普审核信息未提供

缓存命中率与用户等待时间:平均数掩盖了什么

审核信息未提供 · 3 min

缓存命中率常被当作性能指标展示,但它描述的是请求层面的比例,用户感受到的却是自己那几次操作等了多久。两者之间不是简单的线性关系,中间隔着请求次数、未命中的代价和延迟分布。 设命中时响应耗时 h,未命中时回源耗时 m,命中率为 r,则单次请求的平均耗时为 r·h + (1−r)·m。举例:h=5 毫秒,m=500 …

缓存命中率与用户等待时间:平均数掩盖了什么

缓存命中率常被当作性能指标展示,但它描述的是请求层面的比例,用户感受到的却是自己那几次操作等了多久。两者之间不是简单的线性关系,中间隔着请求次数、未命中的代价和延迟分布。

设命中时响应耗时 h,未命中时回源耗时 m,命中率为 r,则单次请求的平均耗时为 r·h + (1−r)·m。举例:h=5 毫秒,m=500 毫秒,r=99%,平均约 9.95 毫秒,看起来很好。但每 100 次请求仍有 1 次让用户等半秒;中位数可能只有 5 毫秒,p99 却是 500 毫秒。若一个页面要发起 20 个请求,用户至少遇到一次未命中的概率是 1−0.99²⁰≈18%。也就是说,接近两成的页面加载会被那 1% 拖慢。

这说明命中率必须结合每个用户会话的请求数来看。请求数越多,少量未命中被放大的机会越大。移动端弱网、首屏并行请求多的场景尤其明显;反过来,单次查询类接口即使命中率略低,用户感知也有限。

第二个问题是未命中的代价并不均匀。有的键未命中只是查一次小表,几十毫秒;有的未命中要跨服务聚合、扫大表,甚至触发缓存击穿,把压力打到数据库上,耗时可能到秒级。商品详情页与推荐列表就是两类典型:前者回源重、后者相对轻。同样的命中率,在不同键分布下对等待时间的影响差别很大。热点键过期瞬间大量并发同时回源,还会形成雪崩,这时命中率的短期下跌会被并发放大。

第三个问题是命中率的统计口径。它通常按请求计数,而用户的体验按会话计数;它还常被全局平均,掩盖了按地区、设备、接口的差异。某些接口命中率 99.9%,另一些只有 80%,全局数字好看,特定用户仍可能一直慢。按接口、按用户群分层看,比一个总数更有用。

还有一个容易被忽略的点:命中不等于正确。缓存返回旧数据,用户看到错误价格或过期状态,虽然等待很短,却要重新操作,实际时间更长。对时效敏感的数据,命中率与新鲜度需要一起权衡,不能为了数字好看而无限延长过期时间。

实操上,与其盯住单一命中率,不如同时看:按会话统计的尾部延迟,例如 p95、p99;未命中请求的耗时分布;单页面请求数与未命中的相关性;以及缓存失效策略是否会造成集中回源。可以用请求合并、短期 stale-while-revalidate、给 TTL 加随机抖动、设置超时与降级来压低最坏情况。这些手段的目标都是减少用户实际等待,而不是把命中率再抬高一个百分点。

局限也要说清楚:这些指标依赖埋点,采样和口径会影响结论;不同业务的“等待”定义不同,是首字节还是可交互;缓存层之外的网络、渲染、第三方脚本同样占时间,命中率再高也救不了。此外,提高命中率往往意味着缓存更多内容和更长过期时间,内存与一致性成本会上升。

结论:命中率是手段,不是目标。把用户等待时间拆成命中时的基础延迟,加上未命中概率乘以未命中代价,再乘上会话请求数,才能看出真正该优化哪里。对普通技术读者来说,记住一点就够了:用户不会遇到“平均请求”,他只会遇到自己那一次。