SEARCH THE LAB

你想了解什么?

技能审核信息未提供

怎样用两次测量区分首字延迟和生成速度

审核信息未提供入库时间: 2026年11月19日

首字延迟和生成速度是两件不同的事。前者是从发出请求到看见第一个内容块的时间,后者是内容块持续到达的速率。把两者混成一个「响应时间」,你既不知道用户为什么觉得卡,也不知道该优化哪一段。一个可行的办法是做两次受控测量,用差值把固定开销和每 token 成本分开。 先说测量口径。在客户端发流式请求,记录三个时刻:请求发…

入库时间
下载量
0
人审标记
审核信息未提供

首字延迟和生成速度是两件不同的事。前者是从发出请求到看见第一个内容块的时间,后者是内容块持续到达的速率。把两者混成一个「响应时间」,你既不知道用户为什么觉得卡,也不知道该优化哪一段。一个可行的办法是做两次受控测量,用差值把固定开销和每 token 成本分开。

先说测量口径。在客户端发流式请求,记录三个时刻:请求发出的 t0、第一个带正文的块到达的 t1、最后一个带正文的块到达的 t2;同时从返回结果里取实际生成的 token 数 n。不要数块数——一个块可能含多个 token,也可能只是半个 token;也不要把只带结束原因、没有正文的尾块算进去,否则速度会被拉低。

两次测量的设计是:固定提示词、固定采样参数、同一台机器同一网络,只改输出长度。比如第一次让模型写约 100 个 token,第二次写约 500 个 token。如果首字延迟是固定的,总时间对 token 数应近似一条直线:总时间 = 首字延迟 + n × 每 token 耗时。用两次结果算斜率,斜率就是每 token 耗时;把斜率代回去算截距,截距就是首字延迟。

举个算术例子,数字只为说明方法:第一次首块 0.9 秒、结束 3.9 秒、100 个 token;第二次首块 0.92 秒、结束 15.9 秒、500 个 token。总时间差 12 秒、token 差 400,斜率 0.03 秒/token,约合每秒 33 个 token;截距 3.9 − 100×0.03 = 0.9 秒。于是可以判断:这个配置下首字延迟约 0.9 秒,生成速度约 33 token/s。截距应当和实测的首块时间接近;如果明显偏大,说明开头几个 token 更慢,或者中途有停顿被平均掉了。反过来,如果第二次首块跳到 2.5 秒而结束时间仍按比例增长,那变慢的是排队或预填充,不是解码。

几个容易踩的坑。第一,首字延迟里混着 DNS、TLS、代理缓冲和服务端排队,还随提示词长度增长,所以两次的提示词必须完全一样,最好在同一地域、同一时段测。第二,只有两个点,噪声会直接变成斜率误差;实际做三到五个长度、每个重复几次、取中位数,比一对数字可靠得多。第三,解码速度不是常数:上下文越长,注意力计算越重,模型往往越写越慢,斜率达到的是这段区间的平均值,不能外推到更长输出。第四,中间可能出现停顿——安全过滤、工具调用、投机解码被拒都会让流断一下,平均值看不出来,要看块间隔的分布或尾延迟。第五,推理模型会把思维链 token 计入用量但不一定流式返回,此时 completion_tokens 远大于你看到的正文 token 数,拿它算速度会得出荒谬的高值。

还有一点常被忽略:中文读者感知的是字,不是 token。一个汉字可能对应一个多字节 token,也可能几个字才一个 token,换算成「字/秒」才贴近阅读体验。

两次测量的价值不在于给出一个精确数字,而在于把「慢」拆成可归因的两段:首字延迟高而斜率正常,该查排队、网络和预填充;首字很快但斜率很陡,该查解码效率、批处理和输出长度策略。测之前先想清楚要回答哪个问题,比测完再解释一堆数字有用。