SEARCH THE LAB

你想了解什麼?

技能審核資訊未提供

怎樣用兩次測量區分首字延遲和生成速度

審核資訊未提供入庫時間: 2026年11月19日

首字延遲和生成速度是兩件不同的事。前者是從發出請求到看見第一個內容塊的時間,後者是內容塊持續到達的速率。把兩者混成一個「響應時間」,你既不知道使用者為什麼覺得卡,也不知道該最佳化哪一段。一個可行的辦法是做兩次受控測量,用差值把固定開銷和每 token 成本分開。 先說測量口徑。在客戶端發流式請求,記錄三個時刻:請…

入庫時間
下載量
0
人審標記
審核資訊未提供

首字延遲和生成速度是兩件不同的事。前者是從發出請求到看見第一個內容塊的時間,後者是內容塊持續到達的速率。把兩者混成一個「響應時間」,你既不知道使用者為什麼覺得卡,也不知道該最佳化哪一段。一個可行的辦法是做兩次受控測量,用差值把固定開銷和每 token 成本分開。

先說測量口徑。在客戶端發流式請求,記錄三個時刻:請求發出的 t0、第一個帶正文的塊到達的 t1、最後一個帶正文的塊到達的 t2;同時從返回結果裡取實際生成的 token 數 n。不要數塊數——一個塊可能含多個 token,也可能只是半個 token;也不要把只帶結束原因、沒有正文的尾塊算進去,否則速度會被拉低。

兩次測量的設計是:固定提示詞、固定取樣引數、同一臺機器同一網路,只改輸出長度。比如第一次讓模型寫約 100 個 token,第二次寫約 500 個 token。如果首字延遲是固定的,總時間對 token 數應近似一條直線:總時間 = 首字延遲 + n × 每 token 耗時。用兩次結果算斜率,斜率就是每 token 耗時;把斜率代回去算截距,截距就是首字延遲。

舉個算術例子,數字只為說明方法:第一次首塊 0.9 秒、結束 3.9 秒、100 個 token;第二次首塊 0.92 秒、結束 15.9 秒、500 個 token。總時間差 12 秒、token 差 400,斜率 0.03 秒/token,約合每秒 33 個 token;截距 3.9 − 100×0.03 = 0.9 秒。於是可以判斷:這個配置下首字延遲約 0.9 秒,生成速度約 33 token/s。截距應當和實測的首塊時間接近;如果明顯偏大,說明開頭幾個 token 更慢,或者中途有停頓被平均掉了。反過來,如果第二次首塊跳到 2.5 秒而結束時間仍按比例增長,那變慢的是排隊或預填充,不是解碼。

幾個容易踩的坑。第一,首字延遲裡混著 DNS、TLS、代理緩衝和服務端排隊,還隨提示詞長度增長,所以兩次的提示詞必須完全一樣,最好在同一地域、同一時段測。第二,只有兩個點,噪聲會直接變成斜率誤差;實際做三到五個長度、每個重複幾次、取中位數,比一對數字可靠得多。第三,解碼速度不是常數:上下文越長,注意力計算越重,模型往往越寫越慢,斜率達到的是這段區間的平均值,不能外推到更長輸出。第四,中間可能出現停頓——安全過濾、工具呼叫、投機解碼被拒都會讓流斷一下,平均值看不出來,要看塊間隔的分佈或尾延遲。第五,推理模型會把思維鏈 token 計入用量但不一定流式返回,此時 completion_tokens 遠大於你看到的正文 token 數,拿它算速度會得出荒謬的高值。

還有一點常被忽略:中文讀者感知的是字,不是 token。一個漢字可能對應一個多位元組 token,也可能幾個字才一個 token,換算成「字/秒」才貼近閱讀體驗。

兩次測量的價值不在於給出一個精確數字,而在於把「慢」拆成可歸因的兩段:首字延遲高而斜率正常,該查排隊、網路和預填充;首字很快但斜率很陡,該查解碼效率、批處理和輸出長度策略。測之前先想清楚要回答哪個問題,比測完再解釋一堆數字有用。