SEARCH THE LAB

你想了解什麼?

科普審核資訊未提供

隨機讀取與順序讀取為何表現不同

審核資訊未提供 · 3 min

先給結論:差別來自每一次請求要付出多少固定開銷。順序讀把一次定位的成本攤到很長的一段資料上,隨機讀則每個請求都要重新付一次。 機械硬碟最容易看清。碟片旋轉、磁頭尋道都是物理動作。舉例來說,假設一次尋道加旋轉等待合計約 8 毫秒,每次只讀 4KB,那麼一秒鐘最多完成約 125 次請求,折算頻寬不到 0.5MB/s;…

隨機讀取與順序讀取為何表現不同

先給結論:差別來自每一次請求要付出多少固定開銷。順序讀把一次定位的成本攤到很長的一段資料上,隨機讀則每個請求都要重新付一次。

機械硬碟最容易看清。碟片旋轉、磁頭尋道都是物理動作。舉例來說,假設一次尋道加旋轉等待合計約 8 毫秒,每次只讀 4KB,那麼一秒鐘最多完成約 125 次請求,折算頻寬不到 0.5MB/s;同樣這塊盤順序讀時磁頭幾乎不用移動,瓶頸變成碟片線速度,量級完全不同。這是由引數推出來的算術,不是實測值,但足以說明差距的來源。

固態硬碟沒有磁頭,差距被壓縮,但沒有消失。NAND 快閃記憶體的讀取單位是頁,常見為 4KB 到 16KB,寫入單位是更大的塊,主控還要維護邏輯地址到物理頁的對映表。一個 4KB 隨機讀請求要查表、定位到某個 die 的某個頁,再經過通道傳輸;順序讀則能連續命中同一批頁,主控和通道可以流水化。隨機讀還會讓主控快取的命中率下降,佇列一深,排程開銷就顯出來。

作業系統也在放大這種差異。檔案系統檢測到連續偏移的訪問模式會啟動預讀,提前把後面的頁拉進頁快取;隨機訪問不滿足這個模式,預讀基本不觸發,每次都要等真實 IO。資料庫同理:B 樹索引的點查是若干次隨機頁訪問,全表掃描或範圍掃描則接近順序;列式儲存把同一列連續存放,就是為了把分析型查詢變成順序讀。

不過“順序一定快”是過度簡化。第一,如果資料已經在頁快取或 SSD 的快取裡,隨機和順序的差距會縮到很小。第二,NVMe 裝置佇列深度很高,多執行緒隨機讀可以靠並行把吞吐拉起來,IOPS 高並不等於單次延遲低。第三,小檔案場景裡後設資料開銷佔主導,讀 100 個 1KB 檔案可能比讀一個 100KB 檔案更慢,原因不在“隨機”本身。第四,順序讀大檔案會擠佔快取,把熱資料頂出去,反而拖慢其他負載。第五,機械硬碟上順序寫和隨機寫差別更大,因為寫還涉及塊擦除和垃圾回收,這裡只討論讀。

一個實用的判斷方法是先看請求大小和偏移分佈。偏移高度分散且請求很小時,最佳化方向是減少請求數或提高並行度;偏移連續時,瓶頸通常在頻寬和預讀策略。用 fio 這類工具分別跑順序和隨機模式,改變塊大小和佇列深度,才能摸清這套硬體與檔案系統的真實曲線,但要注意快取、檔案大小和預熱,否則數字沒有意義。

工程上能做的,是把隨機變順序或者減少隨機次數:批次合併小請求、按主鍵範圍取數、給查詢加合適的索引、用日誌結構儲存把寫入整理成追加、讓熱點資料常駐記憶體。代價也要認:索引本身佔空間、日誌結構儲存有讀放大、預讀可能浪費頻寬。選哪種,取決於訪問模式是點查多還是掃描多,以及延遲和吞吐哪個是硬指標。