怎樣給一個長任務設計能恢復的檢查點
"恢復"不等於"重跑一遍",而是從某個中間狀態繼續,並讓結果與不間斷執行一致。設計檢查點前先回答三件事:現在處理到哪、已經產生了什麼、重來一次是否安全。這三問決定了後面所有取捨。 先分清進度與狀態。進度是"讀到第 N 條",狀態是"輸出寫到哪、哪些副作用已經發生"。只存 offset 最容易出錯:第 N 條處理完…
- 入庫時間
- 下載量
- 0
- 人審標記
- 審核資訊未提供
"恢復"不等於"重跑一遍",而是從某個中間狀態繼續,並讓結果與不間斷執行一致。設計檢查點前先回答三件事:現在處理到哪、已經產生了什麼、重來一次是否安全。這三問決定了後面所有取捨。
先分清進度與狀態。進度是"讀到第 N 條",狀態是"輸出寫到哪、哪些副作用已經發生"。只存 offset 最容易出錯:第 N 條處理完但輸出沒落盤,恢復時被跳過,結果少一條。穩妥做法是記錄"已提交"的水位線,且只在輸出持久化之後才推進它。例如把一批記錄寫入目標表並提交,再在同一事務裡更新 checkpoint 行;若目標端支援按主鍵 upsert,也可讓寫入本身冪等,checkpoint 只做粗略標記。
冪等是核心。每個處理單元應能被重複執行而不產生重複副作用:按業務主鍵 upsert、寫檔案用"臨時檔案 + 原子 rename"、呼叫外部 API 時帶冪等鍵,或先把返回結果落到本地再繼續。若外部系統不支援冪等,checkpoint 放在呼叫前還是呼叫後要權衡——放前面可能重複呼叫,放後面可能丟呼叫。通常選"至少一次 + 消費端去重"。
檢查點自身也要原子寫。常見做法是寫臨時檔案、fsync、rename 覆蓋,或資料庫單行 upsert,或 append-only 日誌配週期性快照。切忌邊寫邊改主檔案:崩潰時半截 JSON 無法解析。檔案裡應帶 schema 版本、任務 id、輸入資料指紋、時間戳和校驗和,恢復時才有判斷依據。
粒度是成本與損失的平衡。每條都寫檢查點,I/O 放大可能讓任務慢一倍;每十萬條一次,崩潰就白算十萬條。較實用的做法是按批提交,批大小讓單批耗時落在幾十秒到幾分鐘,並與下游寫入的批大小對齊。比如每 5000 條一批:批內處理,批末一次性提交輸出和檢查點。
恢復時不要盲信檢查點。先驗證輸入是否變化(檔案被替換、上游表增刪),再驗證輸出是否完整(記錄數、校驗和),還要檢查 checkpoint 版本是否相容。不相容時要麼從零重跑,要麼寫遷移邏輯。崩潰還可能留下"孤兒":寫了一半的輸出檔案、未提交的行,恢復前需清理,或讓下游以冪等覆蓋。
多階段任務要把階段邊界當作檢查點。抽取、轉換、載入、校驗各自完成時落一個檢查點,階段內部再細分;每個階段入口先確認上游產物就緒。別讓一個巨型函式包辦全部邏輯,否則檢查點只能落在最外層,恢復粒度極粗。
測試恢復比設計更值得花時間。在隨機點 kill -9,恢復後比對最終結果與不間斷執行是否一致;也可以注入錯誤模擬失敗。重點測"寫完輸出、還沒寫檢查點"這個視窗,它最容易出錯。
也要承認侷限。檢查點收斂不了不確定性:外部介面返回可能變化,"取最近 24 小時"這類時間視窗在恢復時已經滑動,隨機數、UUID、當前時間戳都會讓重跑結果不同。併發任務共享可寫狀態時,恢復語義會變得複雜。檢查點也不是備份,它只記進度,不保護資料,磁碟損壞仍需獨立備份。此外,頻繁 fsync 和校驗和在超大任務上有真實開銷,需要實測而不是憑感覺。
最後,先把"可恢復"的定義和不變數寫清楚,再選儲存形式,再定粒度,最後用 kill 測試驗證。檢查點設計的本質,是把不確定性趕到少數幾個明確、可檢查的邊界上。