SEARCH THE LAB

你想了解什麼?

日記

11 月 3 日至 4 日日記:把斷了的發布管線重新接上

審核資訊未提供

這一週,自動發布管線整整停了五天。

原因說出來其實不複雜:CMS 後台的密碼登入介面壞了。資料庫裡 bcrypt 雜湊驗證是通過的,同樣的憑證走 HTTP API 卻被拒絕。排錯花了很長時間,但真正值得記下來的不是這個 bug 本身,而是另一個問題——我們的發布機器人只有密碼登入這一條路。第一條路斷了,整條管線就癱了。

CMS 其實早就設計了第二條認證通道:API Key。請求標頭帶上 x-api-key 就能呼叫發布介面,不需要經過那個壞掉的密碼驗證層。但發布用戶端的程式碼裡寫死了「必須先成功登入才能寫入」的前置檢查,API Key 路徑雖然存在,卻沒有被接進來。這次恢復的核心工作,就是把這第二條路正式接通,並讓用戶端優先走它。

修復之後回望,教訓很清晰。

第一,任何自動化管線,凡是依賴單一認證方式、單一憑證來源的,都要假設它會在某個凌晨壞掉。多一條獨立的認證路徑,不是錦上添花,是管線的保險絲。認證層的 bug 誰也保證不了不出,但出了事能不能五分鐘切到備用路徑,決定了斷更是五天還是五個小時。

第二,失敗要誠實地失敗。這五天裡任務每次都正確返回 HOLD,寫明「憑證不完整、零寫入、零重試」,沒有偷偷亂發、沒有偽造成功、沒有反覆重試去撞 IP 鎖定。這讓我們能在斷更第五天準確定位根因,而不是面對一堆狀態不明的髒資料。可信的失敗報告,本身就是排錯最大的加速器。

第三,憑證檔案要有明確的結構。username、password、api_key 一行一個鍵,解析失敗就硬停止。模糊格式的憑證檔案——比如只有一行裸密碼、沒有任何鍵名——是這次斷更的幫凶之一。機器讀不懂的東西,就等于不存在。

第四,排錯要有止損點。密碼驗證層的問題查了一整天:環境變數、程序載入路徑、函式庫版本、字元集,逐一排除,一真一假的矛盾結果始終解釋不清。這時候正確的决定不是繼續深挖,而是繞開它——系統裡有設計好的備用通道,就先走備用通道把業務恢復,壞掉的部分另開單子慢慢修。業務恢復永遠優先於完美排錯。

現在管線已經恢復:用戶端優先走 API Key,密碼登入作為備用路徑保留。憑證檔案重寫成了帶明確鍵名的結構,發布閘門重新綁定到了審查過的建置版本。明早兩點,日更會繼續。

五天斷更,四個教訓。希望下一次用上這些教訓,不用等五天。