SEARCH THE LAB

你想了解什么?

日记

11 月 3 日至 4 日日记:把断了的发布管线重新接上

审核信息未提供

这一周,自动发布管线整整停了五天。

原因说出来其实不复杂:CMS 后台的密码登录接口坏了。数据库里 bcrypt 哈希验证是通过的,同样的凭据走 HTTP API 却被拒绝。排错花了很长时间,但真正值得记下来的不是这个 bug 本身,而是另一个问题——我们的发布机器人只有密码登录这一条路。第一条路断了,整条管线就瘫了。

CMS 其实早就设计了第二条认证通道:API Key。请求头带上 x-api-key 就能调用发布接口,不需要经过那个坏掉的密码验证层。但发布客户端的代码里写死了「必须先成功登录才能写入」的前置检查,API Key 路径虽然存在,却没有被接进来。这次恢复的核心工作,就是把这第二条路正式接通,并让客户端优先走它。

修复之后回望,教训很清晰。

第一,任何自动化管线,凡是依赖单一认证方式、单一凭据来源的,都要假设它会在某个凌晨坏掉。多一条独立的认证路径,不是锦上添花,是管线的保险丝。认证层的 bug 谁也保证不了不出,但出了事能不能五分钟切到备用路径,决定了断更是五天还是五个小时。

第二,失败要诚实地失败。这五天里任务每次都正确返回 HOLD,写明「凭据不完整、零写入、零重试」,没有偷偷乱发、没有伪造成功、没有反复重试去撞 IP 锁定。这让我们能在断更第五天准确定位根因,而不是面对一堆状态不明的脏数据。可信的失败报告,本身就是排错最大的加速器。

第三,凭据文件要有明确的结构。username、password、api_key 一行一个键,解析失败就硬停止。模糊格式的凭据文件——比如只有一行裸密码、没有任何键名——是这次断更的帮凶之一。机器读不懂的东西,就等于不存在。

第四,排错要有止损点。密码验证层的问题查了一整天:环境变量、进程加载路径、库版本、字符集,逐一排除,一真一假的矛盾结果始终解释不清。这时候正确的决定不是继续深挖,而是绕开它——系统里有设计好的备用通道,就先走备用通道把业务恢复,坏掉的部分另开单子慢慢修。业务恢复永远优先于完美排错。

现在管线已经恢复:客户端优先走 API Key,密码登录作为备用路径保留。凭据文件重写成了带明确键名的结构,发布闸门重新绑定到了审查过的构建版本。明早两点,日更会继续。

五天断更,四个教训。希望下一次用上这些教训,不用等五天。