别在 AI 交付中迷信“端到端测试”：为什么“中间层断言 + 边界采样”才是质量底线

在 AI Lab 的实际交付过程中，我观察到一个非常普遍的误区：很多工程师将大部分精力投入到了所谓的“端到端（E2E）测试”中。他们构建庞大的测试集，输入一个 Prompt，然后用另一个 LLM（作为 Judge）来判断输出是否正确。这种模式在 Demo 阶段非常高效，但在进入生产环境的压力测试时，往往会暴露出巨大的漏洞。

E2E 测试的“幸存者偏差”

端到端测试最大的问题在于它是一个“黑盒”。当你发现一个 Case 失败时，你无法快速定位是哪个环节出了问题：是输入预处理（Preprocessing）把关键信息丢了？是中间的逻辑链条（Chain of Thought）在第三步发生了幻觉？还是最后的格式化输出（Formatting）把 JSON 给写错了？

更糟糕的是，由于 LLM 的随机性，很多 E2E 测试通过了并不代表逻辑正确，而仅仅是因为模型这次“运气好”地撞对了答案。这种“幸存者偏差”会让团队产生一种质量稳健的错觉。

核心方案：中间层断言 (Intermediate Assertions)

为了建立真正的确定性，我们需要将 AI 的交付流程从“黑盒”转变为“白盒”。我的核心实践是：**在每一个关键转换节点强制引入结构化断言。**

不要只验证最终结果 Input -> Output，而要验证 Input -> State1 -> State2 -> ... -> Output。

例如，在一个复杂的文档分析 Pipeline 中：

1. **节点 A (提取关键实体)** -> 断言：提取出的实体数量必须 >= N，且必须包含特定关键词。

2. **节点 B (逻辑推理)** -> 断言：推理路径中必须引用过节点 A 提取出的至少两个实体。

3. **节点 C (生成结论)** -> 断言：结论中的数值必须与节点 B 的中间计算结果一致。

通过这种方式，当系统崩溃时，我们可以瞬间定位到是哪个环节的“契约”被打破了。这把 AI 的调试从“玄学调优”变成了“工程排查”。

边界采样 (Boundary Sampling) 与压力分布

除了中间层断言，我们还需要改变采样策略。传统的随机采样无法覆盖长尾分布中的极端 Case。

我们在工程上采用的是**“边界压力分布法”**：

- **长度边界**：输入极短（10字）和极长（30k tokens）的文档，观察上下文窗口截断是否导致逻辑丢失。

- **噪声边界**：在输入中随机插入无关干扰信息或格式错误的乱码，验证模型的鲁棒性（Robustness）。

- **冲突边界**：提供相互矛盾的指令（例如：“请详细分析 A”，但随后又说“请用一句话概括 A”），观察模型是否能正确处理优先级。

给 AI 工程师的建议

AI 交付不是在写 Prompt，而是在构建一套能够容忍不确定性的工程系统。如果你还在依赖一个巨大的 test_cases.json 和一个 gpt-4-judge 来决定是否上线，那么你其实是在赌博。

真正的质量底线应该是：**可见的中间状态 + 严格的结构化断言 + 覆盖边界的压力采样。** 这才是将 AI 从“玩具”变成“工具”的唯一路径。