别让“AI 交付”变成“AI 幻觉”：从 10 个真实项目看 AI Lab 的工程化陷阱

在很多 AI Lab 或初创团队中，最常见的一个场景是：研究员在 Notebook 里跑通了一个 Demo，指标惊人，然后信心满满地交给工程团队：“逻辑很简单，就是调个 API + 一个 Prompt，赶紧上线。”

结果上线一周后，产品经理开始抱怨：
- “为什么同一个问题，用户 A 得到了完美答案，用户 B 得到了胡言乱语？”
- “为什么响应时间从 2 秒变成了 15 秒？”
- “为什么之前能处理的格式，现在突然报错了？”

这就是典型的 “Demo 陷阱”。将 AI 从实验室（Lab）推向生产环境（Production），其核心矛盾不在于模型能力，而在于确定性（Determinism）的缺失。

1. 概率性输出 vs. 工程化确定性

传统的软件工程是基于逻辑门和状态机的：if (A) then (B)。但 LLM 是基于概率的：if (A) then (probably B, maybe C, or sometimes a hallucination)。

在实际交付中，我们发现最致命的错误往往发生在“边缘情况”上。例如，一个处理财务报表的 AI Agent，在处理 99% 的标准 PDF 时表现完美，但一旦遇到一个带有复杂嵌套表格的扫描件，它可能会自信地地编造一组数字。

工程化对策：
- 结构化输出强制化：绝对不要依赖 LLM “尽量输出 JSON”。必须使用 JSON Mode 或 Function Calling（工具调用），并在代码层面对 Schema 进行严格校验（如使用 Pydantic）。如果校验失败，立即触发重试或回退到预设的安全答案。
- Few-Shot 的版本管理：Prompt 中的 Example 不要随手写。建立一个 examples.json 的版本库，每次修改 Example 后，必须运行回归测试集（Eval Set），确保修复 A Bug 的同时没有引入 B Bug。

2. “Prompt 工程”的规模化失效

很多团队习惯于通过不断微调 Prompt 来解决问题：“加上‘请深呼吸’或‘一步步思考’就解决了。”这种方法在单次对话中有效，但在规模化交付时是灾难。

随着业务复杂度增加，Prompt 会变得臃肿不堪（所谓的 Prompt Bloat）。当一个 Prompt 达到 3k tokens 时，模型对中间指令的注意力会下降（Lost in the Middle），导致某些关键约束被忽略。

工程化对策：
- 任务原子化（Chain of Thought $\rightarrow$ Chain of Agents）：将一个复杂的长 Prompt 拆分为三个短 Prompt。第一个负责提取实体 $\rightarrow$ 第二个负责逻辑推理 $\rightarrow$ 第三个负责格式润色。虽然增加了 API 调用次数，但极大地提升了每一步的可观测性和可调试性。
- 动态上下文注入：不要把所有背景知识都塞进 System Prompt。采用 RAG（检索增强生成）或动态模板，只在需要时注入最相关的上下文片段。

3. 被忽视的性能与成本之墙

在 Lab 环境下，我们习惯于等待模型生成完整个答案。但在生产环境中，用户对首字响应时间（TTFT）极其敏感。

我们曾经历过一个案例：为了追求极致的准确率，使用了最强的模型并开启了复杂的 CoT 推理。结果导致端到端延迟高达 20 秒。用户在第 5 秒时就关闭了页面。

工程化对策：
- 流式传输（Streaming）优先：无论后端多慢，前端必须立即开始流式渲染文字。这在心理学上能显著降低用户的感知等待时间。
- 模型分级路由（Model Routing）：并非所有请求都需要 GPT-4o 或 Claude 3.5 Sonnet。建立路由机制：简单查询 $\rightarrow$ 轻量级模型 (GPT-4o-mini/Haiku)；复杂推理 $\rightarrow$ 重量级模型。这能降低 60% 以上的成本并提升整体吞吐量。

4. 构建你的“AI 回归测试集” (Eval Set)

AI 项目最怕的是“感觉变好了”，而不是“数据证明变好了”。如果没有 Eval Set，你永远不知道这次 Prompt 修改是优化还是退化。

一个合格的 AI 工程交付流程应该是：
1. 收集 Bad Cases $\rightarrow$ 将其转化为测试用例（输入 + 预期输出）。
2. 构建黄金数据集 (Golden Dataset) $\rightarrow$ 定义什么是“正确”的答案（可以是精确匹配、关键词包含或由更高阶模型打分）。
3. 自动化评测流水线 $\rightarrow$ 每一次代码提交或 Prompt 修改 $\rightarrow$ 全量跑一遍 Eval Set $\rightarrow$ 输出 Pass Rate 和 Latency Report।

总结：从炼金术到化学工程

AI 开发在早期像炼金术——尝试不同的咒语（Prompt），期待奇迹发生。但要实现商业级交付，必须将其转化为化学工程——定义输入、控制变量、量化产出、建立标准流程。

记住：最好的 AI 产品，应该是让用户感觉不到 AI 在通过概率猜测答案，而是在执行一套极其可靠的逻辑流程。