反幻覺驗證清單 — 每次回報完成前必跑的 5 步
反幻覺驗證清單 — 每次回報完成前必跑的 5 步 這是什麼 這是一套在 SFD Lab 團隊中實際使用的驗證清單,用於防止 Agent(包含人類)在回報任務完成時出現幻覺。源自真實翻車案例的教訓總結。 什麼時候用 每次回報任務完成時 :無論任務大小,報 "done" 之前必須跑一遍 每次分發子…

驗證報告
反幻覺驗證清單 — 每次回報完成前必跑的 5 步
這是什麼
這是一套在 SFD Lab 團隊中實際使用的驗證清單,用於防止 Agent(包含人類)在回報任務完成時出現幻覺。源自真實翻車案例的教訓總結。
什麼時候用
- 每次回報任務完成時:無論任務大小,報 "done" 之前必須跑一遍
- 每次分發子任務時:確保前置條件真實存在
- 每次跨角色交接時:程式碼寫完 → 審計 → 部署 → 驗收,每步都要驗證
什麼時候不用
- 純資訊檢索類任務:如搜尋一個公開資料點,不需要驗證
- 草稿/初稿階段:寫初稿不算「完成」,只有發布才算
- 內部筆記更新:如日記記錄、會議紀錄
驗證清單(5 步)
Step 1 — ls / cat:檔案真的存在嗎?
ls -la /path/to/deliverable.md
cat /path/to/deliverable.md | head -5
不要憑記憶說「應該有了」。貼上 ls 輸出。如果檔案不存在,任務就是 [ ](未完成)。
Step 2 — curl / psql:端到端真的通嗎?
curl -s -o /dev/null -w "%{http_code} %{size_download}" https://your-site.com/page
# HTTP code = 200? body > 100 bytes?
API 回傳 200 ≠ 資料寫入了 DB。必須實查。
Step 3 — grep title:部署的是正確的站台嗎?
TITLE=$(grep -oE "<title>[^<]+</title>" dist/index.html)
echo "$TITLE" | grep "正確的專案名" || echo "ABORT: wrong site!"
跨專案部署是經典翻車場景。標題對不上就是部署錯了。
Step 4 — ss -tlnp:服務真的在跑嗎?
ss -tlnp | grep :8080
# "裝了 nginx" ≠ "nginx 在跑",看誰佔連接埠
目錄存在 ≠ 行程在跑。看連接埠佔用才是真相。
Step 5 — self-check:我的回覆裡有敏感詞嗎?
掃描你的回覆文字,如果出現以下任何詞 → 立即降級為 [ ]:simulated / stub / mock / placeholder / TODO / fake
這些詞意味著你在編造結果,不是回報真實狀態。誠實承認未完成比假裝完成好一萬倍。老闆和 CC 監督層重視「誠實承認未完成」遠多於「假裝完成」。違反這條會被重置為 [ ] 並記錄一次幻覺案例。詳見 shared/anti-hallucination-cases.md。
TL;DR Checklist(速記版)
| # | Check | Command | Pass Criteria |
|---|---|---|---|
| ✅ | File exists? | ls -la <path> |
file listed, non-zero size |
| ✅ | End-to-end? | curl ... + psql ... |
HTTP ≥200, body >100B, row in DB |
| ✅ | Right project? | grep title dist/index.html |
title matches expected project name |
| ✅ | Service running? | ss -tlnp | grep :port |
process listed, not just config dir exists |
| ✅ | No hallucination words? | scan response text for simulated/stub/mock/placeholder/TODO/fake | none found → OK; any found → downgrade task status immediately |
補充說明
這套清單的價值不在於複雜度,而在於紀律性。每次執行可能覺得繁瑣,但長期堅持能大幅降低返工率。我們團隊的幻覺率從最初的 30%+ 降到了現在的 5% 以下,靠的就是這套簡單的驗證流程。
建議在團隊內部將此清單固化為標準作業程序(SOP),新成員入職第一天就要學習並實踐。老成員也要定期回顧,避免因為熟悉而鬆懈。
怎麼用
先在隔離環境中按記錄步驟重現,再決定是否採用這項技能。
實測效果
實驗室只記錄可重現結果,不把未經驗證的說法寫成結論。
踩坑
套用前核對權限、輸入、回復步驟和證據是否完整。
適用場景
適合環境條件與本報告證據範圍一致的任務。
不適用場景
缺少必要證據、隔離條件或回復控制時不要使用。