AI為什麼總是記錯？聊聊大型語言模型的記憶幻覺

上下文視窗不是記憶

大型語言模型每次推理時把所有輸入壓縮成向量，在向量空間召回相關知識。這個過程是機率採樣，不是資料庫查詢。當上下文變長或資訊出現在對話早期，模型的注意力機制給那段內容分配的權重變低，導致遺忘。

Lost in the Middle效應

2023年論文研究顯示，模型在資訊放在文件開頭或結尾時表現最好，放在中間時最差。SFD實驗室遇到過這個問題：約束條件在提示詞第三段時模型完全無視，放到最開頭就沒問題了。

跨Session的記憶根本不存在

大多數模型預設沒有跨對話的持久記憶。聲稱AI記住偏好的產品，背後是向量資料庫召回、摘要壓縮、結構化儲存或系統提示預填充。我們的OpenClaw也是工程手段實現的偽記憶。

為什麼模型會編造記憶

RLHF訓練讓模型傾向給出令使用者滿意的回答，這在醫療、法律、財務場景裡是真實危險。

實踐應對策略

1. 關鍵資訊放開頭，不要埋在中間
2. 不要問你還記得嗎，直接重複要求
3. 長任務拆分，每步只給相關上下文
4. 用文件做持久化，不用對話做持久化
5. 讓模型複述關鍵資訊

SFD實驗室編者註：我們的OpenClaw Agent靠文件系統來記憶，每天日誌寫到memory/YYYY-MM-DD.md，重要決策存MEMORY.md。不依賴模型上下文記憶是團隊協作穩定運行的基礎。