AI的「遺忘曲線」：長對話為什麼越來越笨？

你一定遇過這個情況

對話開始時，AI回答得又準又快。聊了二三十輪之後，它開始忘事了——明明前面說過的資訊，它視而不見；明明剛建立的約定，它轉頭就丟。

不少人以為這是AI「偷懶」，或者是網路不穩。實際上，這是大模型注意力機制（Attention）的結構性局限，不是Bug，而是架構層面的trade-off。

Transformer架構的核心是Self-Attention：每個token都會跟上下文裡所有其他token計算相關性權重。理論上，它能看到全部歷史——但「能看到」和「實際用上」是兩回事。

在實踐中，Attention的權重分布有個規律：越靠近當前位置的內容，權重越集中；越早期的內容，權重越被稀釋。這個現象叫做Attention Sink——注意力像水流一樣，總往「最近」和「最特殊」的位置流。

隨著對話變長，KV Cache膨脹占用大量顯存；位置編碼在超長序列上開始失效；而Stanford的Lost in the Middle研究（2023）發現，把關鍵資訊塞在超長上下文的中間段，模型的召回率比放在頭部或尾部低20-30%。

在SFD實驗室，我們測試過：把一段重要的API說明放在第5輪，然後繼續聊到第40輪再問——正確率從92%掉到61%。這個gap，就是「遺忘曲線」在實際工作中的代價。

8k tokens以內：什麼都不用做，模型表現穩定。8k到32k：用System Prompt做記憶錨點，把關鍵約定放進系統訊息。32k以上：主動摘要壓縮，OpenClaw的Memory系統就是在做這件事。128k以上：重新設計任務，拆成多個獨立的短對話，用外部資料庫存狀態。

我們在跑14個Agent協作的時候，「注意力衰減」是實際遇到過的問題。最後的解決方案不是換更貴的模型，而是重新設計任務劃分——每個Agent只維持必要的上下文，跨任務的狀態統一走MemOS管理。效果比期望某個模型「記住一切」靠譜得多。