1. 內(nèi)容整體設(shè)計(jì)與思路拆解做AI應(yīng)用這一年多我最深的感觸是大模型本身幾乎沒(méi)有“記憶”可言。你和一個(gè)對(duì)話機(jī)器人聊得再投機(jī)只要會(huì)話一斷、上下文一清它下次見(jiàn)你又是陌生人。很多團(tuán)隊(duì)把精力全花在模型選型和提示詞調(diào)優(yōu)上卻忽略了最基礎(chǔ)的工程問(wèn)題——把短期記憶、長(zhǎng)期記憶和向量存儲(chǔ)組合成一套可用的記憶體系。這篇文章就圍繞這三層展開(kāi)講講我實(shí)際搭建時(shí)踩過(guò)的坑、梳理過(guò)的設(shè)計(jì)思路以及可以直接拿去用的代碼框架。適合正在做對(duì)話產(chǎn)品、AI助手或Agent應(yīng)用的開(kāi)發(fā)者參考哪怕你剛剛?cè)腴T跟著動(dòng)手也能跑起來(lái)。1.1 為什么AI應(yīng)用需要一套自己的“記憶系統(tǒng)”先講一個(gè)我真實(shí)遇到過(guò)的場(chǎng)景。有位同事搭了一個(gè)會(huì)議助手用戶第一天跟它說(shuō)“我周五下午都不方便開(kāi)會(huì)”第三天來(lái)問(wèn)“幫我安排周五的復(fù)盤會(huì)”。AI很禮貌地給出了下午三點(diǎn)的方案用戶當(dāng)場(chǎng)就翻臉了。問(wèn)題出在哪兒不是模型能力不行而是會(huì)話之間的信息完全沒(méi)打通。大語(yǔ)言模型的本質(zhì)是無(wú)狀態(tài)的每次請(qǐng)求都只基于當(dāng)前輸入做推理過(guò)去發(fā)生過(guò)什么它并不知道。你可能會(huì)說(shuō)那把歷史記錄全部拼進(jìn)上下文不就得了。我試過(guò)效果更糟。第一是Token預(yù)算撐不住聊個(gè)幾十輪之后上下文就爆炸了第二是信息過(guò)載幾千條歷史消息堆在一起模型根本分不清哪些重要、哪些過(guò)期反而把關(guān)鍵信息淹沒(méi)。更麻煩的是成本每輪都把長(zhǎng)篇?dú)v史重新發(fā)送一遍費(fèi)用增長(zhǎng)非?？臁Ｋ訟I應(yīng)用需要的是分層記憶。短期記憶負(fù)責(zé)把當(dāng)前會(huì)話的關(guān)鍵消息留在“工作臺(tái)”上保證對(duì)話連貫長(zhǎng)期記憶負(fù)責(zé)把用戶偏好、關(guān)鍵事實(shí)、歷史結(jié)論沉淀到持久化存儲(chǔ)里跨會(huì)話復(fù)用向量存儲(chǔ)則給長(zhǎng)期記憶建立語(yǔ)義索引讓系統(tǒng)能在海量信息中快速找回相關(guān)內(nèi)容。三層各司其職才能讓AI看起來(lái)“記得住、想得起”。我在最初設(shè)計(jì)時(shí)犯過(guò)一個(gè)錯(cuò)誤把所有聊天記錄直接堆進(jìn)一個(gè)數(shù)據(jù)庫(kù)想查的時(shí)候全表掃描。結(jié)果數(shù)據(jù)一多性能崩了相關(guān)性也一塌糊涂。后來(lái)才明白記憶系統(tǒng)不是“存儲(chǔ)系統(tǒng)”而是“檢索系統(tǒng)”。重點(diǎn)不在于你存了多少而在于該用的時(shí)候能不能精準(zhǔn)地拿出來(lái)。這決定了整套架構(gòu)的走向。1.2 三個(gè)核心概念到底指什么先說(shuō)短期記憶。它對(duì)應(yīng)的是“當(dāng)前對(duì)話工作臺(tái)”在實(shí)現(xiàn)上通常就是一組按時(shí)間排列的消息列表。它的特點(diǎn)是讀寫快、跟當(dāng)前語(yǔ)境貼合但容量有限。聊天過(guò)程中臨時(shí)出現(xiàn)的數(shù)字、名字、上下文都會(huì)先落到這里。它也是模型真正“看得見(jiàn)”的記憶每輪請(qǐng)求都會(huì)占用上下文窗口的一大部分。長(zhǎng)期記憶就不太一樣。它保存的是跨會(huì)話的、經(jīng)過(guò)提煉的信息。比如“用戶習(xí)慣喝美式咖啡”“用戶所在的項(xiàng)目組每周二開(kāi)晨會(huì)”“用戶希望報(bào)告盡量用表格”。這些信息不會(huì)因?yàn)橐淮螘?huì)話結(jié)束就失效它們以結(jié)構(gòu)化文本、鍵值對(duì)或摘要的形式存在獨(dú)立存儲(chǔ)中。長(zhǎng)期記憶是AI“真正記住你”的那部分短期記憶在會(huì)話結(jié)束那一刻就基本清空了。向量存儲(chǔ)則是一種索引機(jī)制。長(zhǎng)期記憶里的文本五花八門如果只靠關(guān)鍵詞匹配遇到“用戶不愛(ài)喝甜的”和“今天幫我選杯喝的”這種語(yǔ)義相關(guān)但字面完全不同的場(chǎng)景根本匹配不上。向量存儲(chǔ)先把文本映射成高維向量檢索時(shí)用用戶當(dāng)前問(wèn)題也映射成向量通過(guò)余弦相似度找到語(yǔ)義最近的幾條記憶。你可以把長(zhǎng)期記憶想象成一座圖書館向量存儲(chǔ)就是那張索引卡。這三層不是替代關(guān)系而是合作關(guān)系。我見(jiàn)過(guò)有人只用短期記憶結(jié)果跨會(huì)話能力為零也有人把所有東西一股腦塞進(jìn)向量庫(kù)卻從不維護(hù)記憶的時(shí)效性導(dǎo)致上一周的過(guò)期信息不斷干擾當(dāng)前決策。只有把三層明確區(qū)分并串聯(lián)起來(lái)記憶系統(tǒng)才稱得上完整。1.3 為什么是“向量存儲(chǔ)檢索”而不是暴力全量輸入如果直接讓模型“全量記住”所有歷史問(wèn)題顯而易見(jiàn)。第一是上下文窗口有限不可能無(wú)限塞入第二是模型注意力會(huì)分散塞進(jìn)去的信息越多它對(duì)每條信息的敏感度就越低。也就是說(shuō)你可以把所有歷史全給模型但它反而“不知道”該看哪條。這就像讓一個(gè)人一口氣讀一百份資料再去回答一個(gè)問(wèn)題真正有用的那份大概率被忽略。向量檢索的價(jià)值在于“篩選”。系統(tǒng)先把用戶的當(dāng)前問(wèn)題向量化再到記憶庫(kù)里找到語(yǔ)義最接近的三到五條記憶然后只把這些高相關(guān)的記憶放進(jìn)上下文。模型的注意力被限定在少量高價(jià)值信息上回答質(zhì)量自然比全量堆砌高得多。這種“先檢索再生成”的方式本質(zhì)上是把“記什么”的決策權(quán)從模型手里拿回來(lái)交給工程系統(tǒng)來(lái)控制。我也強(qiáng)調(diào)一點(diǎn)向量檢索不是銀彈。它對(duì)抽象語(yǔ)義的匹配很好但對(duì)精確數(shù)字、專有名詞、代碼標(biāo)識(shí)符這類內(nèi)容的匹配不一定比得上關(guān)鍵詞。成熟的做法是向量檢索和關(guān)鍵詞檢索各跑一路再做合并排序。我后續(xù)會(huì)詳細(xì)展開(kāi)這個(gè)混合召回方案這里先記住一個(gè)大原則能用語(yǔ)義解決的上向量能用精確字段解決的上結(jié)構(gòu)化存儲(chǔ)兩條腿走路才穩(wěn)。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)理解了三層結(jié)構(gòu)還不夠具體實(shí)現(xiàn)時(shí)每個(gè)模塊都有大量細(xì)節(jié)。這一章我逐個(gè)拆解重點(diǎn)講“為什么要這么設(shè)計(jì)”而不只是“怎么設(shè)計(jì)”。2.1 短期記憶的窗口管理滑動(dòng)窗口與摘要?dú)w檔短期記憶最樸素的形式是一個(gè)消息列表但列表怎么維護(hù)有很多講究。我見(jiàn)過(guò)最簡(jiǎn)單的實(shí)現(xiàn)所有消息都留著直到超出限制再丟棄。這個(gè)方案在對(duì)話輪數(shù)少時(shí)還能湊合一旦聊到幾十輪就面臨兩種結(jié)局——要么舊消息被集中截?cái)嗲『脕G掉用戶早期的關(guān)鍵需求要么列表無(wú)限膨脹Token成本失控。我的建議是采用“滑動(dòng)窗口摘要?dú)w檔”的組合策略?；瑒?dòng)窗口保證最近N輪原始消息完整保留因?yàn)檫@些是當(dāng)前語(yǔ)境最需要的內(nèi)容更早的消息觸發(fā)摘要機(jī)制壓縮成幾句話留在窗口里既保留了核心信息又控制了體積。實(shí)現(xiàn)時(shí)有兩個(gè)參數(shù)需要調(diào)窗口保留的消息條數(shù)和摘要觸發(fā)時(shí)機(jī)。具體參數(shù)怎么定取決于模型的上下文長(zhǎng)度。以常見(jiàn)的8000 Token窗口為例系統(tǒng)提示大概占1000到1500 Token記憶檢索注入我會(huì)留1500到2000 Token短期消息區(qū)放在3000到4000 Token之間還要留出給模型生成回答的空間。如果你把上下文填到頂格模型生成的突發(fā)性會(huì)讓請(qǐng)求直接超限這個(gè)坑我踩過(guò)不止一次。還有一個(gè)經(jīng)常被忽略的點(diǎn)短期記憶里每條消息都應(yīng)該帶時(shí)間戳和角色標(biāo)記。時(shí)間戳看起來(lái)多余但后面跟長(zhǎng)期記憶做時(shí)效比較時(shí)不可或缺。角色標(biāo)記則能幫模型區(qū)分哪句是用戶說(shuō)的、哪句是助手自己生成的避免把助手的猜測(cè)當(dāng)成用戶的事實(shí)。2.2 長(zhǎng)期記憶的沉淀不能只存原始聊天記錄用戶說(shuō)“我喜歡用表格看數(shù)據(jù)”這是一條有效記憶但如果你把整個(gè)聊天記錄都扔進(jìn)長(zhǎng)期存儲(chǔ)等于沒(méi)提煉。長(zhǎng)期記憶的核心在于“抽取和沉淀”。我在項(xiàng)目里習(xí)慣把長(zhǎng)期記憶分成三類管理。第一類是事實(shí)記憶比如“用戶的職位是產(chǎn)品經(jīng)理”“用戶公司在某市”。這種信息相對(duì)穩(wěn)定適合用鍵值對(duì)存儲(chǔ)更新邏輯是“新值覆蓋舊值”。第二類是行為偏好比如“回復(fù)要簡(jiǎn)潔”“報(bào)告用表格”“不喜歡介紹背景”。這類信息需要累積確認(rèn)只有用戶重復(fù)表達(dá)過(guò)或明確強(qiáng)調(diào)“以后都這樣”才升級(jí)為長(zhǎng)期偏好否則容易把一次性的臨時(shí)要求固化成永久規(guī)則。第三類是事件摘要比如某次討論的結(jié)論、某個(gè)方案的取舍原因。這類是純文本需要定期追加并關(guān)聯(lián)到用戶或項(xiàng)目維度。為什么要把記憶分成這三類因?yàn)樗鼈兊母乱?guī)則和穩(wěn)定性完全不同。如果不分類所有記憶混合存儲(chǔ)當(dāng)你需要覆蓋一條舊事實(shí)時(shí)就可能誤傷仍然有效的偏好當(dāng)你需要判斷一條信息是否過(guò)期時(shí)也沒(méi)有明確依據(jù)。分類帶來(lái)的額外好處是召回時(shí)可以按類型做篩選比如“當(dāng)前是報(bào)告場(chǎng)景優(yōu)先取行為偏好里的報(bào)告偏好而不是用戶職業(yè)這種與問(wèn)題無(wú)關(guān)的事實(shí)”。關(guān)于長(zhǎng)期記憶的存儲(chǔ)媒介我不建議一上來(lái)就上重型數(shù)據(jù)庫(kù)。對(duì)于大多數(shù)中小項(xiàng)目一個(gè)輕量級(jí)文檔型存儲(chǔ)甚至內(nèi)存字典都?jí)蚺芎芫?。關(guān)鍵是先把“抽取→更新→檢索”的循環(huán)打開(kāi)等數(shù)據(jù)量真到那個(gè)規(guī)模再遷移也不遲。2.3 向量存儲(chǔ)的落地細(xì)節(jié)切塊、Embedding與元數(shù)據(jù)向量存儲(chǔ)最容易被低估的是“入庫(kù)前處理”。很多人以為把文本丟給Embedding接口就能得到好向量其實(shí)不然。文本質(zhì)量、切塊方式和元數(shù)據(jù)設(shè)計(jì)對(duì)檢索效果的影響不亞于Embedding模型本身。先說(shuō)切塊。事實(shí)類記憶通常一條獨(dú)立成塊因?yàn)樵有跃褪撬膬r(jià)值。事件摘要和長(zhǎng)文檔類記憶則需要按“話題邊界”切塊而不是機(jī)械地按字?jǐn)?shù)截?cái)?。我常用的塊大小在200到500個(gè)字符之間如果相鄰塊涉及同一主題還會(huì)讓它們重疊50到100個(gè)字符防止語(yǔ)義在邊界處斷裂。曾經(jīng)我把一段項(xiàng)目討論記錄按200字硬切結(jié)果“但最終我們放棄了A方案”被切到了下一塊導(dǎo)致召回時(shí)模型還以為A方案是最終結(jié)論鬧了大笑話。再說(shuō)Embedding模型。每個(gè)模型都有自己的強(qiáng)項(xiàng)選型時(shí)建議直接用你自己的業(yè)務(wù)文本做小樣本評(píng)測(cè)而不是只看公開(kāi)榜單。比如你的業(yè)務(wù)中專業(yè)術(shù)語(yǔ)特別多一個(gè)通用模型可能理解不了這時(shí)換一個(gè)在相關(guān)語(yǔ)料上微調(diào)過(guò)的模型效果會(huì)明顯不同。另外要注意Embedding模型的輸出維度會(huì)影響存儲(chǔ)和計(jì)算開(kāi)銷但不用刻意追求高維度重要的是語(yǔ)義相近的文本在向量空間里距離夠近。元數(shù)據(jù)這塊每條向量記錄除了內(nèi)容本身至少要保存記憶類型、來(lái)源會(huì)話ID、創(chuàng)建時(shí)間、更新時(shí)間、重要性評(píng)分。重要性評(píng)分尤其關(guān)鍵它的作用體現(xiàn)在召回排序上當(dāng)幾條記憶的向量相似度接近時(shí)重要性高、更新時(shí)間近的記憶應(yīng)該優(yōu)先返回。向量檢索不是只算一個(gè)相似度就完事好的召回排序一定是向量相似度、重要性和時(shí)效性的綜合結(jié)果。3. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)概念說(shuō)清楚了接下來(lái)是動(dòng)手環(huán)節(jié)。我盡量用不依賴特定產(chǎn)品的方式寫代碼方便你遷移到自己的技術(shù)棧。核心邏輯很清晰短期記憶管上下文長(zhǎng)期記憶管事實(shí)向量庫(kù)管語(yǔ)義召回。3.1 全局流程記憶如何被寫入和召回先明確整體鏈路。用戶每發(fā)來(lái)一條消息系統(tǒng)要做的事情按順序是先從長(zhǎng)期記憶庫(kù)里檢索與當(dāng)前問(wèn)題相關(guān)的記憶再把檢索到的記憶、短期窗口里的歷史消息、當(dāng)前輸入組合成提示詞交給模型生成回復(fù)回復(fù)完成后更新短期消息列表如果判斷這輪對(duì)話產(chǎn)生了值得長(zhǎng)期保存的信息再觸發(fā)一次抽取寫入流程。寫入和召回并不是每次對(duì)話都做全套。召回是每輪必做只是檢索范圍可以動(dòng)態(tài)調(diào)整寫入則要設(shè)置條件比如用戶明確表達(dá)了偏好、或者出現(xiàn)了新的關(guān)鍵事實(shí)時(shí)才觸發(fā)。我遇到過(guò)不少人把“每輪對(duì)話都做抽取”當(dāng)作默認(rèn)行為結(jié)果一天下來(lái)Token費(fèi)用高得嚇人長(zhǎng)期記憶庫(kù)里還沉淀了大量“今天天氣不錯(cuò)”這類無(wú)價(jià)值內(nèi)容。流程中還有一個(gè)容易被忽略的點(diǎn)記憶召回也可以在對(duì)話中途動(dòng)態(tài)追加。比如用戶聊到一半說(shuō)“你記得我之前提到的那個(gè)需求嗎”這是一個(gè)明確的“回憶觸發(fā)信號(hào)”此時(shí)應(yīng)該做一次更寬松的召回把TopK調(diào)大、閾值降低盡可能找出相關(guān)記憶。3.2 數(shù)據(jù)模型的最小可運(yùn)行版本先用代碼定義核心數(shù)據(jù)結(jié)構(gòu)。我刻意選了Python標(biāo)準(zhǔn)庫(kù)避免引入額外依賴方便你本地直接運(yùn)行。from dataclasses import dataclass, field from typing import List, Optional import time import math dataclass class MemoryItem: 長(zhǎng)期記憶條目 memory_id: str memory_type: str # fact / preference / summary content: str # 必須是一句完整的自然語(yǔ)言描述 metadata: dict field(default_factorydict) importance: int 1 # 1-55 最重要 created_at: float field(default_factorytime.time) updated_at: float field(default_factorytime.time) def to_dict(self) - dict: return { memory_id: self.memory_id, memory_type: self.memory_type, content: self.content, metadata: self.metadata, importance: self.importance, created_at: self.created_at, updated_at: self.updated_at, } dataclass class SessionMessage: 短期記憶里的單條消息 role: str # user / assistant content: str timestamp: float field(default_factorytime.time)這套結(jié)構(gòu)看著簡(jiǎn)單但它把長(zhǎng)期記憶的核心屬性都表達(dá)出來(lái)了。memory_type決定更新規(guī)則importance決定召回優(yōu)先級(jí)metadata用來(lái)記錄場(chǎng)景或項(xiàng)目歸屬。字段不必多夠用就行。3.3 短期記憶管理器的實(shí)現(xiàn)短期記憶管理器維護(hù)一個(gè)消息實(shí)例列表并自動(dòng)執(zhí)行窗口修剪和摘要觸發(fā)。注意事項(xiàng)這里的摘要邏輯需要調(diào)用大模型我寫成接口占位你接上自己的模型即可。class ShortTermWindow: def __init__(self, max_messages: int 12, max_tokens: int 3500): self.messages: List[SessionMessage] [] self.max_messages max_messages self.max_tokens max_tokens def add(self, role: str, content: str) - None: self.messages.append(SessionMessage(rolerole, contentcontent)) self._trim() def _trim(self) - None: # 超出數(shù)量上限時(shí)考慮先摘要再丟棄 while len(self.messages) self.max_messages: self._summarize_oldest() def _summarize_oldest(self) - None: # 取最舊的一半做一次性摘要實(shí)際應(yīng)調(diào)用大模型接口 old self.messages[: len(self.messages) // 2] remaining self.messages[len(self.messages) // 2:] content \n.join(f{m.role}: {m.content} for m in old) summary summarize_with_llm(content) # 自定義函數(shù)占位 if summary.strip(): self.messages [ SessionMessage(rolesystem, contentf[歷史摘要] {summary}) ] remaining else: # 摘要失敗時(shí)直接丟棄最舊一條保證窗口不爆 self.messages remaining def get_recent_messages(self, n: Optional[int] None) - List[SessionMessage]: if n is None: return self.messages return self.messages[-n:]運(yùn)行時(shí)注意一個(gè)問(wèn)題摘要本身也占用Token所以摘要結(jié)果不能太長(zhǎng)。我在實(shí)操中把摘要控制在100到200字內(nèi)超過(guò)就截?cái)嘁驗(yàn)檎暮诵墓δ苁恰疤彡P(guān)鍵詞”不是“講故事”。另外不要把摘要做得太頻繁超過(guò)窗口上限才觸發(fā)否則每輪都調(diào)用大模型成本和延遲都受不了。3.4 向量存儲(chǔ)與召回模塊的實(shí)現(xiàn)為了不綁定特定向量庫(kù)我用一個(gè)簡(jiǎn)單的內(nèi)存向量列表來(lái)演示。生產(chǎn)環(huán)境你可以換成任意開(kāi)源的向量檢索組件核心接口大同小異。這里的embedding函數(shù)也需要你接入實(shí)際的Embedding模型接口。class MemoryVectorStore: def __init__(self, threshold: float 0.28): self.items [] # 每個(gè)元素是 (vector, MemoryItem) self.threshold threshold def add_item(self, item: MemoryItem, vector: List[float]) - None: self.items.append((vector, item)) staticmethod def _cosine_similarity(vec_a: List[float], vec_b: List[float]) - float: dot sum(x * y for x, y in zip(vec_a, vec_b)) norm_a math.sqrt(sum(x * x for x in vec_a)) norm_b math.sqrt(sum(x * x for x in vec_b)) if norm_a 0 or norm_b 0: return 0.0 return dot / (norm_a * norm_b) def search(self, query_vector: List[float], top_k: int 3) - List[MemoryItem]: scored [] for vector, item in self.items: score self._cosine_similarity(query_vector, vector) if score self.threshold: scored.append((score, item)) scored.sort(keylambda x: x[0], reverseTrue) return [item for _, item in scored[:top_k]]search方法的排序邏輯是核心先按閾值過(guò)濾掉低相似度的“噪聲記憶”再按相似度排序取TopK。閾值我建議從0.25到0.35之間開(kāi)始調(diào)。設(shè)得太低召回很多無(wú)關(guān)內(nèi)容上下文被污染設(shè)得太高該召回的又召不回來(lái)模型顯式失憶。不同Embedding模型產(chǎn)出的分?jǐn)?shù)分布差異很大換模型后一定要重新校準(zhǔn)閾值。這里要強(qiáng)調(diào)一點(diǎn)MemoryVectorStore只是向量索引。真正生產(chǎn)里MemoryItem本身還要落一份持久化存儲(chǔ)比如文檔型數(shù)據(jù)庫(kù)因?yàn)橄蛄繋?kù)里的內(nèi)容可能被重建、遷移而元數(shù)據(jù)和文本本體必須可靠保存。向量庫(kù)和存儲(chǔ)要解耦我早期把它們合在一起結(jié)果向量庫(kù)一升級(jí)全部記憶消失教訓(xùn)非常深刻。3.5 長(zhǎng)期記憶的更新與維護(hù)寫入長(zhǎng)期記憶的邏輯依賴每輪對(duì)話后的抽取結(jié)果。抽取可以由模型完成也可以由規(guī)則完成取決于你業(yè)務(wù)里信息結(jié)構(gòu)的穩(wěn)定程度。這里給出一個(gè)較通用的更新框架。class LongTermMemoryStore: def __init__(self, vector_store: MemoryVectorStore, embed_fn): self.facts: dict {} # 事實(shí)類鍵值對(duì) self.items: list [] # 所有記憶條目 self.vector_store vector_store self.embed_fn embed_fn def add_or_update(self, item: MemoryItem) - None: # 如果是事實(shí)類且有相同鍵執(zhí)行覆蓋 key item.metadata.get(key) if item.memory_type fact and key and key in self.facts: old self.facts[key] old.content item.content old.updated_at time.time() item old # 如果是偏好類檢查是否已有同文本記憶 if item.memory_type preference: for existing in self.items: if existing.content item.content: existing.importance min(5, existing.importance 1) item existing break if item not in self.items: self.items.append(item) vector self.embed_fn(item.content) self.vector_store.add_item(item, vector)這段代碼體現(xiàn)了幾個(gè)重要細(xì)節(jié)事實(shí)類記憶用業(yè)務(wù)鍵去重后寫覆蓋偏好類記憶靠文本匹配累加重要性而不是盲目新增。一個(gè)偏好被用戶重復(fù)表達(dá)三次重要性升到3以上召回排序自然更靠前。摘要類記憶則不做覆蓋而是不斷追加新摘要保持時(shí)間線完整。更新長(zhǎng)期記憶時(shí)還有一個(gè)動(dòng)作不能省被覆蓋的舊值、被合并的舊摘要最好保留一份歷史版本。這樣如果用戶后續(xù)說(shuō)“我想改回原來(lái)的習(xí)慣”你還有據(jù)可查。為了節(jié)省存儲(chǔ)歷史版本可以只保留最近幾次或者壓縮成一個(gè)變更記錄文本。3.6 提示詞組裝與一組測(cè)試結(jié)果記憶檢索出來(lái)之后提示詞的拼裝順序直接影響模型采納效果。我的推薦順序是先放系統(tǒng)提示再放檢索到的相關(guān)長(zhǎng)期記憶之后是短期歷史消息最后是當(dāng)前用戶輸入。長(zhǎng)期記憶放在歷史消息前面能讓模型在閱讀具體對(duì)話前先建立“用戶畫像”如果放在后面模型已經(jīng)讀了大量對(duì)話容易把記憶信息當(dāng)成普通聊天內(nèi)容權(quán)重下降。給記憶內(nèi)容加一個(gè)明顯的標(biāo)記也很有效。例如def build_prompt(system_prompt: str, memories: List[MemoryItem], history: List[SessionMessage], current_input: str) - str: memory_text \n.join( f[長(zhǎng)期記憶](méi) {item.content} for item in memories ) history_text \n.join( f{msg.role}: {msg.content} for msg in history[-8:] ) return f{system_prompt}\n\n{memory_text}\n\n{history_text}\n\n用戶: {current_input}我拿一個(gè)簡(jiǎn)化場(chǎng)景做過(guò)測(cè)試。用戶第一天說(shuō)“我周五下午都不方便開(kāi)會(huì)”系統(tǒng)在對(duì)話后抽取了一條事實(shí)記憶“用戶周五下午不方便開(kāi)會(huì)”寫入長(zhǎng)期存儲(chǔ)并向量化。第三天用戶問(wèn)“幫我安排周五的復(fù)盤會(huì)”系統(tǒng)先召回這條事實(shí)拼進(jìn)提示詞模型就能正確避開(kāi)周五下午。對(duì)照組不接記憶系統(tǒng)模型給出的是周五下午開(kāi)會(huì)方案。差別非常直觀。這個(gè)測(cè)試也暴露出一個(gè)關(guān)鍵點(diǎn)長(zhǎng)期記憶的抽取質(zhì)量決定了整個(gè)系統(tǒng)的上限。如果對(duì)話后抽取環(huán)節(jié)沒(méi)有抓出這條“周五下午不方便”的事實(shí)后面向量召回再準(zhǔn)也沒(méi)用。所以我在項(xiàng)目里會(huì)把抽取結(jié)果做成日志定期抽查看是否有重要信息被漏抽。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄這一章要解決的問(wèn)題基本都是我在真實(shí)項(xiàng)目中反復(fù)調(diào)試過(guò)的。有些問(wèn)題看起來(lái)很隱蔽但一旦出現(xiàn)會(huì)直接影響用戶對(duì)產(chǎn)品的信任度。我把它們整理成一份“排障手冊(cè)”希望能幫你少走彎路。4.1 為什么檢索出來(lái)的記憶驢唇不對(duì)馬嘴最典型的現(xiàn)象是用戶明明提過(guò)某個(gè)偏好檢索結(jié)果卻召回了一條毫不相關(guān)的記憶。排查第一步不是懷疑向量庫(kù)而是去看入庫(kù)文本本身。很多人保存記憶時(shí)用的是碎片化短語(yǔ)比如“咖啡美式不加糖”。這種文本向量化之后就像幾個(gè)脫線的點(diǎn)語(yǔ)義極其不穩(wěn)定檢索時(shí)根本對(duì)不準(zhǔn)。正確的入庫(kù)格式是完整自然句“用戶習(xí)慣喝美式咖啡不加糖”。這句話是一個(gè)完整的語(yǔ)義單元向量化之后方向穩(wěn)定。也不要為了省Token把記憶內(nèi)容壓得太短這個(gè)“省”的代價(jià)最終會(huì)以召回不準(zhǔn)的形式還回來(lái)反而虧得更多。另一個(gè)常見(jiàn)原因是切塊的邊界切斷了語(yǔ)義。如果某條記憶是“這個(gè)方案的優(yōu)勢(shì)是開(kāi)發(fā)成本低”被切開(kāi)后變成了“這個(gè)方案的優(yōu)勢(shì)是”語(yǔ)義直接殘缺。解決方法是按話題邊界切塊而不是按固定字符數(shù)硬切對(duì)于從長(zhǎng)文檔處理的記憶建議保留重疊區(qū)。4.2 短期窗口和長(zhǎng)期記憶互相打架怎么辦一款A(yù)I助手如果同時(shí)注入“用戶希望回復(fù)盡量簡(jiǎn)短”這條長(zhǎng)期偏好而當(dāng)前對(duì)話里用戶又說(shuō)“這次請(qǐng)?jiān)敿?xì)一點(diǎn)”模型就會(huì)收到矛盾指令。短期窗口代表當(dāng)下需求長(zhǎng)期記憶代表穩(wěn)定偏好兩者沖突時(shí)我通常偏向讓短期消息優(yōu)先因?yàn)橛脩舢?dāng)前的明確指令權(quán)重更高。更可取的是給記憶加“場(chǎng)景限定字段”。比如“回復(fù)盡量簡(jiǎn)短”的范圍是“日常問(wèn)答”“詳細(xì)一點(diǎn)”的范圍是“技術(shù)方案解釋”。召回時(shí)如果當(dāng)前對(duì)話能識(shí)別出場(chǎng)景就優(yōu)先返回匹配場(chǎng)景的記憶識(shí)別不出時(shí)才返回通用的全局偏好。這種按場(chǎng)景過(guò)濾的做法比單純按時(shí)間戳“后說(shuō)覆蓋先說(shuō)”要穩(wěn)健得多因?yàn)橛脩舻囊粋€(gè)偏好并不總是對(duì)所有場(chǎng)景成立。4.3 上下文膨脹和成本失控怎么控制短期記憶的Token膨脹是最常見(jiàn)的成本黑洞。如果窗口管理做得不好每輪都攜帶全部歷史費(fèi)用會(huì)一路攀升?？刂剖侄挝仪懊嫣徇^(guò)核心是“摘要壓縮數(shù)量上限”。還要注意摘要本身的質(zhì)量摘要太長(zhǎng)的結(jié)果是“壓縮了個(gè)寂寞”。向量檢索這一環(huán)也會(huì)帶來(lái)成本。每輪對(duì)話都要把用戶輸入向量化一次如果記憶庫(kù)很大檢索耗時(shí)也會(huì)增長(zhǎng)。我的做法是加一層向量緩存相同或相似的用戶問(wèn)題不再重復(fù)Embedding直接命中緩存結(jié)果。還有一個(gè)更實(shí)用的經(jīng)驗(yàn)不要每輪都重新Embedding全部記憶文本而是在寫入時(shí)就生成好向量并持久化查詢時(shí)只Embedding查詢語(yǔ)句本身即可。4.4 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因建議處理方式召回的全是無(wú)關(guān)內(nèi)容記憶文本碎片化或者切塊切斷語(yǔ)義保證入庫(kù)內(nèi)容是完整句子按話題邊界切塊模型不采納已檢索到的記憶記憶在提示詞中的位置太靠后放在系統(tǒng)提示之后、歷史消息之前并加“長(zhǎng)期記憶”標(biāo)記新舊記憶互相矛盾缺少場(chǎng)景限定全用時(shí)間戳覆蓋增加metadata.scene字段按場(chǎng)景做過(guò)濾召回短期上下文持續(xù)膨脹沒(méi)有觸發(fā)摘要只做簡(jiǎn)單丟棄設(shè)置“超出窗口上限才摘要”的機(jī)制跨天對(duì)話像是失憶事實(shí)類記憶沒(méi)單獨(dú)建索引事實(shí)記憶用結(jié)構(gòu)化鍵值存儲(chǔ)不依賴向量召回向量召回結(jié)果穩(wěn)定但相似度普遍偏低Embedding模型與業(yè)務(wù)文本不匹配用業(yè)務(wù)樣本做小批量評(píng)測(cè)必要時(shí)更換模型每次寫入都調(diào)用Embedding成本太高沒(méi)有做向量持久化緩存寫入時(shí)生成向量并落盤查詢時(shí)只Embedding用戶輸入5. 進(jìn)階擴(kuò)展與個(gè)人體會(huì)5.1 最小實(shí)現(xiàn)原則先用最輕的方式跑通我見(jiàn)過(guò)太多團(tuán)隊(duì)在項(xiàng)目第一天就引入重量級(jí)分布式存儲(chǔ)結(jié)果花了兩個(gè)星期搭建基礎(chǔ)設(shè)施核心的記憶邏輯一行都沒(méi)寫。我的建議恰恰相反先用內(nèi)存、字典和一個(gè)簡(jiǎn)單的向量列表把整個(gè)鏈路跑通讓“抽取→寫入→召回→注入”這個(gè)過(guò)程先形成閉環(huán)。數(shù)據(jù)量到了十萬(wàn)條以上再考慮換更專業(yè)的向量檢索組件或者分庫(kù)方案。這個(gè)順序能幫你把注意力放在最核心的準(zhǔn)確率問(wèn)題上而不是過(guò)早被工程復(fù)雜度拖垮。5.2 記憶系統(tǒng)的評(píng)估需要獨(dú)立的測(cè)試集如果只用“用戶覺(jué)得AI聰不聰明”來(lái)衡量記憶系統(tǒng)你很難定位問(wèn)題。我后來(lái)專門建了一套記憶評(píng)測(cè)集50到100個(gè)模擬場(chǎng)景每個(gè)場(chǎng)景都寫清楚“應(yīng)該召回哪條記憶、期望模型給出什么行為”。每次調(diào)整切塊策略、換Embedding模型、改閾值都跑一遍評(píng)測(cè)用召回率和命中率對(duì)比效果。這套評(píng)測(cè)集看起來(lái)費(fèi)功夫但它能讓你的優(yōu)化方向有據(jù)可循。沒(méi)有評(píng)測(cè)集的記憶系統(tǒng)優(yōu)化基本等于盲調(diào)。5.3 關(guān)于記憶更新時(shí)機(jī)的一個(gè)經(jīng)驗(yàn)最后分享一個(gè)讓我省了很多錢的小技巧記憶更新的時(shí)機(jī)不要放在每一輪對(duì)話后而要設(shè)置明確的觸發(fā)器。當(dāng)用戶說(shuō)出“記住”“以后都”“我不喜歡”這類指令性表達(dá)或者在一個(gè)話題的討論告一段落時(shí)才觸發(fā)抽取流程。這樣做有兩個(gè)好處一是節(jié)省大量模型調(diào)用成本二是避免在無(wú)關(guān)閑聊中生成大量垃圾記憶。記憶系統(tǒng)的核心目標(biāo)永遠(yuǎn)是“記得準(zhǔn)、想得起、用得上”而不是“存得多”。把握住這個(gè)原則你在設(shè)計(jì)每個(gè)環(huán)節(jié)時(shí)都不會(huì)走偏。