1. 項(xiàng)目概述當(dāng)智能體需要“長(zhǎng)期記憶”時(shí)我們面臨什么在構(gòu)建能夠執(zhí)行復(fù)雜、長(zhǎng)期任務(wù)的智能體Agent時(shí)一個(gè)核心的瓶頸浮出水面記憶。這不僅僅是存儲(chǔ)對(duì)話(huà)歷史或幾個(gè)API調(diào)用結(jié)果那么簡(jiǎn)單。想象一下你正在開(kāi)發(fā)一個(gè)需要連續(xù)數(shù)天、甚至數(shù)周管理一個(gè)復(fù)雜項(xiàng)目的AI助手。它需要記住項(xiàng)目的目標(biāo)、已經(jīng)完成的步驟、遇到的障礙、團(tuán)隊(duì)成員的意見(jiàn)、以及在不同時(shí)間點(diǎn)做出的關(guān)鍵決策。這些信息數(shù)量龐大、類(lèi)型各異文本、代碼片段、決策點(diǎn)、狀態(tài)變更并且相互關(guān)聯(lián)。傳統(tǒng)的向量數(shù)據(jù)庫(kù)檢索雖然能快速找到“相似”的文本片段但在這種長(zhǎng)周期、多模態(tài)、強(qiáng)邏輯的場(chǎng)景下常常力不從心。它可能會(huì)給你一堆語(yǔ)義相近但上下文無(wú)關(guān)的片段或者因?yàn)樾畔⑦^(guò)于分散而遺漏掉關(guān)鍵的、類(lèi)型特定的線(xiàn)索。這就是“Memanto: Typed Semantic Memory with Information-Theoretic Retrieval for Long-Horizon Agents”這個(gè)項(xiàng)目標(biāo)題直指的核心痛點(diǎn)。它不是一個(gè)簡(jiǎn)單的工具介紹而是一套針對(duì)“長(zhǎng)視野智能體”記憶難題的系統(tǒng)性解決方案。拆解這個(gè)標(biāo)題我們能抓住三個(gè)關(guān)鍵創(chuàng)新點(diǎn)Typed Semantic Memory類(lèi)型化語(yǔ)義記憶、Information-Theoretic Retrieval信息論檢索以及它們共同服務(wù)的對(duì)象Long-Horizon Agents長(zhǎng)視野智能體。簡(jiǎn)單來(lái)說(shuō)Memanto試圖為AI智能體打造一個(gè)不僅容量大而且“懂分類(lèi)”、“會(huì)關(guān)聯(lián)”、“能推理”的記憶系統(tǒng)其檢索方式不是基于簡(jiǎn)單的相似度匹配而是基于信息論原理尋找最能“填補(bǔ)當(dāng)前認(rèn)知空白”或“最大化減少任務(wù)不確定性”的那段記憶。如果你正在開(kāi)發(fā)涉及多輪復(fù)雜規(guī)劃、持續(xù)環(huán)境交互或長(zhǎng)期知識(shí)積累的AI應(yīng)用比如自動(dòng)化研發(fā)流程、游戲NPC、長(zhǎng)期陪伴型對(duì)話(huà)機(jī)器人或者任何需要AI在漫長(zhǎng)“生命周期”中保持連貫性和學(xué)習(xí)能力的場(chǎng)景那么理解Memanto背后的設(shè)計(jì)思想將為你打開(kāi)一扇新的大門(mén)。它解決的不僅是“存”和“取”的問(wèn)題更是“如何存得有條理”和“如何取得最相關(guān)”這一對(duì)孿生挑戰(zhàn)。2. 核心設(shè)計(jì)思路為什么是“類(lèi)型化”與“信息論”2.1 長(zhǎng)視野智能體的記憶挑戰(zhàn)與傳統(tǒng)方案的局限長(zhǎng)視野智能體的任務(wù)通常具有非馬爾可夫性即當(dāng)前的最佳決策高度依賴(lài)于一段很長(zhǎng)的歷史軌跡而不僅僅是上一個(gè)狀態(tài)。例如一個(gè)AI游戲玩家在開(kāi)放世界游戲中要決定是去探索新區(qū)域還是回家補(bǔ)給這個(gè)決策依賴(lài)于它記得自己上次補(bǔ)給是多久前、當(dāng)前裝備耐久度、已知區(qū)域的地圖完成度、以及之前在某處聽(tīng)到的關(guān)于寶藏的傳聞等一系列異構(gòu)信息。傳統(tǒng)方案如將整個(gè)歷史對(duì)話(huà)或狀態(tài)記錄成一條長(zhǎng)文本存入向量數(shù)據(jù)庫(kù)面臨幾個(gè)顯著問(wèn)題信息混雜與噪聲所有信息被壓平flatten成文本關(guān)鍵的結(jié)構(gòu)化信息如事件、實(shí)體、關(guān)系丟失檢索時(shí)容易引入無(wú)關(guān)噪聲。檢索粒度粗放基于語(yǔ)義相似度的檢索可能因?yàn)槟硞€(gè)詞頻高而反復(fù)召回相同類(lèi)型的記憶而忽略了時(shí)間、因果等其他重要維度。缺乏推理支撐簡(jiǎn)單的相似度匹配無(wú)法回答“鑒于當(dāng)前情況我最需要記起哪類(lèi)信息”這樣的問(wèn)題。它只能找到“像”的找不到“需要”的。2.2 Typed Semantic Memory為記憶貼上“類(lèi)型”標(biāo)簽Memanto提出的“類(lèi)型化語(yǔ)義記憶”是對(duì)上述第一個(gè)問(wèn)題的直接回應(yīng)。其核心思想是并非所有記憶都是平等的也并非都以相同方式存儲(chǔ)和檢索。類(lèi)型Type在這里是一個(gè)抽象的概念它可以對(duì)應(yīng)于信息類(lèi)別如“事實(shí)”、“事件”、“技能”、“目標(biāo)”、“約束”、“觀察結(jié)果”、“用戶(hù)偏好”。實(shí)體角色如在項(xiàng)目管理場(chǎng)景中“需求文檔”、“代碼提交”、“測(cè)試報(bào)告”、“會(huì)議紀(jì)要”。認(rèn)知維度如“成功經(jīng)驗(yàn)”、“失敗教訓(xùn)”、“待驗(yàn)證假設(shè)”、“已知風(fēng)險(xiǎn)”。在實(shí)現(xiàn)上為每一條記憶分配一個(gè)或多個(gè)類(lèi)型標(biāo)簽。這不僅僅是打標(biāo)簽?zāi)敲春?jiǎn)單它意味著存儲(chǔ)結(jié)構(gòu)化同類(lèi)型的記憶可能共享相同的存儲(chǔ) schema 或嵌入模型便于高效管理和壓縮。檢索路由當(dāng)智能體需要做決策時(shí)它可以先根據(jù)當(dāng)前上下文“我正在做計(jì)劃”推斷出可能需要的記憶類(lèi)型“我需要回顧‘目標(biāo)’和‘約束’”然后有針對(duì)性地在該類(lèi)型記憶中搜索大幅提升檢索精度和效率。關(guān)系構(gòu)建類(lèi)型可以作為記憶之間建立鏈接的橋梁。例如“事件”類(lèi)型的記憶可以關(guān)聯(lián)到相關(guān)的“人物”和“地點(diǎn)”類(lèi)型記憶。實(shí)操心得定義“類(lèi)型”體系是設(shè)計(jì)此類(lèi)系統(tǒng)的首要且最關(guān)鍵的步驟。它需要深度結(jié)合具體任務(wù)領(lǐng)域。一個(gè)草率的類(lèi)型體系可能比沒(méi)有類(lèi)型更糟因?yàn)樗鼤?huì)引入錯(cuò)誤的歸納偏差。建議從任務(wù)的工作流和決策點(diǎn)反向推導(dǎo)智能體在每一步通常需要調(diào)用哪些不同類(lèi)別的信息2.3 Information-Theoretic Retrieval超越相似度的“價(jià)值”檢索這是Memanto最具理論色彩也最核心的創(chuàng)新點(diǎn)。傳統(tǒng)檢索可以看作在尋找與查詢(xún)Q在向量空間中最“相近”的記憶M即最大化相似度sim(Q, M)。信息論檢索則換了一個(gè)視角它尋找的是能最大程度減少智能體關(guān)于當(dāng)前任務(wù)的不確定性的記憶。用信息論的術(shù)語(yǔ)來(lái)說(shuō)是尋找能提供最大互信息的記憶。形式化地假設(shè)智能體當(dāng)前的狀態(tài)包括目標(biāo)、部分觀察構(gòu)成了一個(gè)概率模型其中關(guān)于如何行動(dòng)存在不確定性。每條記憶M都包含一些信息。我們想要找到那個(gè)能最大程度降低未來(lái)行動(dòng)或任務(wù)結(jié)果不確定性的M。即最大化記憶M與未來(lái)任務(wù)成功或最優(yōu)行動(dòng)之間的互信息I(M; Success | Current Context)。在實(shí)際工程中直接計(jì)算互信息極其困難。Memanto likely采用了一些近似或替代目標(biāo)預(yù)測(cè)性檢索檢索那些能最好地幫助預(yù)測(cè)下一步狀態(tài)或行動(dòng)成功概率的記憶。例如在游戲中“上次在黑暗森林使用火把引來(lái)了怪物”這段記憶對(duì)于預(yù)測(cè)“現(xiàn)在在黑暗森林點(diǎn)燃火把”的結(jié)果具有高信息價(jià)值盡管“火把”這個(gè)詞的語(yǔ)義相似度可能不如“照明工具簡(jiǎn)介”。驚奇度最小化檢索那些能讓當(dāng)前觀察或狀態(tài)看起來(lái)最“不意外”、最合理的記憶。這連接了記憶與對(duì)世界的理解?；趦r(jià)值的過(guò)濾與強(qiáng)化學(xué)習(xí)中的價(jià)值函數(shù)結(jié)合優(yōu)先檢索那些在過(guò)去類(lèi)似狀態(tài)下導(dǎo)致高價(jià)值回報(bào)的記憶。這種檢索方式的好處是面向決策直接服務(wù)于提升決策質(zhì)量而不是文本匹配度。處理稀疏關(guān)聯(lián)即使記憶和查詢(xún)?cè)诒砻嫖谋旧喜幌嗨频灰嬖谶壿嫽蛞蚬系膹?qiáng)關(guān)聯(lián)就能被檢索到。動(dòng)態(tài)重要性記憶的重要性不是靜態(tài)的而是根據(jù)當(dāng)前任務(wù)上下文動(dòng)態(tài)評(píng)估的。注意事項(xiàng)信息論檢索的計(jì)算開(kāi)銷(xiāo)通常遠(yuǎn)大于余弦相似度計(jì)算。它可能需要維護(hù)一個(gè)世界模型或價(jià)值函數(shù)來(lái)評(píng)估記憶的效用。因此在系統(tǒng)設(shè)計(jì)時(shí)往往采用分層或兩階段檢索先用快速的類(lèi)型化或關(guān)鍵詞過(guò)濾出一個(gè)候選集再在這個(gè)較小的候選集上運(yùn)行更精細(xì)的信息論價(jià)值評(píng)估。3. 系統(tǒng)架構(gòu)與核心模塊拆解基于以上思路我們可以勾勒出Memanto系統(tǒng)的一個(gè)可能架構(gòu)。請(qǐng)注意以下是根據(jù)論文標(biāo)題和核心思想推導(dǎo)出的合理設(shè)計(jì)并非官方實(shí)現(xiàn)。3.1 記憶編碼與存儲(chǔ)層這一層負(fù)責(zé)將原始觀察、行動(dòng)結(jié)果、內(nèi)部思考等轉(zhuǎn)化為結(jié)構(gòu)化的記憶單元Memory Unit并存儲(chǔ)。記憶編碼器功能接收原始數(shù)據(jù)文本、結(jié)構(gòu)化日志等提取語(yǔ)義信息并分配類(lèi)型。實(shí)現(xiàn)可能使用多個(gè)專(zhuān)用的編碼器。例如使用一個(gè)預(yù)訓(xùn)練語(yǔ)言模型如BERT、GPT的變體作為基礎(chǔ)語(yǔ)義編碼器同時(shí)使用一個(gè)輕量級(jí)分類(lèi)器或規(guī)則系統(tǒng)來(lái)預(yù)測(cè)類(lèi)型標(biāo)簽。對(duì)于結(jié)構(gòu)化數(shù)據(jù)可能直接使用字段作為類(lèi)型依據(jù)。輸出一個(gè)記憶元組(id, embedding, type, raw_content, metadata)。其中embedding是語(yǔ)義向量type是類(lèi)型標(biāo)簽metadata包含時(shí)間戳、來(lái)源、置信度等。類(lèi)型化記憶存儲(chǔ)結(jié)構(gòu)不是一個(gè)單一的向量庫(kù)而可能是一個(gè)分片Sharded或分區(qū)Partitioned的存儲(chǔ)系統(tǒng)。每種類(lèi)型或類(lèi)型組的記憶存儲(chǔ)在獨(dú)立的向量索引或數(shù)據(jù)庫(kù)中。優(yōu)勢(shì)隔離性檢索時(shí)避免跨類(lèi)型干擾。優(yōu)化可以為不同類(lèi)型選擇不同的嵌入模型或索引參數(shù)如Faiss的索引類(lèi)型?？晒芾硇砸子趯?duì)特定類(lèi)型記憶進(jìn)行更新、歸檔或清理。關(guān)聯(lián)存儲(chǔ)除了主存儲(chǔ)還需要一個(gè)圖存儲(chǔ)或關(guān)系數(shù)據(jù)庫(kù)來(lái)記錄記憶單元之間的關(guān)系如“導(dǎo)致”、“發(fā)生于”、“涉及”。這是實(shí)現(xiàn)復(fù)雜推理的基礎(chǔ)。3.2 記憶檢索與推理層這是Memanto的“大腦”負(fù)責(zé)在需要時(shí)找到最相關(guān)的記憶。上下文感知器功能分析智能體當(dāng)前的狀態(tài)目標(biāo)、最近觀察、行動(dòng)歷史、內(nèi)部信念生成一個(gè)“檢索查詢(xún)”上下文。這個(gè)上下文不僅包含語(yǔ)義查詢(xún)文本還應(yīng)包含對(duì)所需記憶類(lèi)型的預(yù)測(cè)。實(shí)現(xiàn)可以是一個(gè)輕量的神經(jīng)網(wǎng)絡(luò)或基于提示詞Prompt的大語(yǔ)言模型輸入當(dāng)前狀態(tài)輸出a) 一個(gè)文本查詢(xún)b) 一個(gè)或多個(gè)優(yōu)先級(jí)較高的記憶類(lèi)型列表。兩階段檢索器第一階段類(lèi)型化粗篩。過(guò)程根據(jù)上下文感知器預(yù)測(cè)的類(lèi)型只在這些類(lèi)型的記憶分片中進(jìn)行搜索。使用傳統(tǒng)的相似度搜索如余弦相似度快速得到一個(gè)規(guī)模較大的候選記憶列表例如Top-K K50。目的極大縮小搜索空間保證效率。第二階段信息論精排。過(guò)程對(duì)第一階段得到的候選記憶使用信息論準(zhǔn)則進(jìn)行重新排序Re-ranking。核心計(jì)算對(duì)于每個(gè)候選記憶M_i估算其信息價(jià)值V(M_i | Context)。如前所述這可以通過(guò)一個(gè)價(jià)值評(píng)估網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。該網(wǎng)絡(luò)以當(dāng)前上下文和記憶M_i為輸入輸出一個(gè)標(biāo)量分?jǐn)?shù)預(yù)測(cè)該記憶對(duì)當(dāng)前決策的幫助程度。這個(gè)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)可以是最大化未來(lái)回報(bào)或者最小化預(yù)測(cè)誤差。輸出按照精排分?jǐn)?shù)重新排序的最終記憶列表例如Top-N N5或10。記憶融合與呈現(xiàn)模塊功能將檢索到的多條記憶結(jié)合當(dāng)前上下文合成為一段連貫、簡(jiǎn)潔的“記憶摘要”或“情境報(bào)告”供智能體的決策模塊如LLM使用。實(shí)現(xiàn)通常利用大語(yǔ)言模型的總結(jié)和推理能力。Prompt模板可能如下“你是一個(gè)智能體的記憶系統(tǒng)。以下是基于當(dāng)前任務(wù)檢索到的相關(guān)過(guò)往記憶片段 記憶1 [類(lèi)型失敗教訓(xùn)]: 昨天嘗試用方法A解決服務(wù)器過(guò)載導(dǎo)致服務(wù)中斷10分鐘。 記憶2 [類(lèi)型約束]: 運(yùn)維規(guī)定任何變更需在低峰期進(jìn)行。 記憶3 [類(lèi)型成功經(jīng)驗(yàn)]: 上周使用方法B分批擴(kuò)容平穩(wěn)度過(guò)了流量高峰。 當(dāng)前情況預(yù)測(cè)今晚流量將達(dá)峰值需提前擴(kuò)容。 請(qǐng)綜合這些記憶為當(dāng)前的擴(kuò)容決策提供關(guān)鍵參考信息。”目的減輕決策模塊處理原始多條記憶的負(fù)擔(dān)直接提供內(nèi)化了記憶的洞察。3.3 訓(xùn)練與自適應(yīng)機(jī)制為了讓信息論檢索有效系統(tǒng)中的價(jià)值評(píng)估網(wǎng)絡(luò)需要訓(xùn)練。訓(xùn)練數(shù)據(jù)來(lái)源于智能體與環(huán)境的交互歷史。每條數(shù)據(jù)樣本形式為(Context_t, Memory_candidate, Outcome_{t1})其中Outcome可以是即時(shí)獎(jiǎng)勵(lì)、任務(wù)完成標(biāo)志或后續(xù)狀態(tài)的價(jià)值。訓(xùn)練目標(biāo)讓價(jià)值評(píng)估網(wǎng)絡(luò)預(yù)測(cè)的記憶價(jià)值分?jǐn)?shù)與真實(shí)產(chǎn)生的后續(xù)收益或收益的改進(jìn)相關(guān)聯(lián)。這類(lèi)似于強(qiáng)化學(xué)習(xí)中的Q-learning或優(yōu)勢(shì)函數(shù)學(xué)習(xí)。在線(xiàn)學(xué)習(xí)系統(tǒng)可以在運(yùn)行中持續(xù)收集新的(上下文記憶結(jié)果)三元組并定期微調(diào)價(jià)值評(píng)估網(wǎng)絡(luò)使檢索策略不斷適應(yīng)任務(wù)的變化。4. 實(shí)操構(gòu)建一個(gè)簡(jiǎn)化版Memanto原型實(shí)現(xiàn)讓我們以一個(gè)“長(zhǎng)期AI研究助手”為例構(gòu)建一個(gè)簡(jiǎn)化版本幫助研究員跟蹤項(xiàng)目進(jìn)度、文獻(xiàn)和想法。4.1 定義記憶類(lèi)型體系根據(jù)研究助手任務(wù)我們定義以下核心類(lèi)型ProjectGoal: 項(xiàng)目目標(biāo)與問(wèn)題陳述。ExperimentResult: 實(shí)驗(yàn)設(shè)置、運(yùn)行結(jié)果數(shù)據(jù)、圖表、結(jié)論。LiteratureNote: 相關(guān)論文的核心觀點(diǎn)、方法、引用。IdeaHypothesis: 突發(fā)靈感、待驗(yàn)證的假設(shè)。TechnicalDebt: 已知的代碼/設(shè)計(jì)問(wèn)題、需要后續(xù)修復(fù)的部分。DecisionRationale: 重要決策背后的理由。4.2 技術(shù)棧選擇與配置記憶編碼與存儲(chǔ)語(yǔ)義嵌入模型選用text-embedding-3-small。它效果、速度和成本平衡較好。向量數(shù)據(jù)庫(kù)使用Pinecone或Weaviate。它們支持命名空間Namespace功能完美對(duì)應(yīng)我們的“類(lèi)型”分片。每個(gè)記憶類(lèi)型就是一個(gè)獨(dú)立的命名空間。原始內(nèi)容存儲(chǔ)使用輕量級(jí)文檔數(shù)據(jù)庫(kù)SQLite或MongoDB以記憶ID為鍵存儲(chǔ)原始文本、元數(shù)據(jù)類(lèi)型、時(shí)間戳、來(lái)源文件以及與其他記憶的關(guān)聯(lián)ID。檢索與推理上下文感知與價(jià)值評(píng)估由于簡(jiǎn)化我們暫不訓(xùn)練單獨(dú)的神經(jīng)網(wǎng)絡(luò)。我們利用大語(yǔ)言模型如GPT-4的推理能力通過(guò)精心設(shè)計(jì)的提示詞來(lái)同時(shí)完成類(lèi)型預(yù)測(cè)和信息價(jià)值評(píng)估。記憶融合同樣使用大語(yǔ)言模型。4.3 核心工作流代碼示例以下是關(guān)鍵步驟的偽代碼/簡(jiǎn)化代碼展示步驟1記憶編碼與存儲(chǔ)import openai from pinecone import Pinecone import uuid from datetime import datetime class MemantoLite: def __init__(self, pinecone_api_key, openai_api_key, index_name): self.pc Pinecone(api_keypinecone_api_key) self.index self.pc.Index(index_name) self.openai_api_key openai_api_key # 內(nèi)存或數(shù)據(jù)庫(kù)存儲(chǔ)原始內(nèi)容 self.memory_store {} def encode_and_store(self, text, memory_type, metadataNone): # 1. 生成唯一ID和時(shí)間戳 memory_id str(uuid.uuid4()) timestamp datetime.utcnow().isoformat() # 2. 調(diào)用嵌入模型生成向量 client openai.OpenAI(api_keyself.openai_api_key) response client.embeddings.create( modeltext-embedding-3-small, inputtext ) embedding response.data[0].embedding # 3. 準(zhǔn)備存儲(chǔ)到向量庫(kù)的數(shù)據(jù) (使用類(lèi)型作為命名空間) vector_data { id: memory_id, values: embedding, metadata: {type: memory_type, timestamp: timestamp, **metadata} } # 存儲(chǔ)到Pinecone命名空間memory_type self.index.upsert(vectors[vector_data], namespacememory_type) # 4. 存儲(chǔ)原始內(nèi)容到本地存儲(chǔ) self.memory_store[memory_id] { id: memory_id, text: text, type: memory_type, timestamp: timestamp, metadata: metadata } print(fMemory stored. ID: {memory_id}, Type: {memory_type}) return memory_id步驟2兩階段檢索def retrieve(self, query_context, top_k_candidate30, top_n_final5): # 第一階段類(lèi)型預(yù)測(cè)與并行粗篩 predicted_types self._predict_memory_types(query_context) candidate_memories [] for m_type in predicted_types: # 在每種類(lèi)型的命名空間內(nèi)做相似度搜索 query_vector self._get_embedding(query_context) # 復(fù)用編碼函數(shù) results self.index.query( namespacem_type, vectorquery_vector, top_ktop_k_candidate // len(predicted_types), # 平均分配名額 include_metadataTrue ) for match in results.matches: candidate_memories.append({ id: match.id, score: match.score, # 相似度分?jǐn)?shù) type: m_type, metadata: match.metadata }) # 根據(jù)相似度分?jǐn)?shù)初步排序取前 top_k_candidate 個(gè) candidate_memories.sort(keylambda x: x[score], reverseTrue) candidate_memories candidate_memories[:top_k_candidate] # 第二階段基于LLM的信息論精排 ranked_memories self._rerank_by_information_value(query_context, candidate_memories, top_n_final) # 獲取最終記憶的完整內(nèi)容 final_memories_with_content [] for mem in ranked_memories: full_memory self.memory_store.get(mem[id], {}) full_memory.update(mem) # 合并檢索分?jǐn)?shù)和精排分?jǐn)?shù) final_memories_with_content.append(full_memory) return final_memories_with_content def _predict_memory_types(self, context): # 使用LLM預(yù)測(cè)最相關(guān)的1-3個(gè)記憶類(lèi)型 prompt f 你是一個(gè)研究助理的記憶系統(tǒng)。根據(jù)用戶(hù)當(dāng)前的工作上下文判斷他最可能需要回憶哪種類(lèi)型的過(guò)往信息。 可選的記憶類(lèi)型有{list(self.defined_types)}。 當(dāng)前上下文{context} 請(qǐng)直接輸出最相關(guān)的1到3個(gè)記憶類(lèi)型用逗號(hào)分隔。不要輸出其他任何文字。 # 調(diào)用LLM API (如OpenAI ChatCompletion) response call_llm(prompt) types [t.strip() for t in response.split(,)] return types def _rerank_by_information_value(self, context, candidates, top_n): # 構(gòu)建Prompt讓LLM根據(jù)信息價(jià)值對(duì)候選記憶排序 candidate_texts [] for cand in candidates: mem_text self.memory_store[cand[id]][text][:200] # 取摘要 candidate_texts.append(f[ID: {cand[id]}, Type: {cand[type]}] {mem_text}) prompt f 你是一個(gè)研究助理的記憶評(píng)估器。當(dāng)前任務(wù)上下文是{context} 以下是系統(tǒng)初步檢索到的一些過(guò)往記憶片段ID、類(lèi)型和摘要 {chr(10).join(candidate_texts)} 你的任務(wù)是評(píng)估每段記憶對(duì)于處理當(dāng)前上下文任務(wù)所提供的信息價(jià)值。請(qǐng)思考哪段記憶最能幫助理解現(xiàn)狀、做出決策或避免錯(cuò)誤 請(qǐng)嚴(yán)格按照信息價(jià)值從高到低的順序輸出這些記憶的ID。只輸出ID每行一個(gè)共輸出{top_n}個(gè)。 ranked_ids_response call_llm(prompt) ranked_ids ranked_ids_response.strip().split(\n)[:top_n] # 按照LLM排序的結(jié)果重新組織候選記憶 ranked_memories [] for rid in ranked_ids: for cand in candidates: if cand[id] rid: ranked_memories.append(cand) break return ranked_memories步驟3記憶融合與呈現(xiàn)def synthesize_memory(self, context, retrieved_memories): # 將檢索到的記憶格式化成文本 memories_text for i, mem in enumerate(retrieved_memories): memories_text f{i1}. [類(lèi)型{mem[type]}] {mem[text]}\n prompt f 你是一個(gè)研究助理的記憶合成器。當(dāng)前助理正在處理{context} 系統(tǒng)檢索到了以下相關(guān)的歷史記憶片段 {memories_text} 請(qǐng)綜合這些記憶提煉出對(duì)處理當(dāng)前任務(wù)最關(guān)鍵的洞察、建議或警告。輸出應(yīng)簡(jiǎn)潔、直接聚焦于輔助決策。 輸出格式 【關(guān)鍵洞察總結(jié)】 1. ... 2. ... 【行動(dòng)建議】 - ... - ... synthesis call_llm(prompt) return synthesis4.4 使用示例# 初始化 assistant MemantoLite(pc_key, openai_key, research-assistant-index) # 1. 存儲(chǔ)記憶 assistant.encode_and_store( text嘗試用Transformer模型在數(shù)據(jù)集A上做分類(lèi)準(zhǔn)確率達(dá)到92%但推理速度較慢。, memory_typeExperimentResult, metadata{project: 模型優(yōu)化, metric: accuracy 0.92, latency high} ) assistant.encode_and_store( text論文《FastFormers》提出使用知識(shí)蒸餾加速Transformer值得嘗試。, memory_typeLiteratureNote ) # 2. 當(dāng)需要解決新問(wèn)題時(shí)進(jìn)行檢索 current_context 當(dāng)前項(xiàng)目需要優(yōu)化模型推理速度同時(shí)希望保持準(zhǔn)確率。 relevant_memories assistant.retrieve(current_context, top_k_candidate20, top_n_final3) # 3. 融合記憶獲得決策支持 advice assistant.synthesize_memory(current_context, relevant_memories) print(advice) # 輸出可能類(lèi)似 # 【關(guān)鍵洞察總結(jié)】 # 1. 我們之前的模型在數(shù)據(jù)集A上準(zhǔn)確率高92%但存在推理速度慢的問(wèn)題。 # 2. 已有文獻(xiàn)《FastFormers》提出了通過(guò)知識(shí)蒸餾加速Transformer的方法。 # 【行動(dòng)建議】 # - 優(yōu)先調(diào)研《FastFormers》中的知識(shí)蒸餾方案評(píng)估其應(yīng)用于我們模型的可行性。 # - 設(shè)計(jì)實(shí)驗(yàn)對(duì)比蒸餾后模型的準(zhǔn)確率-速度權(quán)衡。5. 性能優(yōu)化、常見(jiàn)問(wèn)題與避坑指南5.1 性能瓶頸與優(yōu)化策略檢索延遲問(wèn)題兩階段檢索尤其是LLM精排步驟耗時(shí)可能很長(zhǎng)。優(yōu)化緩存對(duì)常見(jiàn)的查詢(xún)上下文及其檢索結(jié)果進(jìn)行緩存。異步精排主線(xiàn)程返回粗篩結(jié)果后異步進(jìn)行精排并更新緩存下次請(qǐng)求時(shí)使用。簡(jiǎn)化價(jià)值模型用小型神經(jīng)網(wǎng)絡(luò)如微調(diào)的BERT替代LLM進(jìn)行精排打分雖然表達(dá)能力稍弱但速度快幾個(gè)數(shù)量級(jí)。限制候選集嚴(yán)格控制第一階段返回的候選記憶數(shù)量如Top-30。存儲(chǔ)成本與擴(kuò)展性問(wèn)題為每種類(lèi)型維護(hù)獨(dú)立的向量索引可能增加存儲(chǔ)和管理開(kāi)銷(xiāo)。優(yōu)化冷熱分層將很少訪(fǎng)問(wèn)的舊記憶從昂貴的向量索引轉(zhuǎn)移到廉價(jià)的對(duì)象存儲(chǔ)如S3只保留元數(shù)據(jù)在檢索系統(tǒng)內(nèi)。需要時(shí)再臨時(shí)加載。類(lèi)型合并將相關(guān)性高、檢索模式相似的記憶類(lèi)型合并到同一個(gè)命名空間。向量壓縮使用乘積量化PQ等算法壓縮嵌入向量犧牲極小精度換取大幅存儲(chǔ)節(jié)省。類(lèi)型體系僵化問(wèn)題預(yù)定義的類(lèi)型體系可能無(wú)法覆蓋所有新興的記憶種類(lèi)。優(yōu)化動(dòng)態(tài)類(lèi)型發(fā)現(xiàn)引入聚類(lèi)算法自動(dòng)發(fā)現(xiàn)記憶中的潛在類(lèi)別并建議給管理員添加到類(lèi)型體系中。混合類(lèi)型允許一條記憶擁有多個(gè)類(lèi)型標(biāo)簽增加檢索靈活性。5.2 常見(jiàn)問(wèn)題與排查問(wèn)題現(xiàn)象可能原因排查與解決思路檢索結(jié)果總是同一類(lèi)型類(lèi)型預(yù)測(cè)模塊偏差過(guò)大或某種類(lèi)型記憶過(guò)多導(dǎo)致相似度壟斷。1. 檢查類(lèi)型預(yù)測(cè)Prompt或模型的訓(xùn)練數(shù)據(jù)是否均衡。2. 在粗篩階段為不同類(lèi)型設(shè)置不同的相似度閾值或配額。3. 在精排階段提高多樣性權(quán)重。精排結(jié)果與直覺(jué)不符信息論價(jià)值評(píng)估模型或Prompt未能準(zhǔn)確反映任務(wù)目標(biāo)。1. 收集bad cases分析價(jià)值評(píng)估的失誤點(diǎn)。2. 優(yōu)化精排Prompt更明確地定義“信息價(jià)值”如“有助于避免已知錯(cuò)誤”、“能直接啟發(fā)解決方案”。3. 如果使用神經(jīng)網(wǎng)絡(luò)需要更多、更高質(zhì)量的訓(xùn)練數(shù)據(jù)。系統(tǒng)響應(yīng)速度隨時(shí)間變慢記憶總量增長(zhǎng)檢索和存儲(chǔ)壓力增大。1. 實(shí)施記憶歸檔策略將過(guò)期、低價(jià)值記憶移出主索引。2. 檢查向量數(shù)據(jù)庫(kù)索引是否需重建如HNSW參數(shù)調(diào)整。3. 對(duì)記憶存儲(chǔ)進(jìn)行分庫(kù)分表。記憶關(guān)聯(lián)性弱無(wú)法回答復(fù)雜問(wèn)題記憶之間缺乏顯式的鏈接僅靠檢索無(wú)法完成多跳推理。1. 在存儲(chǔ)時(shí)顯式提取記憶中的實(shí)體和關(guān)系存入圖數(shù)據(jù)庫(kù)。2. 檢索時(shí)先檢索核心記憶再通過(guò)圖查詢(xún)關(guān)聯(lián)記憶一并送入融合模塊。5.3 設(shè)計(jì)心得與避坑指南類(lèi)型設(shè)計(jì)先行切勿后補(bǔ)在寫(xiě)第一行代碼前花足夠時(shí)間與領(lǐng)域?qū)＜乙黄鹪O(shè)計(jì)記憶類(lèi)型體系。好的類(lèi)型體系是系統(tǒng)成功的基石。一個(gè)實(shí)用的方法是復(fù)盤(pán)過(guò)去一段時(shí)間的工作日志或?qū)υ?huà)記錄人工對(duì)其進(jìn)行分類(lèi)歸納出高頻、有區(qū)分度的類(lèi)別。信息論檢索并非銀彈在任務(wù)目標(biāo)非常明確、信息需求簡(jiǎn)單的場(chǎng)景下傳統(tǒng)的相似度檢索可能更直接有效。信息論檢索適用于決策復(fù)雜、信息價(jià)值難以用表面相似度衡量的長(zhǎng)視野任務(wù)。初期可以采用“相似度檢索LLM事后評(píng)估”的混合模式驗(yàn)證其必要性。重視記憶的“元數(shù)據(jù)”除了類(lèi)型和時(shí)間戳考慮記錄記憶的置信度來(lái)源是否可靠、情感效價(jià)成功/失敗經(jīng)驗(yàn)、關(guān)聯(lián)實(shí)體等。這些元數(shù)據(jù)可以作為精排階段的重要特征。設(shè)計(jì)記憶更新與遺忘機(jī)制不是所有記憶都值得永久保存。設(shè)計(jì)策略來(lái)合并相似記憶、降權(quán)陳舊記憶、或主動(dòng)遺忘被證明無(wú)效或過(guò)時(shí)的信息。這能防止記憶庫(kù)膨脹并保持其相關(guān)性。評(píng)估體系是關(guān)鍵如何衡量Memanto系統(tǒng)的成功不能只看檢索精度。應(yīng)建立面向任務(wù)的評(píng)估指標(biāo)例如使用記憶后智能體任務(wù)完成率的提升、決策時(shí)間的縮短、重復(fù)錯(cuò)誤發(fā)生頻率的下降等。A/B測(cè)試是驗(yàn)證其價(jià)值的有效方法。構(gòu)建Memanto這樣的系統(tǒng)是一個(gè)持續(xù)迭代的過(guò)程。它不僅僅是一個(gè)工具更是一種讓智能體具備“經(jīng)驗(yàn)學(xué)習(xí)”和“情境理解”能力的架構(gòu)范式。從簡(jiǎn)單的類(lèi)型化存儲(chǔ)開(kāi)始逐步引入更智能的檢索與推理機(jī)制你會(huì)發(fā)現(xiàn)智能體的“記憶力”和“判斷力”將獲得質(zhì)的飛躍。