一、Agent自進(jìn)化RSI簡(jiǎn)述Agent自進(jìn)化RSI已成為L(zhǎng)LM Agent在垂直領(lǐng)域可靠落地的最熱門(mén)前沿課題之一其核心思路是讓Agent在運(yùn)行過(guò)程中不斷自我修正做到越用越好、越用越聰明。目前行業(yè)共識(shí)正從投入巨資打造全能行業(yè)模型轉(zhuǎn)向推動(dòng)通用模型在具體場(chǎng)景中持續(xù)自我進(jìn)化。自我修正的核心方法論可以概括為一句話(huà)不只看結(jié)果更要看過(guò)程。具體來(lái)說(shuō)就是充分利用以下三類(lèi)信息源執(zhí)行過(guò)程軌跡Agent在完成任務(wù)過(guò)程中的每一步推理、每一次工具調(diào)用、每一個(gè)中間狀態(tài)構(gòu)成了豐富的“過(guò)程數(shù)據(jù)”。這些軌跡中隱藏著比最終結(jié)果更豐富的信息——成功的步驟可復(fù)用失敗的步驟可標(biāo)記和規(guī)避。歷史記憶跨任務(wù)、跨時(shí)間積累的經(jīng)驗(yàn)庫(kù)包括過(guò)去的成功案例、失敗教訓(xùn)、環(huán)境認(rèn)知等讓Agent不必每次從零開(kāi)始。人工參與的反饋領(lǐng)域?qū)＜覍?duì)Agent行為的糾正、評(píng)價(jià)和引導(dǎo)。在金融等專(zhuān)業(yè)領(lǐng)域人類(lèi)專(zhuān)家的經(jīng)驗(yàn)和直覺(jué)仍然是不可替代的稀缺資源將這些隱性知識(shí)顯性化是Agent進(jìn)化的重要推力。從這些信息中抽取出有效且明確的信號(hào)即“顯性信噪”后有兩條核心的固化路徑參數(shù)固化訓(xùn)練路徑將經(jīng)驗(yàn)通過(guò)后訓(xùn)練內(nèi)化到模型參數(shù)中。優(yōu)點(diǎn)是模型推理時(shí)無(wú)需外部依賴(lài)經(jīng)驗(yàn)已成為模型“本能”缺點(diǎn)是訓(xùn)練成本高、迭代周期長(zhǎng)。外掛固化非訓(xùn)練路徑將經(jīng)驗(yàn)沉淀為外掛Harness的上下文、記憶或可復(fù)用技能Skill。優(yōu)點(diǎn)是靈活輕量、可快速迭代缺點(diǎn)是依賴(lài)檢索和上下文窗口。兩條路徑并非互斥而是協(xié)同進(jìn)步的外掛記憶和技能庫(kù)的不斷積累為下一輪參數(shù)固化提供了高質(zhì)量訓(xùn)練數(shù)據(jù)來(lái)源而參數(shù)能力的提升又讓Agent能更高效地利用外掛知識(shí)。這種“參數(shù)-外掛”雙循環(huán)協(xié)同進(jìn)化模式構(gòu)成了Agent自進(jìn)化體系的核心架構(gòu)。二、代表性方法探研當(dāng)前Agent自進(jìn)化方向上涌現(xiàn)了大量研究。按照是否進(jìn)行模型參數(shù)更新可大致分為“訓(xùn)練”與“非訓(xùn)練”兩大類(lèi)。以下選擇五篇代表性論文進(jìn)行簡(jiǎn)要介紹分別代表了這兩類(lèi)路徑的前沿探索。1. SEED自我演化的在線(xiàn)策略蒸餾訓(xùn)練類(lèi)SEEDSelf-Evolving On-Policy Distillation來(lái)自清華大學(xué)等機(jī)構(gòu)解決的核心問(wèn)題是強(qiáng)化學(xué)習(xí)訓(xùn)練Agent時(shí)往往只在任務(wù)結(jié)束后給一個(gè)“成功/失敗”的籠統(tǒng)獎(jiǎng)勵(lì)A(yù)gent根本不知道自己幾十個(gè)動(dòng)作里哪個(gè)做對(duì)了、哪個(gè)做錯(cuò)了——就像老師只告訴你期末考試及格與否卻不告訴你哪道題錯(cuò)了。SEED的核心思路可以用一句話(huà)概括讓AI做自己的私教。具體做法分為兩步第一步先用強(qiáng)模型如GLM-5.2微調(diào)教會(huì)待優(yōu)化模型“事后復(fù)盤(pán)”的能力。對(duì)一批歷史軌跡寫(xiě)“事后總結(jié)”——成功的總結(jié)套路失敗的總結(jié)教訓(xùn)然后讓待優(yōu)化模型學(xué)著寫(xiě)這種總結(jié)。第二步則是精髓——讓模型邊訓(xùn)練邊自我復(fù)盤(pán)邊內(nèi)化。每次訓(xùn)練時(shí)先用當(dāng)前模型跑一批任務(wù)得到軌跡然后讓同一個(gè)模型“換個(gè)身份”當(dāng)分析員回頭看自己的軌跡提煉出“事后技能”關(guān)鍵的一步——把同一批動(dòng)作樣本放在兩個(gè)不同背景下重新打分一個(gè)版本給模型看事后技能當(dāng)“老師”另一個(gè)不給看當(dāng)“學(xué)生”。兩個(gè)版本的打分差距就是該動(dòng)作“該不該做”的精細(xì)信號(hào)被攤到軌跡中每一個(gè)token上作為稠密學(xué)習(xí)損失并與GRPO的環(huán)境獎(jiǎng)勵(lì)損失結(jié)合一起優(yōu)化模型。最妙的設(shè)計(jì)是事后技能只在訓(xùn)練時(shí)當(dāng)“私教”推理時(shí)完全消失所有經(jīng)驗(yàn)已被“吃進(jìn)”模型參數(shù)里。模型越訓(xùn)越強(qiáng)后既能跑得更好、復(fù)盤(pán)也復(fù)得更好兩者手拉手一起進(jìn)化——這就是“自演化”的精髓。消融實(shí)驗(yàn)還發(fā)現(xiàn)用靜態(tài)經(jīng)驗(yàn)庫(kù)替代“自己當(dāng)下跑出來(lái)的經(jīng)驗(yàn)”掉分最狠恰說(shuō)明on-policy的自演化才是這套方法的命根子。2. LLM-as-a-Coach體驗(yàn)式學(xué)習(xí)的教練模型訓(xùn)練類(lèi)LLM-as-a-Coach來(lái)自微軟研究院提出了“體驗(yàn)式學(xué)習(xí)”Experiential Learning, EL框架。傳統(tǒng)RL用評(píng)估模型Judge給答案打分只輸出一個(gè)標(biāo)量分?jǐn)?shù)但評(píng)估過(guò)程中產(chǎn)生的大量文本分析被全部丟棄了。這就是信息瓶頸兩個(gè)答案同樣得7分但一個(gè)邏輯更強(qiáng)、一個(gè)文筆更好優(yōu)化器無(wú)從區(qū)分。EL的核心創(chuàng)新是把評(píng)估模型從“裁判”升級(jí)為“教練”。教練的產(chǎn)出不只是一個(gè)分?jǐn)?shù)而是一段“可遷移的經(jīng)驗(yàn)知識(shí)”——通用的、可復(fù)用在類(lèi)似任務(wù)上的改進(jìn)建議。該框架涉及三類(lèi)模型策略模型優(yōu)化對(duì)象中小規(guī)模、評(píng)估模型越強(qiáng)越好必然優(yōu)于策略模型、教師模型策略模型的初始凍結(jié)副本。訓(xùn)練時(shí)將經(jīng)驗(yàn)知識(shí)作為額外上下文輸入教師模型教師與策略模型對(duì)同一回答分別計(jì)算每個(gè)位置下一個(gè)token的概率分布然后計(jì)算兩個(gè)分布的反向KL散度作為損失讓策略分布向教師靠攏。這段經(jīng)驗(yàn)知識(shí)的信息量是標(biāo)量獎(jiǎng)勵(lì)的數(shù)千倍能提供遠(yuǎn)超分?jǐn)?shù)的稠密監(jiān)督信號(hào)。實(shí)驗(yàn)顯示EL在開(kāi)放式任務(wù)上一致優(yōu)于基于評(píng)分的RL泛化性更好不易出現(xiàn)“刷分”reward hacking。但EL也有局限Coach模型質(zhì)量決定上限錯(cuò)誤放大比RL更嚴(yán)重反復(fù)迭代會(huì)導(dǎo)致基礎(chǔ)指令遵循能力下降訓(xùn)練成本大幅增加且經(jīng)驗(yàn)提取有效性依賴(lài)Prompt工程。3. RHI遞歸式Harness自改進(jìn)非訓(xùn)練類(lèi)RHIRecursive Harness Self-Improvement來(lái)自Sakana AI和UC Berkeley聚焦于多Agent協(xié)同場(chǎng)景?，F(xiàn)在很多復(fù)雜編碼任務(wù)不是單個(gè)模型獨(dú)立完成的而是一群Agent分工合作。這套分工協(xié)作的“規(guī)矩”行話(huà)叫Harness編排層/外殼層包含角色role、工作流workflow、信息契約contract、執(zhí)行步hop等組件。廠商給的通用Harness模板往往不夠好用而用戶(hù)自己寫(xiě)一套特化規(guī)矩又太難。RHI的思路是讓這套規(guī)矩自己進(jìn)化。具體做法是一個(gè)四步循環(huán)用當(dāng)前Harness跑一遍任務(wù)生成代碼倉(cāng)庫(kù)找個(gè)裁判對(duì)比本次結(jié)果和上次結(jié)果判輸贏把歷次輸贏記錄攢起來(lái)當(dāng)“勢(shì)頭”參考讓一個(gè)“Harness優(yōu)化器”AI看著歷史記錄把規(guī)矩文本改一版進(jìn)入下一輪。這里有兩個(gè)巧妙的設(shè)計(jì)。第一只跟昨天的自己比不搞多方案PK——以前的方法搞一堆候選互相競(jìng)爭(zhēng)成本是平方級(jí)別。RHI只跟前一輪比單次信號(hào)雖噪但攢成歷史就很穩(wěn)成本從平方降到常數(shù)。第二評(píng)判標(biāo)準(zhǔn)不直接告訴“改規(guī)矩的AI”優(yōu)化器只看裁判的輸贏記錄RHI是隱式地往評(píng)估標(biāo)準(zhǔn)靠而不是直接拿獎(jiǎng)勵(lì)信號(hào)去最大化——這反而更穩(wěn)。此外Harness寫(xiě)成文本prompt而非代碼讓任何閉源的coding agent都能用。實(shí)驗(yàn)效果令人驚訝Claude Sonnet配RHI打敗了同模型開(kāi)最大推理強(qiáng)度的版本Opus配RHI連官方最強(qiáng)的ultracode都打不過(guò)它且推理成本降60%。而且輸出token數(shù)基本不變——增益不是來(lái)自“想得更久”而是來(lái)自“配合得更好”。論文還提出了一個(gè)信息論假設(shè)來(lái)解釋RHI的隱含優(yōu)化目標(biāo)讓組件跟任務(wù)更相關(guān)加法項(xiàng)讓組件之間少重復(fù)減法項(xiàng)——既要更懂活兒又要不啰嗦。核心洞察是真正決定多Agent效率的不是每個(gè)Agent的思考量而是Agent之間的信息流。4. MCSE從記憶到技能的證據(jù)驅(qū)動(dòng)協(xié)同進(jìn)化非訓(xùn)練類(lèi)MCSEMemory-Skill Co-Evolution來(lái)自MemTensor和中國(guó)科學(xué)技術(shù)大學(xué)等機(jī)構(gòu)解決的核心問(wèn)題是現(xiàn)有Agent的記憶系統(tǒng)大多是“被動(dòng)檢索”——把過(guò)去的交互記錄原樣塞回上下文窗口讓Agent重新推理既費(fèi)Token又容易抓錯(cuò)重點(diǎn)。即便一個(gè)Agent裝了十次插件、找了十次測(cè)試文件第十一次還是從頭摸索。MCSE構(gòu)建了三級(jí)記憶層級(jí)L1軌跡記憶每一步的狀態(tài)、動(dòng)作、觀察、自我反思、價(jià)值不存原始觀察只存歸一化證據(jù)是最底層的“證據(jù)卡片”所有高層抽象都必須能追溯到L1。L2策略記憶從跨回合軌跡中歸納出的可復(fù)用“套路”——觸發(fā)條件、步驟、驗(yàn)證規(guī)則、適用邊界。L3環(huán)境認(rèn)知抽象出“這個(gè)環(huán)境長(zhǎng)什么樣”——如目錄結(jié)構(gòu)、包管理器類(lèi)型、系統(tǒng)約束等聲明式知識(shí)。關(guān)鍵設(shè)計(jì)是技能結(jié)晶的門(mén)控機(jī)制一個(gè)L2策略要“晉升”成技能卡需過(guò)兩道關(guān)——一是確實(shí)有正收益用了它成功率更高二是近期表現(xiàn)穩(wěn)定不是偶爾蒙對(duì)。過(guò)關(guān)后結(jié)晶成一張“技能卡”帶有觸發(fā)條件、執(zhí)行過(guò)程、驗(yàn)證規(guī)則、適用邊界、證據(jù)出處、決策指引含反模式、可靠性評(píng)分。技能還有生命周期管理試用→活躍→歸檔用砸了就降級(jí)。MCSE另一個(gè)巧妙設(shè)計(jì)是“反思加權(quán)價(jià)值回填”Agent每一步都寫(xiě)一句自我反思然后用LLM給反思的靠譜程度打分——反思越實(shí)在、越跟結(jié)果因果相關(guān)權(quán)重越高。最后用這個(gè)權(quán)重把終端成功/失敗的反饋“倒推”分?jǐn)偟矫恳徊降玫矫恳徊降木?xì)價(jià)值。實(shí)驗(yàn)中MCSE在EvoAgentBench五個(gè)領(lǐng)域Pass1均第一且展現(xiàn)出跨域遷移能力和終身進(jìn)化特征。5. AgentBrew強(qiáng)師出高徒的知識(shí)釀造非訓(xùn)練類(lèi)AgentBrew來(lái)自香港大學(xué)解決了一個(gè)非常實(shí)際的部署場(chǎng)景訓(xùn)練期能用強(qiáng)模型Teacher但生產(chǎn)環(huán)境只能跑弱模型Student且不能更新弱模型參數(shù)。環(huán)境只給二元反饋通過(guò)/失敗沒(méi)有專(zhuān)家示范軌跡。AgentBrew提出了一套“釀造-服務(wù)”框架。釀造階段當(dāng)弱模型執(zhí)行任務(wù)失敗時(shí)成功則不需要介入強(qiáng)模型介入分析失敗軌跡。關(guān)鍵創(chuàng)新是“學(xué)生感知”——強(qiáng)模型必須站在弱模型的認(rèn)知水平上去寫(xiě)操作指南顆粒度校準(zhǔn)到弱模型強(qiáng)模型認(rèn)為“顯然”的推理步驟必須拆開(kāi)寫(xiě)清楚概念用弱模型熟悉的詞匯表達(dá)操作具體到弱模型可直接執(zhí)行的顆粒度。然后通過(guò)“Ralph循環(huán)”驗(yàn)證將候選筆記塞回弱模型讓它在同一任務(wù)上重跑——只有確實(shí)幫助弱模型從失敗翻轉(zhuǎn)為成功這條筆記才算“釀造成功”存入外部記憶庫(kù)。服務(wù)階段弱模型推理時(shí)從凍結(jié)的記憶庫(kù)中檢索Top-K筆記拼入prompt全程不需要強(qiáng)模型參與也不需要更新參數(shù)。實(shí)驗(yàn)顯示弱模型加釀造后只跑一次就追平甚至超過(guò)Reflexion的多次反思在Terminal-Bench真實(shí)任務(wù)上弱模型加釀造能以三分之二的API成本取得比強(qiáng)模型更高的通過(guò)率——知識(shí)的“可執(zhí)行性”比“深度”更重要。三、LLM Agent自進(jìn)化方法總結(jié)綜合以上五篇代表性工作可以提煉出Agent自進(jìn)化方法的幾個(gè)核心共識(shí)第一從“黑盒優(yōu)化”到“白盒學(xué)習(xí)”。所有方法的總體思路都是不只看結(jié)果黑盒優(yōu)化而是從推理決策過(guò)程軌跡和人類(lèi)反饋中在低信噪比的情況下用各種方法抽取出顯性信噪。SEED通過(guò)on-policy事后總結(jié)、LLM-as-a-Coach通過(guò)教練經(jīng)驗(yàn)知識(shí)、RHI通過(guò)遞歸歷史對(duì)比、MCSE通過(guò)反思加權(quán)價(jià)值回填、AgentBrew通過(guò)結(jié)構(gòu)化筆記都在打開(kāi)這個(gè)黑盒。即便環(huán)境反饋本身稀疏且嘌雜通過(guò)對(duì)過(guò)程軌跡的精細(xì)分析和人類(lèi)反饋的校準(zhǔn)仍可以提煉出高質(zhì)量的監(jiān)督信號(hào)。第二兩種固化路徑并行發(fā)展。這些顯性信噪要么進(jìn)行模型參數(shù)后訓(xùn)練要么進(jìn)行harness上下文要么沉淀為記憶與技能。訓(xùn)練路徑SEED、LLM-as-a-Coach將經(jīng)驗(yàn)內(nèi)化到模型參數(shù)中推理時(shí)無(wú)需外部依賴(lài)非訓(xùn)練路徑RHI、MCSE、AgentBrew將經(jīng)驗(yàn)外掛到Harness上下文、結(jié)構(gòu)化記憶或技能中靈活輕量。兩條路徑并非對(duì)立而是互補(bǔ)外掛經(jīng)驗(yàn)的持續(xù)積累為參數(shù)固化提供了高質(zhì)量訓(xùn)練數(shù)據(jù)參數(shù)能力的提升又讓Agent更高效地利用外掛知識(shí)。第三On-Policy與Off-Policy各有側(cè)重。On-Policy方法如SEED強(qiáng)調(diào)的“自己當(dāng)下跑出來(lái)的經(jīng)驗(yàn)”重視本次執(zhí)行與自身經(jīng)驗(yàn)確保學(xué)習(xí)信號(hào)與當(dāng)前策略分布一致。Off-Policy方法如AgentBrew的跨任務(wù)記憶庫(kù)、MCSE的跨回合策略歸納重視歷史與別人經(jīng)驗(yàn)的遷移讓Agent站在更宏大的經(jīng)驗(yàn)基礎(chǔ)上。實(shí)踐中兩者結(jié)合——既有即時(shí)反思又有歷史積淀——往往效果最好。第四從“記憶”到“技能”的范式升級(jí)。記憶不應(yīng)只是被動(dòng)檢索的“日記本”而應(yīng)被組織成可執(zhí)行、可驗(yàn)證、可進(jìn)化的“技能”。這一思路貫穿了幾乎所有方法SEED的“事后技能”、RHI的“優(yōu)化后的Harness”、AgentBrew的“結(jié)構(gòu)化筆記”——本質(zhì)上都是將原始經(jīng)驗(yàn)轉(zhuǎn)化為可復(fù)用知識(shí)單元。四、展望Agent自進(jìn)化與領(lǐng)域數(shù)字孿生縱觀當(dāng)前的技術(shù)格局LLM與Agent在產(chǎn)業(yè)垂直領(lǐng)域真正釋放產(chǎn)能目前看來(lái)有兩條最為關(guān)鍵的技術(shù)方向兩者互為支撐、缺一不可第一個(gè)方向是Agent自進(jìn)化。它解決的是“模型如何越用越好”的問(wèn)題。通過(guò)從執(zhí)行軌跡、歷史記憶和人類(lèi)反饋中持續(xù)萃取高質(zhì)量信號(hào)讓Agent的能力隨使用而增長(zhǎng)形成正向飛輪。它讓產(chǎn)業(yè)應(yīng)用不再依賴(lài)“等待下一個(gè)更強(qiáng)的基礎(chǔ)模型發(fā)布”而是讓現(xiàn)有模型在實(shí)戰(zhàn)中自我成長(zhǎng)。第二個(gè)方向是領(lǐng)域數(shù)字孿生許多人稱(chēng)之為“本體”。它解決的是“領(lǐng)域知識(shí)如何被模型高效理解和利用”的問(wèn)題。產(chǎn)業(yè)垂直領(lǐng)域積累了海量結(jié)構(gòu)化與非結(jié)構(gòu)化知識(shí)但這些知識(shí)的組織形式通常面向人類(lèi)閱讀而非面向模型推理。將其以L(fǎng)LM-friendly的方式重構(gòu)為語(yǔ)義結(jié)構(gòu)如知識(shí)圖譜、本體模型可以大幅提升Agent在領(lǐng)域內(nèi)的理解和推理效率。如果說(shuō)Agent自進(jìn)化解決的是“學(xué)習(xí)能力”那么領(lǐng)域數(shù)字孿生解決的就是“學(xué)習(xí)素材”。相信這兩大方向的深度結(jié)合將大幅度推進(jìn)LLM與Agent在金融、醫(yī)療、法律、制造等產(chǎn)業(yè)垂直領(lǐng)域的產(chǎn)能釋放。當(dāng)模型既擁有結(jié)構(gòu)化的領(lǐng)域知識(shí)底座又具備在實(shí)踐中不斷自我修正的能力“AI賦能產(chǎn)業(yè)”才能真正從概念走向現(xiàn)實(shí)。