1. 從 RRSI 說起智能體自我改進(jìn)的“最后一公里”到底卡在哪智能體這兩年火得一塌糊涂從最早的 ReAct 到后來的各種 Agent 框架大家把注意力幾乎全放在了“怎么讓模型多調(diào)幾個工具、多走幾步推理”上。但真正在一線做過智能體落地的人心里都清楚一個智能體能不能長期穩(wěn)定地跑下去靠的不是它某一次任務(wù)完成得多漂亮而是它能不能在反復(fù)執(zhí)行的過程中不退化、不跑偏、不把自己越改越傻。谷歌這篇關(guān)于 RRSI 的論文討論的正是這個被大多數(shù)人忽略的“最后一公里”問題。RRSI 全稱是 Regularized Recursive Self-Improvement翻譯過來就是“正則化遞歸自我改進(jìn)”。名字聽著學(xué)術(shù)但拆開看其實(shí)很樸素遞歸自我改進(jìn)說的是智能體自己改自己、自己優(yōu)化自己的提示詞或策略正則化說的是給這個自我改進(jìn)的過程套上一個約束防止它改著改著就發(fā)散、過擬合、或者陷入自我強(qiáng)化的幻覺里。而 Harness 這個詞是這篇論文里另一個關(guān)鍵概念。在智能體語境下Harness 不是“馬具”那個字面意思它指的是一套包裹在模型外面的執(zhí)行框架——負(fù)責(zé)管理上下文、調(diào)度工具、記錄狀態(tài)、控制循環(huán)、注入約束。你可以把它理解成智能體的“外骨骼”模型是肌肉Harness 是骨骼和神經(jīng)決定這股力氣往哪兒使、使多大、什么時候該停。所以這篇論文真正想解決的問題是當(dāng)智能體具備自我改進(jìn)能力時如何通過 Harness 這一層的正則化設(shè)計(jì)讓遞歸改進(jìn)過程收斂而不是發(fā)散。這個問題聽起來離普通開發(fā)者很遠(yuǎn)但實(shí)際上只要你用過任何帶“自動優(yōu)化提示詞”或“自我反思”功能的智能體框架你就已經(jīng)站在這個問題面前了——只不過大多數(shù)框架選擇了回避而谷歌選擇了正面硬剛。我先把結(jié)論放在前面這篇論文的價值不在于提出了某個驚天動地的新算法而在于它把“智能體自我改進(jìn)的穩(wěn)定性”這件事從工程直覺上升到了有數(shù)學(xué)約束的層面。對于正在做智能體開發(fā)、尤其是做長周期任務(wù)智能體的人來說Harness 這一層的正則化思路是可以直接借鑒到自己的工程實(shí)踐里的。2. Harness 到底是什么和 Agent 的區(qū)別、和框架的關(guān)系2.1 Harness 與 Agent 的區(qū)別別再混著用了熱搜詞里有個高頻問題“harness 和 agent 區(qū)別”。這個問題問得特別好因?yàn)楹芏嗳舜_實(shí)把這兩個概念混為一談。我試著用一句話說清楚Agent 是“誰在做”Harness 是“怎么做”。Agent 指的是那個具備目標(biāo)、能感知環(huán)境、能決策、能行動的主體。它可以是基于大模型的也可以是基于規(guī)則的甚至可以是兩者的混合。而 Harness 是承載 Agent 運(yùn)行的那套工程結(jié)構(gòu)它不負(fù)責(zé)“想”它負(fù)責(zé)“管”——管上下文窗口怎么分配、管工具調(diào)用怎么串行并行、管失敗重試怎么退避、管狀態(tài)怎么持久化、管循環(huán)什么時候該終止。舉個生活化的例子。Agent 就像一個司機(jī)Harness 就是這輛車本身加上交通規(guī)則。司機(jī)決定去哪兒、怎么開但車決定了司機(jī)能開多快、能不能急轉(zhuǎn)彎、油夠不夠、剎車靈不靈。你換一個司機(jī)換模型車還是那輛車你換一輛車換 Harness同一個司機(jī)開出來的效果可能天差地別。這個區(qū)分為什么重要因?yàn)榇蠖鄶?shù)智能體“不好用”的問題根子不在 Agent 層而在 Harness 層。模型能力已經(jīng)夠強(qiáng)了但 Harness 沒設(shè)計(jì)好導(dǎo)致上下文被污染、工具調(diào)用亂序、狀態(tài)丟失、循環(huán)失控。RRSI 這篇論文把 Harness 單獨(dú)拎出來講本身就是一種工程視角的回歸。2.2 Harness 工程的核心職責(zé)拆解既然 Harness 是“管”的那一層那它具體管什么我結(jié)合論文思路和實(shí)際工程經(jīng)驗(yàn)把它拆成五個核心職責(zé)上下文管理決定每一輪往模型里塞什么、塞多少、按什么順序塞。這不是簡單的截?cái)喽且袃?yōu)先級、有摘要、有遺忘策略。工具調(diào)度管理工具調(diào)用的時機(jī)、順序、并發(fā)度、超時和重試。工具不是越多越好Harness 要決定什么時候該調(diào)、什么時候不該調(diào)。狀態(tài)與記憶維護(hù)跨輪次的狀態(tài)包括任務(wù)進(jìn)度、中間結(jié)果、失敗記錄。沒有狀態(tài)管理的智能體每一輪都是失憶的。循環(huán)控制決定遞歸或迭代什么時候繼續(xù)、什么時候停、什么時候回退。這是 RRSI 最關(guān)心的部分。約束注入把正則化、邊界條件、安全規(guī)則注入到每一輪的決策中。這就是論文里“正則化”落地的地方。你會發(fā)現(xiàn)這五件事沒有一件是模型自己能干的全靠 Harness 這層工程結(jié)構(gòu)撐著。所以熱搜里那些“harness engineering”“harness 工程之道”的搜索本質(zhì)上都是在找這套工程結(jié)構(gòu)的實(shí)踐方法。2.3 為什么 RRSI 必須依賴 Harness 才能成立遞歸自我改進(jìn)聽起來很美好智能體執(zhí)行任務(wù)反思結(jié)果改進(jìn)自己的策略再執(zhí)行再改進(jìn)循環(huán)往復(fù)越來越強(qiáng)。但如果沒有 Harness 這層約束這個循環(huán)幾乎必然出問題。原因很簡單自我改進(jìn)是一個正反饋過程而正反饋在沒有阻尼的情況下一定發(fā)散。智能體第一次改進(jìn)可能讓效果提升 10%第二次它基于改進(jìn)后的結(jié)果再改可能提升 15%但第三次它可能就開始“過度擬合”上一次的成功經(jīng)驗(yàn)把一些偶然因素當(dāng)成必然規(guī)律改著改著就偏了。更糟糕的是如果改進(jìn)方向本身是錯的遞歸會把錯誤放大幾輪之后智能體的行為可能完全不可控。Harness 在這里的作用就是提供“阻尼”。它通過正則化手段限制每一輪改進(jìn)的幅度、約束改進(jìn)的方向、保留歷史版本用于回退、在檢測到發(fā)散趨勢時強(qiáng)制收斂。論文里提到的正則化遞歸自我改進(jìn)核心就是這套阻尼機(jī)制的設(shè)計(jì)。3. 正則化遞歸自我改進(jìn)的核心機(jī)制拆解3.1 遞歸自我改進(jìn)的基本循環(huán)長什么樣在講正則化之前得先把“遞歸自我改進(jìn)”這個循環(huán)本身說清楚。論文里的描述比較學(xué)術(shù)我把它翻譯成工程語言大概是這么四步執(zhí)行智能體在當(dāng)前策略下執(zhí)行任務(wù)產(chǎn)生軌跡和結(jié)果。評估對執(zhí)行結(jié)果進(jìn)行評估得到反饋信號。這個信號可以是任務(wù)成功率、可以是人工打分、也可以是另一個模型給的評價。改進(jìn)基于反饋信號智能體修改自己的策略。策略可以是提示詞、可以是工具選擇邏輯、可以是規(guī)劃模板。替換用改進(jìn)后的策略替換舊策略進(jìn)入下一輪執(zhí)行。這個循環(huán)跑一輪叫“一次自我改進(jìn)”跑多輪就是“遞歸”。聽起來很直接但魔鬼全在細(xì)節(jié)里。比如改進(jìn)的粒度是多大是改整個提示詞還是只改其中一段評估信號可靠嗎如果評估本身有噪聲改進(jìn)就會跟著噪聲走。替換是直接覆蓋還是保留舊版本如果新版本更差怎么辦這些問題在沒有正則化的樸素遞歸里幾乎無解。而 RRSI 的貢獻(xiàn)就是給每一步都加上了約束。3.2 正則化到底正則了什么三個層面的約束論文里“正則化”這個詞用得比較寬泛我理解它實(shí)際上在三個層面同時施加約束第一層改進(jìn)幅度約束。每一輪自我改進(jìn)策略的變化量不能太大。這就像梯度下降里的學(xué)習(xí)率步子邁太大容易跳過最優(yōu)點(diǎn)。具體實(shí)現(xiàn)上可以限制提示詞修改的 token 數(shù)量、限制工具配置的變更范圍、或者要求改進(jìn)必須是對舊策略的“增量修補(bǔ)”而非“推倒重來”。第二層改進(jìn)方向約束。不是所有能提升當(dāng)前任務(wù)表現(xiàn)的改進(jìn)都是好改進(jìn)。有些改進(jìn)會讓智能體在特定任務(wù)上表現(xiàn)更好但泛化能力下降。正則化要求改進(jìn)方向必須與“通用能力”保持一致避免過擬合到某類任務(wù)。論文里用了一個類似“一致性正則化”的機(jī)制要求改進(jìn)后的策略在歷史任務(wù)集上也不能退化。第三層改進(jìn)頻率約束。不是每一輪都要改進(jìn)。如果評估信號置信度低或者當(dāng)前策略已經(jīng)接近局部最優(yōu)強(qiáng)行改進(jìn)反而有害。正則化機(jī)制會判斷“這一輪值不值得改”不值得就跳過保持策略穩(wěn)定。這三層約束疊加起來才讓遞歸自我改進(jìn)從“大概率發(fā)散”變成“有條件收斂”。3.3 為什么說“一致性正則化”是這篇論文最實(shí)用的部分熱搜詞里出現(xiàn)了“一致性正則化機(jī)制”這個詞在論文里確實(shí)是重點(diǎn)。我個人的判斷是這是整篇論文里最容易被工程落地、也最實(shí)用的部分。一致性正則化的核心思想是改進(jìn)后的策略不僅要在新任務(wù)上表現(xiàn)好還要在舊任務(wù)上不掉鏈子。這聽起來像廢話但實(shí)際操作中智能體自我改進(jìn)最容易犯的錯就是“學(xué)了新的忘了舊的”。它可能為了搞定當(dāng)前這個難題把提示詞改得特別針對這類問題結(jié)果換一個任務(wù)就完全不會了。論文里的做法是維護(hù)一個“歷史任務(wù)緩沖區(qū)”每次改進(jìn)后都要在緩沖區(qū)上跑一遍如果舊任務(wù)表現(xiàn)下降超過閾值就拒絕這次改進(jìn)或者回退。這個機(jī)制在工程上實(shí)現(xiàn)起來并不復(fù)雜但效果非常明顯。我自己在做的智能體項(xiàng)目里借鑒了這個思路用一個固定的小型回歸測試集來卡每次提示詞變更穩(wěn)定性提升了一大截。提示回歸測試集不用大10 到 20 個代表性任務(wù)就夠關(guān)鍵是覆蓋不同類型的場景并且每次改進(jìn)都必須跑一遍不能偷懶。4. Harness 工程落地從論文思路到可運(yùn)行代碼4.1 一個最小可用的 RRSI Harness 結(jié)構(gòu)論文給的是理論框架落到工程上我們需要一個具體的 Harness 結(jié)構(gòu)。我基于論文思路和實(shí)際經(jīng)驗(yàn)設(shè)計(jì)了一個最小可用的版本核心模塊如下class RRSIHarness: def __init__(self, agent, evaluator, regressor, task_buffer): self.agent agent # 執(zhí)行任務(wù)的智能體 self.evaluator evaluator # 評估執(zhí)行結(jié)果 self.regressor regressor # 正則化約束檢查 self.task_buffer task_buffer # 歷史任務(wù)緩沖區(qū) self.strategy_history [] # 策略版本歷史 def run_cycle(self, task): # 1. 執(zhí)行 trajectory self.agent.execute(task, self.agent.current_strategy) # 2. 評估 score self.evaluator.evaluate(trajectory, task) # 3. 生成候選改進(jìn) candidate self.agent.propose_improvement(trajectory, score) # 4. 正則化檢查 if not self.regressor.check(candidate, self.agent.current_strategy, self.task_buffer): return score # 拒絕改進(jìn)保持原策略 # 5. 回歸驗(yàn)證 if self.regressor.regression_test(candidate, self.task_buffer): self.strategy_history.append(self.agent.current_strategy) self.agent.current_strategy candidate return score這個結(jié)構(gòu)看起來簡單但每一行背后都有講究。比如propose_improvement不能是讓模型自由發(fā)揮必須給它明確的改進(jìn)模板和邊界regressor.check要同時檢查改進(jìn)幅度和方向regression_test要能快速跑完且結(jié)果可比。4.2 改進(jìn)幅度約束的具體參數(shù)怎么定改進(jìn)幅度約束是正則化的第一道閘門但“幅度”怎么量化論文里沒有給死參數(shù)需要根據(jù)實(shí)際場景調(diào)。我分享幾個我試過的量化方式改進(jìn)對象幅度量化方式建議閾值說明提示詞修改 token 數(shù) / 原 token 數(shù)小于 20%超過就拆成多輪小改工具配置變更的工具數(shù)量小于 2 個一次只調(diào)一個工具規(guī)劃模板結(jié)構(gòu)變更的節(jié)點(diǎn)數(shù)小于 30%保留主干只調(diào)分支評估權(quán)重權(quán)重向量的 L2 距離小于 0.1防止評估標(biāo)準(zhǔn)漂移這些閾值不是拍腦袋來的是我在實(shí)際項(xiàng)目里反復(fù)試出來的。核心原則是寧可小步多走不要大步跳。遞歸自我改進(jìn)的輪次可以多但每一輪的變化必須可控。一旦某一輪變化過大后面幾輪基本都會在“還債”得不償失。注意閾值不是固定的任務(wù)復(fù)雜度越高閾值應(yīng)該越小。因?yàn)閺?fù)雜任務(wù)里一個小改動可能引發(fā)連鎖反應(yīng)放大效應(yīng)比簡單任務(wù)強(qiáng)得多。4.3 歷史任務(wù)緩沖區(qū)怎么建才有效歷史任務(wù)緩沖區(qū)是一致性正則化的基礎(chǔ)但很多人的緩沖區(qū)建得不對導(dǎo)致回歸測試形同虛設(shè)。我踩過的坑主要有三個坑一緩沖區(qū)任務(wù)太相似。如果 20 個任務(wù)全是同一類型的回歸測試只能測出“這一類任務(wù)有沒有退化”測不出泛化能力。正確做法是按任務(wù)類型分層采樣每類至少 3 到 5 個?？佣彌_區(qū)任務(wù)太難或太簡單。太難的任務(wù)智能體本來就不會改進(jìn)前后都是零分測不出差異太簡單的任務(wù)改進(jìn)前后都是滿分也測不出差異。要選那些“當(dāng)前策略能做對但不太穩(wěn)”的任務(wù)這類任務(wù)對策略變化最敏感。坑三緩沖區(qū)一成不變。隨著智能體能力提升原來的緩沖區(qū)任務(wù)可能全部飽和失去區(qū)分度。需要定期更新緩沖區(qū)把已經(jīng)穩(wěn)定做對的任務(wù)換出去換入新的挑戰(zhàn)性任務(wù)。我現(xiàn)在的做法是維護(hù)一個 30 個任務(wù)的緩沖區(qū)按難度和類型分成 6 組每組 5 個。每次回歸測試跑全部 30 個但只有關(guān)鍵組的分?jǐn)?shù)變化才觸發(fā)回退。這樣既保證了覆蓋面又不會因?yàn)閭€別噪聲任務(wù)誤判。5. 實(shí)操過程中最容易踩的坑與排查技巧5.1 遞歸改進(jìn)不收斂的典型表現(xiàn)與定位方法遞歸自我改進(jìn)最怕的就是不收斂。表現(xiàn)有很多種我按嚴(yán)重程度排個序輕度改進(jìn)幾輪后效果停滯不再提升但也不下降。這通常是陷入了局部最優(yōu)需要引入隨機(jī)擾動或換評估維度。中度改進(jìn)幾輪后效果開始波動時好時壞。這通常是評估信號噪聲太大改進(jìn)方向被噪聲帶偏了。重度改進(jìn)幾輪后效果持續(xù)下降越改越差。這通常是正則化失效改進(jìn)幅度過大或方向完全錯了。極重度智能體行為變得完全不可預(yù)測甚至開始“自說自話”。這通常是遞歸過程中上下文被污染或者策略歷史丟失導(dǎo)致狀態(tài)混亂。定位方法我總結(jié)了一個簡單的排查順序先看評估信號是否穩(wěn)定再看改進(jìn)幅度是否超標(biāo)再看回歸測試是否通過最后看策略歷史是否完整。大部分問題在前兩步就能定位到。5.2 常見問題速查表問題現(xiàn)象可能原因排查方法解決思路改進(jìn)后舊任務(wù)退化過擬合新任務(wù)跑回歸測試集降低改進(jìn)幅度加強(qiáng)一致性約束改進(jìn)多輪無提升陷入局部最優(yōu)檢查改進(jìn)方向多樣性引入隨機(jī)擾動或換評估維度評估分?jǐn)?shù)波動大評估信號噪聲重復(fù)評估取均值提高評估置信度閾值策略歷史丟失Harness 狀態(tài)管理缺陷檢查持久化邏輯每輪強(qiáng)制保存策略快照遞歸輪次失控循環(huán)終止條件缺失檢查終止邏輯設(shè)置最大輪次和收斂判據(jù)工具調(diào)用亂序調(diào)度器并發(fā)控制問題檢查工具依賴圖顯式聲明工具依賴關(guān)系這張表里的每一條都是我或者身邊同行實(shí)際踩過的。尤其是“策略歷史丟失”這一條看起來低級但在實(shí)際工程里非常常見。很多人只保存當(dāng)前策略不保存歷史版本結(jié)果一旦新策略變差想回退都回退不了。5.3 幾個反直覺的實(shí)操心得第一個心得改進(jìn)頻率不是越高越好。我一開始覺得每輪都改才能快速提升后來發(fā)現(xiàn)改太頻繁反而導(dǎo)致策略震蕩。現(xiàn)在我的做法是設(shè)置一個“改進(jìn)冷卻期”連續(xù)兩輪評估分?jǐn)?shù)沒有顯著提升才觸發(fā)一次改進(jìn)。第二個心得評估器比改進(jìn)器更重要。很多人把精力花在怎么讓模型生成更好的改進(jìn)方案上但實(shí)際瓶頸往往在評估器。評估不準(zhǔn)改進(jìn)就是盲人摸象。我現(xiàn)在會花 60% 的精力在評估器上確保它穩(wěn)定、可復(fù)現(xiàn)、有區(qū)分度。第三個心得保留“最差版本”比保留“最好版本”更有用。策略歷史里最好版本當(dāng)然要留但最差版本也要留。因?yàn)樽畈畎姹灸芨嬖V你“哪些方向是死路”避免后續(xù)改進(jìn)重復(fù)踩坑。我在策略歷史里會標(biāo)記每個版本的評估分?jǐn)?shù)改進(jìn)時明確告訴模型“這些方向已經(jīng)試過且失敗了”。6. 從 RRSI 看智能體開發(fā)的下一站RRSI 這篇論文沒有提出什么顛覆性的新模型或新架構(gòu)它做的事情更接近“給狂奔的智能體套上韁繩”。但恰恰是這種工程視角的回歸對一線開發(fā)者最有價值。因?yàn)楝F(xiàn)在智能體的能力已經(jīng)足夠強(qiáng)了瓶頸不在“能不能做”而在“能不能穩(wěn)定地做、持續(xù)地做、越做越好地做”。Harness 這一層的正則化設(shè)計(jì)本質(zhì)上是在回答一個工程問題當(dāng)系統(tǒng)具備自我修改能力時如何保證它不把自己改壞。這個問題不僅存在于智能體領(lǐng)域在自動化運(yùn)維、持續(xù)集成、甚至推薦系統(tǒng)里都有類似的影子。RRSI 給出的答案——幅度約束、方向約束、頻率約束、歷史回歸——是一套可以跨領(lǐng)域借鑒的思路。我自己在實(shí)際項(xiàng)目里落地這套思路之后最大的感受是智能體的穩(wěn)定性不是靠某個單點(diǎn)技術(shù)保證的而是靠一整套約束機(jī)制共同作用的結(jié)果。任何一個約束缺失遞歸改進(jìn)都可能變成遞歸退化。所以如果你正在做智能體開發(fā)尤其是做那種需要長期運(yùn)行、反復(fù)優(yōu)化的智能體我建議你先把 Harness 這層的約束機(jī)制搭好再談能力提升。順序反了后面全是坑。最后分享一個我最近在試的小技巧在策略歷史里給每個版本打一個“置信度標(biāo)簽”置信度高的版本在后續(xù)改進(jìn)中作為基準(zhǔn)置信度低的版本只作為參考。這樣可以在保留探索能力的同時避免低質(zhì)量版本污染改進(jìn)方向。目前看下來這個做法對抑制策略震蕩有明顯效果具體參數(shù)還在調(diào)等跑夠數(shù)據(jù)再細(xì)說。