1. 具身智能認(rèn)知架構(gòu)到底在解決什么問題1.1 從一個(gè)尷尬的現(xiàn)狀說起做了幾年機(jī)器人相關(guān)項(xiàng)目的人大概都有這種體會機(jī)械臂在結(jié)構(gòu)化環(huán)境里跑得挺穩(wěn)抓取、碼垛、擰螺絲這些任務(wù)只要場景不變、光照不變、物體位置固定成功率能到99%以上。但一旦把同樣的機(jī)械臂放到一個(gè)稍微亂一點(diǎn)的桌面上或者換一批形狀不同的零件整個(gè)系統(tǒng)就開始各種報(bào)錯(cuò)——要么抓空要么碰撞要么規(guī)劃出來的軌跡根本不可達(dá)。問題出在哪不是控制算法不行也不是視覺模型不夠強(qiáng)。真正的問題在于這套系統(tǒng)里沒有一個(gè)統(tǒng)一的“認(rèn)知層”來把感知、知識、推理和動作串起來。視覺模塊只管輸出檢測框規(guī)劃模塊只管算軌跡控制模塊只管跟蹤位置每個(gè)模塊各干各的中間靠工程師手寫的規(guī)則來粘合。這種架構(gòu)在封閉場景下能跑但一旦場景開放規(guī)則就爆炸了。具身智能的認(rèn)知架構(gòu)要解決的就是這個(gè)“粘合”問題。它試圖在感知和動作之間插入一個(gè)具備知識表示、推理能力和世界模型預(yù)測能力的中間層讓機(jī)器不只是“看到什么就做什么”而是“理解當(dāng)前情況預(yù)測行動后果再決定怎么做”。1.2 認(rèn)知架構(gòu)和傳統(tǒng)機(jī)器人軟件棧的本質(zhì)區(qū)別傳統(tǒng)機(jī)器人軟件棧是分層流水線感知→定位→規(guī)劃→控制。每一層有明確的輸入輸出接口層與層之間是單向數(shù)據(jù)流。這種架構(gòu)的好處是模塊化、可調(diào)試壞處是缺乏反饋和全局優(yōu)化。認(rèn)知架構(gòu)則更像一個(gè)帶反饋回路的網(wǎng)絡(luò)。感知結(jié)果會更新世界模型世界模型會驅(qū)動推理推理結(jié)果會影響動作選擇動作執(zhí)行后的反饋又會反過來修正世界模型和知識庫。這個(gè)回路不是簡單的閉環(huán)控制而是涉及符號推理和神經(jīng)預(yù)測的混合過程。我習(xí)慣用一個(gè)類比來解釋傳統(tǒng)軟件棧像是一條工廠流水線每個(gè)工位只負(fù)責(zé)一道工序認(rèn)知架構(gòu)更像是一個(gè)有經(jīng)驗(yàn)的老師傅他一邊看、一邊想、一邊動手手上做著當(dāng)前動作腦子里已經(jīng)在預(yù)判下一步可能發(fā)生什么。1.3 為什么現(xiàn)在這個(gè)時(shí)間點(diǎn)特別關(guān)鍵三個(gè)條件同時(shí)成熟了。第一大模型讓語義理解和常識推理的門檻大幅降低以前需要手工編寫大量規(guī)則的知識表示現(xiàn)在可以用預(yù)訓(xùn)練模型來輔助生成和校驗(yàn)。第二3D世界模型和神經(jīng)渲染技術(shù)讓機(jī)器對空間的表征能力上了一個(gè)臺階不再是簡單的點(diǎn)云或體素而是帶有語義和物理屬性的可微表征。第三仿真環(huán)境和真實(shí)數(shù)據(jù)的混合訓(xùn)練范式逐漸成熟讓認(rèn)知架構(gòu)的驗(yàn)證成本大幅下降。這三個(gè)條件疊加使得“從腦到本體從本體到機(jī)器”這條路徑第一次變得工程上可行。不是說問題已經(jīng)解決了而是說現(xiàn)在有了一個(gè)可以動手做的框架。2. 認(rèn)知架構(gòu)的核心分層設(shè)計(jì)2.1 從“腦”到“本體”再到“機(jī)器”的三層映射這個(gè)研究綱領(lǐng)把認(rèn)知架構(gòu)分成三個(gè)層次來討論每一層解決不同粒度的問題。腦層對應(yīng)的是認(rèn)知和推理的核心機(jī)制。這一層不關(guān)心具體用什么傳感器、什么執(zhí)行器它關(guān)心的是知識怎么表示、推理怎么做、世界模型怎么構(gòu)建和更新。你可以把它理解為整個(gè)系統(tǒng)的“思維內(nèi)核”。本體層對應(yīng)的是身體和環(huán)境的交互接口。這一層關(guān)心的是機(jī)器人的形態(tài)、傳感器的配置、動作空間的約束。同一個(gè)腦層可以掛載到不同的本體上——輪式底盤、機(jī)械臂、人形機(jī)器人本體層負(fù)責(zé)把腦層的抽象決策翻譯成具體的感知和動作指令。機(jī)器層對應(yīng)的是具體的硬件實(shí)現(xiàn)和底層控制。電機(jī)怎么驅(qū)動、力控怎么做、實(shí)時(shí)性怎么保證這些都在這一層解決。三層之間的關(guān)系不是簡單的上下級而是雙向耦合。腦層的推理結(jié)果會影響本體層的動作選擇本體層的感知反饋會修正腦層的世界模型機(jī)器層的執(zhí)行誤差會反過來影響本體層的狀態(tài)估計(jì)。2.2 知識本體在架構(gòu)中的位置知識本體Ontology這個(gè)詞在具身智能語境下和傳統(tǒng)語義網(wǎng)里的本體不太一樣。傳統(tǒng)本體強(qiáng)調(diào)的是概念之間的邏輯關(guān)系比如“杯子是一種容器”“容器可以裝液體”。具身智能里的知識本體除了這些靜態(tài)關(guān)系還要包含動作前提、效果、約束這些動態(tài)知識。舉個(gè)例子。一個(gè)具身智能系統(tǒng)要知道“杯子”這個(gè)概念不僅要知道它長什么樣、通常放在哪里還要知道“抓杯子”這個(gè)動作需要什么前提條件杯子是空的還是滿的、杯口朝上還是朝下、周圍有沒有障礙物執(zhí)行后會有什么效果杯子會跟著手移動、如果傾斜液體會灑出來以及有哪些約束不能從杯口方向抓、不能用力過猛。這些知識如果全部手工編碼工作量巨大且難以維護(hù)。現(xiàn)在比較可行的做法是用大模型來輔助生成初始的知識圖譜然后通過仿真和真實(shí)交互來逐步修正和補(bǔ)充。知識本體不是一次性建好的而是在交互中不斷演化的。2.3 世界模型和知識本體的分工很多人會把世界模型和知識本體混為一談覺得都是“機(jī)器對世界的理解”。但它們在架構(gòu)里的分工其實(shí)很不一樣。世界模型主要負(fù)責(zé)預(yù)測。給定當(dāng)前狀態(tài)和一個(gè)動作世界模型要能預(yù)測下一個(gè)狀態(tài)會是什么樣。這個(gè)預(yù)測可以是像素級的生成下一幀圖像也可以是特征級的預(yù)測物體位置變化還可以是物理級的預(yù)測力和運(yùn)動的關(guān)系。世界模型的核心指標(biāo)是預(yù)測精度和泛化能力。知識本體主要負(fù)責(zé)約束和推理。它不直接做預(yù)測而是提供推理的規(guī)則和約束條件。比如世界模型預(yù)測“把杯子推下桌子杯子會掉到地上”知識本體則提供“杯子掉到地上可能會碎碎了的杯子不能再用”這樣的推理鏈。兩者配合的方式是世界模型給出可能的未來狀態(tài)知識本體對這些狀態(tài)進(jìn)行評估和篩選選出符合目標(biāo)和約束的動作序列。沒有世界模型系統(tǒng)只能做反應(yīng)式控制沒有知識本體系統(tǒng)只能做短視的預(yù)測缺乏長期規(guī)劃能力。3. 神經(jīng)符號AI在認(rèn)知架構(gòu)中的落地方式3.1 為什么純神經(jīng)或純符號都不夠用純神經(jīng)方案的優(yōu)勢是感知和模式識別能力強(qiáng)能從高維數(shù)據(jù)里提取特征泛化到未見過的場景。但它的短板也很明顯缺乏可解釋性推理鏈條不透明難以保證邏輯一致性。你很難讓一個(gè)端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò)告訴你“為什么選擇這個(gè)動作而不是那個(gè)”。純符號方案的優(yōu)勢是推理嚴(yán)謹(jǐn)、可解釋、容易加入領(lǐng)域知識。但它的短板同樣突出知識獲取瓶頸對感知噪聲敏感難以處理開放世界的不確定性。具身智能面對的場景恰恰是兩者的短板都會暴露的場景。機(jī)器人需要在不確定的感知輸入下做出可靠的決策同時(shí)還需要在遇到問題時(shí)能解釋和調(diào)試。所以神經(jīng)符號AI不是可選項(xiàng)而是必選項(xiàng)。3.2 神經(jīng)符號融合的三種典型模式在實(shí)際工程中神經(jīng)符號融合有幾種不同的落地方式各有適用場景。第一種是神經(jīng)感知符號推理的流水線模式。神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)從圖像、點(diǎn)云中提取物體和關(guān)系輸出符號化的謂詞比如“杯子在桌子上面”“機(jī)械臂在杯子左側(cè)”。然后符號推理引擎基于這些謂詞做規(guī)劃。這種模式實(shí)現(xiàn)簡單但瓶頸在于感知到符號的轉(zhuǎn)換容易出錯(cuò)一旦謂詞提取錯(cuò)誤后面的推理全錯(cuò)。第二種是符號引導(dǎo)的神經(jīng)訓(xùn)練模式。用符號知識來約束神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程比如用邏輯規(guī)則作為損失函數(shù)的一部分讓網(wǎng)絡(luò)在學(xué)習(xí)感知的同時(shí)也學(xué)習(xí)滿足邏輯約束。這種模式能提升泛化能力但訓(xùn)練復(fù)雜度高。第三種是神經(jīng)符號交替推理模式。神經(jīng)模塊和符號模塊交替工作神經(jīng)模塊負(fù)責(zé)生成候選符號模塊負(fù)責(zé)篩選和修正然后神經(jīng)模塊再基于修正結(jié)果繼續(xù)生成。這種模式最靈活但也最難調(diào)試。我個(gè)人的經(jīng)驗(yàn)是在項(xiàng)目早期用第一種模式快速搭建原型驗(yàn)證核心流程中期引入第三種模式提升魯棒性第二種模式適合在數(shù)據(jù)充足、規(guī)則明確的子任務(wù)上做優(yōu)化。3.3 一個(gè)具體的神經(jīng)符號交互示例假設(shè)機(jī)器人需要完成“把桌上的杯子放到架子上”這個(gè)任務(wù)。神經(jīng)模塊首先工作視覺檢測到桌面上有一個(gè)杯子位姿估計(jì)給出杯子的6D姿態(tài)抓取網(wǎng)絡(luò)給出幾個(gè)候選抓取點(diǎn)。這些結(jié)果被轉(zhuǎn)換成符號謂詞on(cup, table)、graspable(cup, pose_1)、graspable(cup, pose_2)。符號推理模塊接手根據(jù)知識本體on(cup, table)和empty(cup)推出can_grasp(cup)。然后根據(jù)目標(biāo)on(cup, shelf)規(guī)劃器生成動作序列move_to(pre_grasp_pose)→grasp(cup)→move_to(shelf)→release(cup)。執(zhí)行過程中如果力傳感器檢測到抓取力異常神經(jīng)模塊重新評估抓取點(diǎn)符號模塊重新檢查前提條件。這個(gè)交替過程持續(xù)到任務(wù)完成或判定失敗。4. 從研究綱領(lǐng)到工程藍(lán)圖的關(guān)鍵轉(zhuǎn)化4.1 研究綱領(lǐng)和工程藍(lán)圖的區(qū)別研究綱領(lǐng)回答的是“應(yīng)該怎么做”的問題它給出的是方向、原則和框架。工程藍(lán)圖回答的是“具體怎么做”的問題它需要給出模塊劃分、接口定義、數(shù)據(jù)流、部署方案這些可執(zhí)行的內(nèi)容。很多具身智能的論文停留在研究綱領(lǐng)層面提出了漂亮的架構(gòu)圖但落到工程實(shí)現(xiàn)時(shí)發(fā)現(xiàn)處處是坑。比如架構(gòu)圖里畫一個(gè)“世界模型”模塊但世界模型用什么表征、怎么訓(xùn)練、推理時(shí)延多少、和下游模塊怎么對接這些在論文里往往一筆帶過。工程藍(lán)圖必須把這些細(xì)節(jié)補(bǔ)上。世界模型是用Dreamer那種隱空間模型還是用NeRF那種顯式3D表征還是用圖神經(jīng)網(wǎng)絡(luò)做關(guān)系預(yù)測不同的選擇對應(yīng)不同的訓(xùn)練數(shù)據(jù)需求、不同的推理時(shí)延、不同的硬件要求。4.2 模塊劃分和接口設(shè)計(jì)一個(gè)可落地的認(rèn)知架構(gòu)模塊劃分需要遵循幾個(gè)原則。接口要窄。模塊之間的接口越窄耦合度越低越容易替換和調(diào)試。比如世界模型和規(guī)劃器之間的接口最好只傳遞狀態(tài)表征和預(yù)測結(jié)果不要讓規(guī)劃器直接訪問世界模型的內(nèi)部狀態(tài)。數(shù)據(jù)流要可觀測。每個(gè)模塊的輸入輸出都要能記錄和回放方便定位問題。具身智能系統(tǒng)調(diào)試最大的痛點(diǎn)就是“不知道哪一步出了問題”如果每個(gè)模塊都有日志排查效率會高很多。時(shí)延要分層。認(rèn)知層的推理時(shí)延可以到幾百毫秒甚至秒級但控制層的時(shí)延必須在毫秒級。架構(gòu)設(shè)計(jì)時(shí)要明確哪些模塊在實(shí)時(shí)回路里哪些可以異步執(zhí)行。4.3 一個(gè)典型的工程藍(lán)圖骨架下面這個(gè)骨架是我在實(shí)際項(xiàng)目中用過的一個(gè)簡化版本供參考。層級模塊輸入輸出時(shí)延要求認(rèn)知層知識本體交互日志、專家規(guī)則謂詞、規(guī)則異步認(rèn)知層世界模型當(dāng)前狀態(tài)、動作預(yù)測狀態(tài)100-500ms認(rèn)知層任務(wù)規(guī)劃器目標(biāo)、謂詞、預(yù)測動作序列200-1000ms本體層技能庫動作序列技能調(diào)用50-200ms本體層狀態(tài)估計(jì)傳感器數(shù)據(jù)本體狀態(tài)10-50ms機(jī)器層控制器技能調(diào)用電機(jī)指令1-10ms這個(gè)骨架的關(guān)鍵在于認(rèn)知層和本體層之間通過技能庫解耦本體層和機(jī)器層之間通過控制器解耦。每一層都可以獨(dú)立替換和升級。5. 實(shí)操中的常見坑和排查技巧5.1 知識本體維護(hù)的坑知識本體最容易出的問題是“規(guī)則沖突”和“規(guī)則爆炸”。規(guī)則沖突是指兩條規(guī)則在相同條件下給出矛盾結(jié)論比如一條規(guī)則說“杯子滿的時(shí)候不能傾斜”另一條說“倒水的時(shí)候必須傾斜”。規(guī)則爆炸是指隨著任務(wù)增多規(guī)則數(shù)量指數(shù)增長維護(hù)成本急劇上升。解決規(guī)則沖突的辦法是引入優(yōu)先級和上下文。每條規(guī)則附帶適用條件和優(yōu)先級推理引擎按優(yōu)先級選擇。解決規(guī)則爆炸的辦法是分層組織規(guī)則把通用規(guī)則和任務(wù)特定規(guī)則分開任務(wù)特定規(guī)則只在對應(yīng)任務(wù)激活時(shí)加載。5.2 世界模型泛化能力不足的排查世界模型在訓(xùn)練集上預(yù)測很準(zhǔn)一到新場景就崩這是最常見的問題。排查思路是先看輸入表征是否過擬合比如是否過度依賴了訓(xùn)練場景中的特定紋理再看預(yù)測目標(biāo)是否過于具體比如預(yù)測像素級圖像就比預(yù)測物體位置更容易過擬合最后看訓(xùn)練數(shù)據(jù)分布是否覆蓋了測試場景的關(guān)鍵變化維度。一個(gè)實(shí)用的技巧是在訓(xùn)練時(shí)加入域隨機(jī)化隨機(jī)改變光照、紋理、物體位置讓模型學(xué)到更魯棒的表征。另一個(gè)技巧是用多步預(yù)測誤差作為監(jiān)控指標(biāo)如果單步預(yù)測準(zhǔn)但多步預(yù)測迅速發(fā)散說明模型沒有學(xué)到真正的動力學(xué)。5.3 神經(jīng)符號接口的調(diào)試方法神經(jīng)符號接口是最容易出問題的地方。神經(jīng)模塊輸出的符號謂詞如果有噪聲符號推理就會給出錯(cuò)誤結(jié)論。調(diào)試時(shí)可以用“符號回放”的方法把神經(jīng)模塊的輸出記錄下來人工檢查謂詞是否正確然后單獨(dú)測試符號推理模塊在這些謂詞上的表現(xiàn)。如果謂詞提取錯(cuò)誤率高可以考慮在神經(jīng)模塊后面加一個(gè)符號校驗(yàn)層用知識本體里的約束來過濾明顯不合理的謂詞。比如如果檢測到“杯子在桌子上”和“杯子在架子上的”同時(shí)為真校驗(yàn)層應(yīng)該能發(fā)現(xiàn)矛盾并觸發(fā)重新感知。5.4 實(shí)時(shí)性和推理深度的平衡認(rèn)知架構(gòu)的推理深度和實(shí)時(shí)性是一對矛盾。推理越深決策質(zhì)量越高但時(shí)延越大。在實(shí)際系統(tǒng)中需要根據(jù)任務(wù)階段動態(tài)調(diào)整推理深度。比如在接近目標(biāo)物體時(shí)可以用淺層推理快速生成動作在抓取失敗后切換到深層推理分析失敗原因并重新規(guī)劃。這種動態(tài)調(diào)整需要架構(gòu)支持推理深度的配置而不是固定一套推理流程。6. 具身智能學(xué)習(xí)路線和面試準(zhǔn)備建議6.1 學(xué)習(xí)路線的優(yōu)先級排序如果你剛開始接觸具身智能我建議按這個(gè)順序來先補(bǔ)機(jī)器人學(xué)基礎(chǔ)運(yùn)動學(xué)、動力學(xué)、控制再學(xué)感知視覺、點(diǎn)云處理然后學(xué)規(guī)劃運(yùn)動規(guī)劃、任務(wù)規(guī)劃最后學(xué)認(rèn)知架構(gòu)知識表示、推理、世界模型。這個(gè)順序的好處是每一步都有可動手的實(shí)操不會一開始就陷入抽象概念。如果你已經(jīng)有機(jī)器人或AI的基礎(chǔ)可以直接從認(rèn)知架構(gòu)入手但要注意補(bǔ)上符號推理和知識表示這塊這是很多AI背景的人容易忽略的。6.2 面試中常被問到的幾個(gè)方向具身智能面試通常會圍繞幾個(gè)方向展開一是系統(tǒng)設(shè)計(jì)比如“設(shè)計(jì)一個(gè)抓取系統(tǒng)要求能處理未知物體”二是算法細(xì)節(jié)比如“世界模型的訓(xùn)練目標(biāo)怎么設(shè)計(jì)”三是工程權(quán)衡比如“實(shí)時(shí)性和推理深度怎么平衡”四是項(xiàng)目經(jīng)驗(yàn)比如“你遇到過最難調(diào)試的問題是什么怎么解決的”。準(zhǔn)備面試時(shí)不要只背概念要準(zhǔn)備幾個(gè)具體的項(xiàng)目案例能說清楚架構(gòu)設(shè)計(jì)、關(guān)鍵決策、遇到的坑和解決方案。面試官更看重的是你解決實(shí)際問題的思路而不是你記住了多少論文。6.3 從論文到工程的轉(zhuǎn)化能力具身智能領(lǐng)域論文和工程之間的鴻溝比較大。論文里通常假設(shè)環(huán)境是理想的、傳感器是準(zhǔn)確的、計(jì)算資源是充足的但實(shí)際項(xiàng)目中這些假設(shè)往往不成立。培養(yǎng)從論文到工程的轉(zhuǎn)化能力關(guān)鍵是學(xué)會問幾個(gè)問題這個(gè)方法對傳感器噪聲敏感嗎推理時(shí)延能滿足實(shí)時(shí)要求嗎訓(xùn)練數(shù)據(jù)從哪里來失敗模式是什么我個(gè)人的經(jīng)驗(yàn)是每讀一篇論文都試著用一句話概括它的核心貢獻(xiàn)再用一句話概括它的主要局限。如果能做到這兩點(diǎn)說明你真的理解了這篇論文而不只是記住了摘要。7. 世界模型的技術(shù)選型和落地考量7.1 三類世界模型的對比當(dāng)前具身智能里常用的世界模型大致分三類各有優(yōu)劣。隱空間模型如Dreamer系列把觀測編碼到低維隱空間在隱空間里做預(yù)測和規(guī)劃。優(yōu)點(diǎn)是計(jì)算效率高適合實(shí)時(shí)控制缺點(diǎn)是隱空間缺乏可解釋性難以注入領(lǐng)域知識。顯式3D模型如NeRF、3D高斯?jié)姙R直接建模三維場景的幾何和外觀。優(yōu)點(diǎn)是空間表征直觀便于和規(guī)劃器對接缺點(diǎn)是訓(xùn)練和推理成本高對動態(tài)場景處理能力弱。關(guān)系模型如圖神經(jīng)網(wǎng)絡(luò)建模物體之間的關(guān)系和交互。優(yōu)點(diǎn)是泛化能力強(qiáng)適合處理物體數(shù)量變化的場景缺點(diǎn)是對底層幾何細(xì)節(jié)的建模不夠精細(xì)。實(shí)際項(xiàng)目中我傾向于用混合方案底層用顯式3D模型做幾何表征上層用關(guān)系模型做交互預(yù)測隱空間模型用于快速 rollout。三者通過統(tǒng)一的接口對接。7.2 訓(xùn)練數(shù)據(jù)的獲取策略世界模型的訓(xùn)練數(shù)據(jù)是最大的瓶頸。純真實(shí)數(shù)據(jù)采集成本高、覆蓋度低純仿真數(shù)據(jù)有域差距混合數(shù)據(jù)又面臨對齊問題。一個(gè)實(shí)用的策略是先用仿真數(shù)據(jù)做預(yù)訓(xùn)練讓模型學(xué)到基本的物理規(guī)律然后用少量真實(shí)數(shù)據(jù)做微調(diào)適配真實(shí)傳感器的噪聲特性最后在部署過程中持續(xù)收集數(shù)據(jù)做在線更新。在線更新時(shí)要注意設(shè)置更新速率的上限避免模型被少量異常數(shù)據(jù)帶偏。7.3 世界模型的評估指標(biāo)評估世界模型不能只看預(yù)測誤差。我通常關(guān)注幾個(gè)指標(biāo)單步預(yù)測精度、多步預(yù)測的誤差增長曲線、對未見場景的泛化能力、推理時(shí)延、以及下游任務(wù)的成功率。其中多步預(yù)測的誤差增長曲線特別重要。如果誤差隨步數(shù)線性增長說明模型學(xué)到了穩(wěn)定的動力學(xué)如果指數(shù)增長說明模型在長程預(yù)測上不可靠需要限制規(guī)劃步長或引入符號推理來約束。8. 認(rèn)知架構(gòu)的部署和迭代策略8.1 從仿真到真實(shí)的遷移仿真到真實(shí)的遷移是具身智能落地的關(guān)鍵一步。常見的做法是域隨機(jī)化在仿真中隨機(jī)改變光照、紋理、物理參數(shù)讓模型學(xué)到對這些變化不敏感的表征。但域隨機(jī)化也有代價(jià)隨機(jī)化范圍太窄遷移效果不好范圍太寬模型在仿真中都學(xué)不好。我的經(jīng)驗(yàn)是分階段做遷移。第一階段在仿真中固定參數(shù)訓(xùn)練驗(yàn)證架構(gòu)可行性第二階段加入適度隨機(jī)化提升魯棒性第三階段在真實(shí)環(huán)境中做小范圍測試收集失敗案例第四階段針對失敗案例做定向優(yōu)化。每個(gè)階段都要有明確的通過標(biāo)準(zhǔn)不要跳步。8.2 在線學(xué)習(xí)和持續(xù)迭代部署后的持續(xù)迭代是保持系統(tǒng)性能的關(guān)鍵。在線學(xué)習(xí)面臨的最大風(fēng)險(xiǎn)是災(zāi)難性遺忘和分布漂移。緩解辦法包括保留一部分歷史數(shù)據(jù)做回放、設(shè)置學(xué)習(xí)率上限、監(jiān)控性能指標(biāo)并在異常時(shí)回滾。我通常會在系統(tǒng)中加一個(gè)“安全網(wǎng)”模塊當(dāng)在線學(xué)習(xí)導(dǎo)致性能下降超過閾值時(shí)自動回滾到上一個(gè)穩(wěn)定版本。這個(gè)模塊看起來簡單但在實(shí)際部署中能避免很多事故。8.3 人機(jī)協(xié)作中的認(rèn)知架構(gòu)在很多應(yīng)用場景中機(jī)器人不是完全自主的而是和人協(xié)作。這時(shí)認(rèn)知架構(gòu)需要額外考慮幾個(gè)問題如何理解人的意圖、如何表達(dá)自己的狀態(tài)、如何在不確定時(shí)請求幫助。理解人的意圖可以通過多模態(tài)輸入來實(shí)現(xiàn)比如語音指令、手勢、 gaze 方向。表達(dá)自己的狀態(tài)可以通過可視化和自然語言生成。請求幫助的時(shí)機(jī)判斷是個(gè)難點(diǎn)太頻繁會讓人煩躁太少又容易出錯(cuò)。一個(gè)實(shí)用的策略是設(shè)置置信度閾值當(dāng)決策置信度低于閾值時(shí)觸發(fā)請求。9. 一些個(gè)人體會和后續(xù)方向這個(gè)領(lǐng)域最大的特點(diǎn)是變化快。兩年前還在討論用不用深度學(xué)習(xí)做機(jī)器人現(xiàn)在已經(jīng)在討論怎么把大模型和符號推理結(jié)合起來了。保持學(xué)習(xí)的最好方式是動手做項(xiàng)目哪怕是一個(gè)簡單的抓取任務(wù)從感知到規(guī)劃到控制全跑一遍比讀十篇論文收獲都大。另外不要迷信端到端。端到端在特定任務(wù)上能出漂亮結(jié)果但在需要解釋、調(diào)試、保證安全的場景下模塊化的認(rèn)知架構(gòu)仍然有不可替代的優(yōu)勢。神經(jīng)符號融合不是過渡方案而是長期方向。后續(xù)這個(gè)系列我還會繼續(xù)寫下一篇打算聊知識本體的具體構(gòu)建方法包括怎么用大模型輔助生成初始本體、怎么設(shè)計(jì)交互式的本體修正流程、以及怎么評估本體的質(zhì)量。如果你也在做相關(guān)方向歡迎交流踩坑經(jīng)驗(yàn)。