簡介Robot Learning_32是一份面向機器人學習領域的實用知識庫內(nèi)容橫跨機器人學、強化學習、計算機圖形學與仿真建模。PDF內(nèi)按32篇主題組織重點圍繞MuJoCo仿真器展開從URDF模型轉換、DAE/STL網(wǎng)格處理、XML編譯參數(shù)配置到Sim2Real遷移、深度強化學習控制器訓練等完整實操鏈條同時整理了MATLAB強化學習工具箱、dm_control、Isaac Gym、SoftCon等開源項目與工具對比并穿插Science Robotics征稿、ICRA挑戰(zhàn)賽等前沿動態(tài)。具體篇目還覆蓋水下軟體仿生機器人PPO訓練、波士頓動力Spot落地應用、谷歌機器人及Pieter Abbeel創(chuàng)業(yè)公司等案例并包含多篇Sim2Real問題探討與機械臂操作綜述。資源為單文件PDF大小6.92MB目前已有234人學習。無論剛開始搭建機器人仿真環(huán)境的研究生還是希望系統(tǒng)梳理Robot Learning工具鏈的工程師都能從中獲得可參考的建模排錯思路、項目清單與文獻線索是一份兼具手冊與綜述價值的合集。1. Robot Learning 知識庫到底在解決誰的什么問題Robot Learning 這個方向最勸退人的不是算法而是“不知道從哪一行代碼開始”。面試造過輪子、倉庫存了幾十個 star 項目的人真到把機械臂放到桌上時往往連一個能跑通的視覺抓取閉環(huán)都拿不出來。一個實用的 Robot Learning 知識庫要解決的正是這個問題把分散在論文、代碼倉庫、數(shù)據(jù)集和仿真文檔里的經(jīng)驗整理成按任務類型索引的“可復現(xiàn)起點”——你接到一個操作任務先查知識庫里對應任務族的實現(xiàn)路徑而不是重新逛一周 GitHub。它適合兩類人剛轉進來、想用最短路徑打通一個端到端機器人學習 demo 的工程師以及已經(jīng)在跑數(shù)據(jù)、但被數(shù)據(jù)集格式和評測口徑反復折磨的實戰(zhàn)團隊。下面按一個常見的 32 條目實用知識庫為例把地圖怎么建、閉環(huán)怎么跑通、坑位在哪里講清楚。2. 32 個條目按什么地圖組織仿真、數(shù)據(jù)集、模型與評測怎么選型拿到一個 32 條目的 Robot Learning 知識庫第一件事不是從上往下一條條讀而是先給它們分類。我一般按五類歸檔仿真環(huán)境、離線數(shù)據(jù)集、策略模型、訓練框架、評測腳本。這個分類不是按文件類型分的而是按“你做一次閉環(huán)實驗時需要碰哪幾樣東西”分的數(shù)據(jù)來自哪里模型跑在什么環(huán)境里用什么框架訓練用什么指標判斷成功。2.1 仿真環(huán)境選型MuJoCo、Isaac Lab 與 Sapien 怎么選知識庫里通常同時收錄不止一個仿真器因為它們服務的任務階段不一樣。MuJoCo 輕、快、沒有顯卡也能跑適合做強化學習算法的快速迭代Isaac Lab 基于物理引擎和渲染管線支持相機仿真、域隨機化和大批量并行訓練適合做帶視覺輸入的機械臂操作任務Sapien 在接觸密集操作上更穩(wěn)比如插拔、擰螺絲這類對接觸力敏感的活兒。我的經(jīng)驗是知識庫里如果只保留一個仿真器選 Isaac Lab但如果你的算法原型還沒定先用 MuJoCo 把掉頭發(fā)的事做完再遷到 Isaac Lab 做視覺版本。下表是我給仿真器選型時反復用的判斷矩陣每個項目按 1 到 5 打分不是按“哪個更流行”而是按“當前任務的約束”。判斷維度MuJoCoIsaac LabSapien物理接觸穩(wěn)定性345相機傳感器模擬153批量并行訓練吞吐253上手成本532社區(qū)示例數(shù)量442選完仿真器后要做一次“冒煙驗證”這一步很便宜但能省掉后面一周的排查時間。常見做法是寫一個隨機策略在環(huán)境里跑 1000 步看三件事動作是否發(fā)散到 NaN、物體是否穿透地面、傳感器讀數(shù)是否出現(xiàn)零值。任何一項異常都說明安裝或配置有問題不要直接開始訓練。2.2 數(shù)據(jù)集不是收藏夾把離線數(shù)據(jù)按任務族歸檔很多知識庫里的數(shù)據(jù)集條目就是一堆下載鏈接真正會用的人會把它們重新歸檔成“任務族 傳感器類型 成敗標簽”的結構。比如抓取類、推動類、插孔類每個任務族下面再按是否有深度圖、是否含語言指令切分。這樣做的原因是Robot Learning 的訓練腳本里數(shù)據(jù)加載器只認固定的目錄結構。你從不同來源下載的數(shù)據(jù)格式不一樣如果不先統(tǒng)一歸檔后面每次實驗都要改數(shù)據(jù)讀取代碼這是最隱蔽的時間黑洞。我在歸檔時常用的目錄結構長這樣datasets/ ├── task_family_lift/ │ ├── demos_success_hdf5/ │ ├── demos_failed_hdf5/ │ └── scripts/ │ └── stats.py ├── task_family_push/ │ ├── demos_success_hdf5/ │ └── demos_failed_hdf5/ └── README.md歸檔的核心是把成功和失敗軌跡分開存。很多初學玩法把全部軌跡混在一起訓練時 reward 信號本來就稀疏失敗軌跡占比一高模型直接就學會了“不動”。我在 README 里會寫清楚每個子集是從哪個原始來源轉過來的、轉換腳本在哪、用什么格式。這個習慣能省掉大量“這個數(shù)據(jù)從哪來的”式的追問。2.3 評測基線每個條目都必須掛一個成功率數(shù)字知識庫里最容易被忽略的是評測口徑。同一個策略有人報 87% 成功率有人報 41%差別往往不在訓練而在評測隨機種子取幾個、初始物體位置是否固定、每次 rollout 的回合長度上限是多少。我一般固定一套評測協(xié)議取 20 個種子固定初始狀態(tài)集合每個種子跑 10 個 episode成功率按滑動窗口平均。評測腳本必須和訓練腳本分開獨立執(zhí)行不能用訓練日志里的最后幾條 reward 來替代。評測基線的作用是給知識庫里的每個策略條目一個“錨點”。你在調(diào)參時只要看成功率相對于基線是漲是跌不用重新讀一遍論文。這也是知識庫從“收藏夾”變成“工具”的關鍵一步——不是攢文件而是攢可對比的結論。3. 用 Isaac Lab 復現(xiàn)第一個機械臂操作閉環(huán)從安裝到看清訓練曲線上一章的知識庫地圖解決了“有什么”這一章解決“怎么跑起來”。我以 Isaac Lab 環(huán)境為例講一個最小閉環(huán)因為它是當前做視覺操作任務時最容易從零跑通、又最接近真機部署路徑的選項。你在實際操作時可能會遇到版本入口不一致的問題這很正常先看本地目錄結構再執(zhí)行。3.1 最小訓練閉環(huán)安裝、啟動與第一個 lift 任務假設你已經(jīng)按官方文檔把 Isaac Lab 裝進一個干凈的 conda 環(huán)境并且預下載了資產(chǎn)。訓練一個機械臂抓取立方體的經(jīng)典任務常見命令是# 在 Isaac Lab 根目錄下執(zhí)行注意不同版本命令入口可能略有差異 ./isaaclab.sh -p scripts/islab/train.py \ --task Isaac-Lift-Cube-Franka-v0 \ --num_envs 32 \ --headless \ --max_iterations 3000逐項說明參數(shù)--task指定任務 IDIsaac-Lift-Cube-Franka-v0是 Franka 機械臂抬升立方體的標準任務適合作為第一個跑通的實驗--num_envs 32是并行環(huán)境數(shù)32 是入門值顯存足夠時可以加到 128 或 256并行數(shù)越大訓練步數(shù)吞吐越高但對顯存和 CPU 物理計算都有壓力--headless關掉渲染窗口適合在服務器上跑--max_iterations 3000是最大迭代輪數(shù)常見范圍在 1000 到 5000 之間3000 是一個能看出收斂趨勢又不至于等太久的折中值。訓練過程中要同時開日志觀察而不是等它跑完。常見做法是在另一個終端里查看訓練目錄下的 tensorboard 日志tensorboard --logdir logs/ # 然后瀏覽器打開 localhost:6006看訓練曲線的重點順序先看 Episode Reward 的滑動均值是否有持續(xù)上升趨勢再看 Success Rate 是否出現(xiàn)非零抬升最后看 Average Episode Length 是否縮短。如果前三萬步內(nèi) reward 不動、成功率一直為零不用等到 3000 輪結束直接 Ctrl-C 回去檢查配置。3.2 把 state-based 任務改成視覺輸入相機傳感器與歸一化很多知識庫條目給的是 state-based 版本的訓練配置但實際項目需要相機輸入。把 lift 任務改成視覺輸入核心不是改網(wǎng)絡而是給環(huán)境掛相機傳感器并把圖像歸一化。以 Isaac Lab 常見的配置片段為例# 給機械臂末端掛一個 RGB 相機用于視覺策略輸入 camera_cfg CameraCfg( prim_path/World/envs/env_.*/Robot/ee_link, # 掛在末端執(zhí)行器上 update_per_frame1, # 每個仿真幀都更新圖像 height84, # 圖像高84 或 64 常見 width84, # 圖像寬 data_types[rgb], # 只取 RGB不做深度減小帶寬 color_formatrgb, # 通道順序必須選 rgb不要選 bgr enable_lens_distortionFalse, # 仿真里默認關掉鏡頭畸變 )參數(shù)說明分辨率取 84×84 是為了平衡訓練速度和空間分辨率。如果任務依賴精細物體姿態(tài)比如插銷對孔建議提到 128 或 160但網(wǎng)絡參數(shù)和訓練時間都會上漲。enable_lens_distortion默認要關掉因為真機的鏡頭畸變通?？繕硕ㄑa償不需要在仿真里額外模擬。圖像進入網(wǎng)絡前必須除以 255 歸一化到 0 到 1 區(qū)間否則第一層卷積的梯度很容易在初期就崩掉。注意改完相機配置后要同時檢查觀測空間的維度變化。很多翻車案例是改了傳感器但忘記改策略網(wǎng)絡的輸入維度訓練腳本直接報錯或者靜默訓練一個全零輸入的網(wǎng)絡。3.3 看懂訓練曲線什么時候該停什么時候是過擬合Robot Learning 訓練里最“玄學”的部分是判斷訓練狀態(tài)。獎勵曲線平滑上升、成功率也上升說明策略在穩(wěn)定進步獎勵上升但成功率沒動通常意味著模型在刷獎勵密度高的區(qū)域但沒有形成真正可行的運動軌跡。這時候要看 Episode Length如果長度明顯縮短但成功率不高說明策略學會了“快速把物體搞到一個非預期狀態(tài)”比如把方塊推出工作區(qū)。我一般設三個停訓檢查點。第一次在第 500 輪確認損失數(shù)值不是 NaN第二次在成功率第一次超過基線時記錄對應的 checkpoint 路徑第三次在成功率連續(xù) 200 輪不再上升且超過以往峰值時立刻停訓。不要盲目追求 3000 輪跑滿很多場景下 1500 輪就過擬合了繼續(xù)訓練只會讓模型在訓練分布里越陷越深真機表現(xiàn)反而更差。4. 數(shù)據(jù)才是 Robot Learning 的命門離線軌跡與 affordance 的組織和清洗模型結構可以換訓練框架可以抄但數(shù)據(jù)質(zhì)量決定了策略的上限。知識庫里的數(shù)據(jù)條目再多如果不做組織和清洗喂給模型的只是一堆互相矛盾的軌跡。這一章講數(shù)據(jù)從哪來、用什么格式存、怎么清洗以及如何把 affordance 信息寫進數(shù)據(jù)管道。4.1 數(shù)據(jù)來源配比遙操作、腳本策略與仿真合成怎么混常見的數(shù)據(jù)來源有三種人工遙操作、腳本化專家策略、仿真自動采樣。人工遙操作質(zhì)量高但成本也最高一條優(yōu)秀軌跡可能要好幾分鐘腳本策略能快速生成大量軌跡但覆蓋度往往不足比如抓取任務里腳本策略永遠不會嘗試從側面接近物體仿真采樣覆蓋度高且便宜但和真機的物理差距需要靠域隨機化彌補。我一般遵循“7:2:1”配比70% 仿真腳本數(shù)據(jù)20% 仿真域隨機化采樣數(shù)據(jù)10% 真機遙操作數(shù)據(jù)。如果目標是通用預訓練模型而不是單一任務會把真機遙操作比例提高到 30%因為真機數(shù)據(jù)里的噪聲模式是仿真很難模擬的。反過來如果只是跑通一個 demo甚至可以全用仿真數(shù)據(jù)。4.2 HDF5 與 zarr兩種離線數(shù)據(jù)格式的取舍知識庫里的數(shù)據(jù)條目格式五花八門但壓縮后常見的就是 HDF5 和 zarr 兩種。很多新人對格式不敏感覺得能讀就行真到訓練階段才發(fā)現(xiàn)讀寫速度、并發(fā)能力、斷點續(xù)存全是坑。對比維度HDF5zarr隨機讀取單條軌跡快快多進程并發(fā)寫較弱需加鎖原生支持數(shù)據(jù)壓縮支持但壓縮時 CPU 占用高支持分塊壓縮生態(tài)老牌大部分數(shù)據(jù)集默認格式LeRobot 等新框架常用斷點續(xù)存寫壞文件風險較高分塊存儲容錯好選擇依據(jù)很簡單如果數(shù)據(jù)量小于幾十 GB、一次性寫入后只讀選 HDF5如果數(shù)據(jù)要持續(xù)追加、多進程采集選 zarr。兩種格式轉換都有現(xiàn)成腳本不需要自己造輪子。4.3 清洗腳本統(tǒng)計軌跡長度、成功率與狀態(tài)覆蓋度拿到一批離線軌跡后我做的第一件事不是訓練而是寫一個統(tǒng)計腳本把每條軌跡的長度、終止狀態(tài)、動作范圍打出來。import h5py import numpy as np with h5py.File(demo_data.h5, r) as f: # 假設數(shù)據(jù)結構為 episode 為第一層分組 ep_names list(f.keys()) lengths, succ_flags, action_ranges [], [], [] for ep in ep_names: grp f[ep] # 常見內(nèi)部字段是 actions 和 rewards act grp[actions][:] rew grp[rewards][:] lengths.append(len(act)) succ_flags.append(1 if rew[-1] 0 else 0) action_ranges.append([float(act.min()), float(act.max())]) lengths np.array(lengths) succ_rate np.mean(succ_flags) print(fepisode 數(shù): {len(ep_names)}) print(f軌跡長度: 均值 {lengths.mean():.1f}, 最大 {lengths.max()}, 最小 {lengths.min()}) print(f成功軌跡占比: {succ_rate:.2%}) print(f動作范圍: 全局 min {min(r[0] for r in action_ranges):.3f}, f全局 max {max(r[1] for r in action_ranges):.3f})邏輯說明這段腳本逐個讀取 episode 組統(tǒng)計軌跡長度、成功率和動作幅值邊界。succ_flags是判斷軌跡是否成功的粗糙方法假設 rewards 的最后一個值非零即成功更準確的判斷要看知識庫條目里是否帶顯式的 success 字段有的話直接讀那個字段。參數(shù)說明軌跡長度均值如果和任務時長預期差太多說明數(shù)據(jù)采集時提前終止了動作范圍如果某些維度固定不變說明該自由度在采集過程中被鎖住這類數(shù)據(jù)會削弱策略的泛化能力。清洗時發(fā)現(xiàn)異常軌跡我一般先看長度分布。如果絕大多數(shù)軌跡都集中在很短的長度優(yōu)先級最高的不是訓練而是回采集端檢查是否有機械臂卡死、傳感器斷流這類系統(tǒng)性問題。4.4 affordance 標注把可交互點寫進數(shù)據(jù)管道最近大家討論的 affordance for scalable robot learning核心思想是給軌跡數(shù)據(jù)補上“物體哪里可以交互、以什么方式交互”的標注讓模型在預訓練階段就學會理解可操作區(qū)域而不是只學動作本身。這不再只是論文方向在實操里已經(jīng)能落地到數(shù)據(jù)管道。具體到數(shù)據(jù)組織上我一般給每條軌跡追加兩個字段語義掩碼和接觸點偏置。語義掩碼標記圖像中屬于目標物體的像素區(qū)域接觸點偏置描述末端執(zhí)行器相對于物體中心的期望接觸位置。標注量不需要很大12 條軌跡起步就能讓模型在簡單抓取任務里明顯更快收斂。這個思路的落腳點是知識庫里的離線和在線數(shù)據(jù)都應該預留 affordance 字段的擴展位不要在采集時只存動作和圖像后面想補標注還要回頭重新生成數(shù)據(jù)。5. 避坑清單Robot Learning 從仿真到真機路上的 5 個常見翻車點這章是踩坑集中區(qū)。下面五條都是我反復見過、自己也犯過的錯誤按“現(xiàn)象 → 原因 → 解決”展開。每一條都值得在你準備大規(guī)模訓練前先對一遍清單。5.1 仿真里跑得很好真機上檢測頭直接“瞎掉”沒做域隨機化現(xiàn)象策略在仿真里成功率 90% 以上部署到真機后同一物體、差不多的光照下成功率直接掉到兩成以下末端執(zhí)行器經(jīng)常對著空氣抓。原因仿真渲染和真實相機圖像之間存在外觀差異模型在訓練時把仿真材質(zhì)、光照、紋理當成了特征的一部分而不是提取真正的物體幾何信息。解決在訓練時開啟域隨機化。常見做法是隨機化光照強度、物體紋理貼圖、相機噪聲水平和背景顏色。對視覺策略來說紋理和光照隨機化比物理參數(shù)隨機化更關鍵。建議先做一組消融實驗關閉域隨機化訓一個版本開啟訓一個版本對比兩者在仿真評測下的成功率差。如果差異不大說明任務對視覺不敏感如果差異明顯真機差距基本也在這個量級。5.2 Reward 一直不掉但成功率是零模型學會了躺平現(xiàn)象訓練到中后期Episode Reward 保持在一個穩(wěn)定平臺不再上漲但 Success Rate 始終為零或者在一個很低的值附近波動。原因稀疏獎勵任務里模型發(fā)現(xiàn)“保持初始狀態(tài)”能獲得比亂動更高的期望獎勵。尤其是動作有懲罰項時不動是最優(yōu)解。這是稀疏獎勵結合動作正則項的常見副作用。解決先確認動作懲罰項系數(shù)。常見做法是把動作懲罰減小一個數(shù)量級或者改成只在任務失敗時施加懲罰。另一個更有效的手段是增加 reward shaping比如給“物體接近目標位置”的過程賦予一個連續(xù)增量。注意 shaping 權重不要太大否則模型會學會在原地抖動物體來刷 shaping成功率照樣不漲。5.3 動作空間選錯位置增量還是關節(jié)力矩模型完全學不會現(xiàn)象同樣的網(wǎng)絡結構換成關節(jié)力矩作為動作輸出后訓練極不穩(wěn)定動作幅度劇烈且在早期頻繁觸發(fā)安全保護訓練直接中斷。原因不同動作空間的探索難度差別巨大。位置增量控制在笛卡爾空間動作維度低、幅度容易約束適合端到端學習關節(jié)力矩控制維度高且對動力學參數(shù)敏感策略在未收斂初期很容易產(chǎn)生危險動作。很多初學玩法直接照搬論文里的動作空間但沒考慮自己的任務是否具備相同條件。解決對于大部分桌面操作任務優(yōu)先使用末端執(zhí)行器的位置增量加旋轉增量動作空間維度通常是 6 或 7。等策略在位置增量空間里收斂到一個可接受基線后想挑戰(zhàn)高動態(tài)任務再換到阻抗控制或關節(jié)力矩控制。換動作空間時必須重新做一次數(shù)據(jù)歸一化因為位置增量和關節(jié)力矩的數(shù)值范圍完全不同。5.4 相機參數(shù)照抄默認值焦距和視野與任務不匹配現(xiàn)象訓練時圖像看起來正常真機部署后策略總是差一點抓不準反復調(diào)整策略也沒有改善最后發(fā)現(xiàn)是訓練時仿真相機的視場角和真機鏡頭不一致。原因仿真相機的默認內(nèi)參是模板值不針對具體真機鏡頭。模型對焦距和畸變模式非常敏感它學的不是“物體的絕對位置”而是“在圖像坐標系下物體的像素位置和動作的關系”。如果相機內(nèi)參不一致從像素到運動方向的映射整體偏掉。解決在訓練前用一張棋盤格標定真機相機把焦距、主點、畸變系數(shù)寫進仿真相機配置。這是一個三十分鐘就能完成的工作卻直接影響模型能否遷到真機。如果只是做仿真內(nèi)實驗也要檢查一下默認分辨率的長寬比是否匹配任務區(qū)域避免物體出現(xiàn)在圖像的邊緣被網(wǎng)絡直接忽略。5.5 一訓練就 NaN 或 loss 發(fā)散先查歸一化再查網(wǎng)絡結構現(xiàn)象訓練開始幾百步后 loss 數(shù)值變成 NaN或者 reward 劇烈振蕩然后突然歸零。新手第一反應是調(diào)學習率換了三個學習率依舊翻車。原因觀察量或動作量沒有歸一化。圖像像素值直接進網(wǎng)絡、關節(jié)角度在正負 180 度之間擺動、動作增量的數(shù)值范圍跨兩個數(shù)量級這些都會讓網(wǎng)絡初期的梯度爆炸。歸一化問題比網(wǎng)絡結構問題更容易被忽視排錯順序應該先數(shù)據(jù)后模型。解決所有連續(xù)觀測維度做均值和方差歸一化圖像除以 255動作增量縮放到 -1 到 1 區(qū)間。做完這一步再看是否還需要調(diào)學習率常見初始學習率在 3e-4 到 1e-4 之間AdamW 搭配線性 warmup 是穩(wěn)妥組合。如果歸一化后仍發(fā)散再檢查是否有 NaN 通過傳感器讀入觀測空間常見來源是物理引擎在極端接觸狀態(tài)下返回無窮值。6. 把 general flow 嵌進策略輸出層affordance 條件下的 scalable robot learning 實踐知識庫跑通、數(shù)據(jù)管道建好、避坑清單對過一遍之后值得做的一個進階改造是把策略輸出頭從高斯混合模型換成 flow matching。最近被反復討論的 general flow as foundation affordance for scalable robot learning核心是把動作生成看成從噪聲到動作的逐步流動過程再用 affordance 特征作為條件引導這個流動。落地到代碼上它替換的只是策略的最后一層。對比高斯混合模型直接輸出動作分布參數(shù)flow matching 輸出的是一個馬爾可夫鏈式的逐步去噪過程訓練更穩(wěn)定表達的動作分布更復雜。它就相當于給策略輸出加了一個“后悔藥”動作采樣知道逐步修正自己。驗證這個改造是否值得最直接的方法是在仿真任務上做同條件對比。固定數(shù)據(jù)集、固定評測協(xié)議分別用 GMM 輸出頭和 flow matching 輸出頭訓練對比 20 個種子下的平均成功率。我的個人習慣是先只換輸出頭其他超參完全不動跑一版看趨勢如果成功率沒有明顯提升先不折騰網(wǎng)絡架構回頭檢查數(shù)據(jù)質(zhì)量——因為 flow matching 對數(shù)據(jù)多樣性的利用能力更強數(shù)據(jù)本身太單一時它也發(fā)揮不出來。這個方向能不能規(guī)?；P鍵看你的數(shù)據(jù)管道是否預置了 affordance 字段。如果第 4 章的字段預留做到位了接入 flow 條件只是加一個特征拼接的事如果沒預留要回頭補標注成本翻倍。這算是我在這類改造上踩過最深的一坑希望幫到你。本文還有配套的精品資源點擊獲取