1. 從直覺到算法理解強(qiáng)化學(xué)習(xí)的核心范式想象一下你在教一只小狗學(xué)習(xí)“坐下”這個(gè)指令。你不會(huì)直接告訴它“坐下”這個(gè)單詞的精確含義而是通過(guò)一系列互動(dòng)來(lái)引導(dǎo)當(dāng)它偶然做出坐下的動(dòng)作時(shí)你立刻給它一塊零食獎(jiǎng)勵(lì)如果它亂跑或者做其他動(dòng)作你就不給獎(jiǎng)勵(lì)甚至可能輕聲說(shuō)“不”輕微的懲罰。經(jīng)過(guò)多次這樣的嘗試小狗逐漸將“聽到‘坐下’指令后把屁股貼到地上”這個(gè)行為與“獲得美味零食”這個(gè)美好的結(jié)果聯(lián)系了起來(lái)。它學(xué)會(huì)了這個(gè)技能盡管它可能永遠(yuǎn)無(wú)法理解“坐下”這個(gè)詞語(yǔ)的語(yǔ)法結(jié)構(gòu)。強(qiáng)化學(xué)習(xí)本質(zhì)上就是讓一個(gè)智能體Agent比如那只小狗或者一個(gè)程序、一個(gè)機(jī)器人通過(guò)這種“試錯(cuò)”與“獎(jiǎng)懲”的方式在復(fù)雜且不確定的環(huán)境中學(xué)會(huì)如何采取一系列行動(dòng)Actions以最大化其長(zhǎng)期獲得的累積獎(jiǎng)勵(lì)Cumulative Reward。它不依賴于預(yù)先標(biāo)注好的“標(biāo)準(zhǔn)答案”那是監(jiān)督學(xué)習(xí)也不需要對(duì)數(shù)據(jù)進(jìn)行無(wú)監(jiān)督的聚類或降維。它的核心驅(qū)動(dòng)力來(lái)自于環(huán)境對(duì)智能體行為的即時(shí)反饋。這個(gè)范式與我們?nèi)祟悓W(xué)習(xí)騎自行車、玩游戲甚至進(jìn)行商業(yè)決策的過(guò)程驚人地相似。我們并不知道一套完美的肌肉控制指令來(lái)保持平衡但通過(guò)不斷摔倒負(fù)反饋和成功騎行一段距離正反饋我們的大腦逐漸調(diào)整了控制策略。在電子游戲中玩家通過(guò)反復(fù)嘗試摸索出擊敗Boss的走位和技能釋放時(shí)機(jī)目標(biāo)就是獲得更高的分?jǐn)?shù)或通關(guān)。強(qiáng)化學(xué)習(xí)正是將這一普適的學(xué)習(xí)原理數(shù)學(xué)化和算法化。那么強(qiáng)化學(xué)習(xí)適合誰(shuí)呢如果你是一名算法工程師或研究者希望解決決策優(yōu)化、控制、游戲AI等問(wèn)題強(qiáng)化學(xué)習(xí)是你的核心工具箱之一。如果你是一名機(jī)器人或自動(dòng)駕駛領(lǐng)域的開發(fā)者強(qiáng)化學(xué)習(xí)是實(shí)現(xiàn)復(fù)雜技能如行走、抓取的關(guān)鍵技術(shù)。即便你是一名對(duì)前沿AI感興趣的學(xué)生或愛好者理解強(qiáng)化學(xué)習(xí)也能幫你洞悉AlphaGo、AlphaStar、ChatGPT其訓(xùn)練過(guò)程中的RLHF階段等里程碑背后的核心思想之一。它解決的是“在未知環(huán)境中如何通過(guò)交互學(xué)習(xí)最優(yōu)策略”這一根本性問(wèn)題。2. 強(qiáng)化學(xué)習(xí)的核心組件與運(yùn)作機(jī)制拆解要構(gòu)建一個(gè)強(qiáng)化學(xué)習(xí)系統(tǒng)我們需要明確定義幾個(gè)核心組件它們共同構(gòu)成了一個(gè)完整的交互回路通常被稱為馬爾可夫決策過(guò)程Markov Decision Process, MDP框架。理解這個(gè)框架是理解所有強(qiáng)化學(xué)習(xí)算法的基石。2.1 智能體與環(huán)境的二元互動(dòng)整個(gè)系統(tǒng)圍繞兩個(gè)主角展開智能體和環(huán)境。智能體是學(xué)習(xí)者與決策者。它能夠感知環(huán)境的狀態(tài)并據(jù)此選擇要執(zhí)行的動(dòng)作。它的目標(biāo)是通過(guò)學(xué)習(xí)一個(gè)“策略”使得長(zhǎng)期回報(bào)最大化。環(huán)境是智能體所處的外部世界。它接收智能體的動(dòng)作并因此發(fā)生變化產(chǎn)生一個(gè)新的狀態(tài)同時(shí)給智能體一個(gè)即時(shí)獎(jiǎng)勵(lì)或懲罰。這個(gè)交互過(guò)程是一個(gè)持續(xù)的循環(huán)在時(shí)刻t智能體觀察到環(huán)境的狀態(tài)S_t。智能體根據(jù)其當(dāng)前策略選擇一個(gè)動(dòng)作A_t執(zhí)行。環(huán)境接收到動(dòng)作A_t轉(zhuǎn)移到新的狀態(tài)S_{t1}。環(huán)境給出一個(gè)即時(shí)獎(jiǎng)勵(lì)R_{t1}反饋給智能體。智能體根據(jù)新的狀態(tài)S_{t1}和獎(jiǎng)勵(lì)R_{t1}更新自己的知識(shí)策略然后循環(huán)回到步驟1。2.2 狀態(tài)、動(dòng)作與獎(jiǎng)勵(lì)信息的載體狀態(tài)是對(duì)環(huán)境當(dāng)前情況的完整描述。理想狀態(tài)下一個(gè)狀態(tài)應(yīng)包含所有對(duì)未來(lái)預(yù)測(cè)有用的信息即滿足馬爾可夫性未來(lái)只依賴于當(dāng)前狀態(tài)與過(guò)去歷史無(wú)關(guān)。例如在圍棋中狀態(tài)就是當(dāng)前棋盤上所有棋子的位置在機(jī)器人控制中狀態(tài)可能是所有關(guān)節(jié)的角度、角速度。動(dòng)作是智能體可以執(zhí)行的操作集合。動(dòng)作空間可以是離散的如游戲中的上、下、左、右也可以是連續(xù)的如機(jī)器人關(guān)節(jié)需要施加的扭矩值是一個(gè)實(shí)數(shù)。獎(jiǎng)勵(lì)是環(huán)境發(fā)給智能體的標(biāo)量反饋信號(hào)定義了智能體的任務(wù)目標(biāo)。設(shè)計(jì)一個(gè)好的獎(jiǎng)勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)成功的關(guān)鍵甚至可以說(shuō)是最困難的部分之一。獎(jiǎng)勵(lì)函數(shù)需要巧妙地引導(dǎo)智能體走向最終目標(biāo)。例如讓機(jī)器人學(xué)會(huì)走路如果只在成功走到終點(diǎn)時(shí)給一個(gè)大獎(jiǎng)勵(lì)智能體可能永遠(yuǎn)探索不到那一步。更好的設(shè)計(jì)是每保持站立不倒給一個(gè)小獎(jiǎng)勵(lì)向前移動(dòng)一步再給一個(gè)獎(jiǎng)勵(lì)摔倒則給一個(gè)負(fù)獎(jiǎng)勵(lì)。2.3 策略、價(jià)值函數(shù)與模型智能體的“大腦”智能體內(nèi)部通過(guò)學(xué)習(xí)三個(gè)核心概念來(lái)形成自己的“大腦”策略這是智能體的行為準(zhǔn)則一個(gè)從狀態(tài)到動(dòng)作的映射函數(shù)。它可以是確定性的看到某個(gè)狀態(tài)就固定輸出某個(gè)動(dòng)作也可以是隨機(jī)性的輸出動(dòng)作的概率分布。策略直接決定了智能體如何行動(dòng)。價(jià)值函數(shù)這是對(duì)“好”程度的長(zhǎng)期評(píng)估。它回答的問(wèn)題是“從當(dāng)前狀態(tài)或當(dāng)前狀態(tài)執(zhí)行某個(gè)動(dòng)作出發(fā)按照當(dāng)前策略我未來(lái)能獲得多少累積獎(jiǎng)勵(lì)的期望” 其中狀態(tài)價(jià)值函數(shù) V(s)評(píng)估一個(gè)狀態(tài)的好壞動(dòng)作價(jià)值函數(shù) Q(s, a)評(píng)估在某個(gè)狀態(tài)下執(zhí)行某個(gè)動(dòng)作的好壞。價(jià)值函數(shù)幫助智能體進(jìn)行長(zhǎng)遠(yuǎn)規(guī)劃而不是僅僅貪圖眼前的一點(diǎn)獎(jiǎng)勵(lì)。模型這是智能體對(duì)環(huán)境的理解用于預(yù)測(cè)環(huán)境的下一個(gè)狀態(tài)和即時(shí)獎(jiǎng)勵(lì)。即給定當(dāng)前狀態(tài)和動(dòng)作模型預(yù)測(cè)S_{t1}和R_{t1}。擁有模型的智能體可以在“腦?！敝心M推演進(jìn)行規(guī)劃?；谀Ｐ偷膹?qiáng)化學(xué)習(xí)就依賴于學(xué)習(xí)或已知的環(huán)境模型。注意獎(jiǎng)勵(lì)函數(shù)是環(huán)境給出的、定義目標(biāo)的而價(jià)值函數(shù)是智能體內(nèi)部學(xué)習(xí)的、用于評(píng)估長(zhǎng)期收益的。兩者極易混淆但至關(guān)重要。獎(jiǎng)勵(lì)是即時(shí)、局部的信號(hào)價(jià)值是長(zhǎng)期、全局的估計(jì)。3. 核心算法流派從經(jīng)典到前沿的演進(jìn)強(qiáng)化學(xué)習(xí)算法種類繁多但大體上可以沿著幾個(gè)關(guān)鍵維度進(jìn)行分類是否學(xué)習(xí)環(huán)境模型、如何更新策略、如何處理動(dòng)作空間等。下面我們拆解幾個(gè)最具代表性的算法家族。3.1 價(jià)值學(xué)習(xí)先評(píng)估后決策這類算法的核心思想是先學(xué)習(xí)出最優(yōu)的動(dòng)作價(jià)值函數(shù) Q*(s, a)然后最優(yōu)策略自然就是選擇那個(gè)能讓 Q 值最大的動(dòng)作即 π*(s) argmax_a Q*(s, a)。3.1.1 Q-Learning離線學(xué)習(xí)的經(jīng)典Q-Learning 是一種經(jīng)典的時(shí)序差分方法。它通過(guò)以下公式更新 Q 值Q(S_t, A_t) ← Q(S_t, A_t) α * [R_{t1} γ * max_a Q(S_{t1}, a) - Q(S_t, A_t)]其中α 是學(xué)習(xí)率γ 是折扣因子用于衡量未來(lái)獎(jiǎng)勵(lì)的當(dāng)前價(jià)值。括號(hào)內(nèi)的部分稱為時(shí)序差分誤差是當(dāng)前估計(jì)與更優(yōu)估計(jì)即時(shí)獎(jiǎng)勵(lì)加上下一狀態(tài)的最大Q值之間的差異。Q-Learning 的關(guān)鍵特性是異策略它用來(lái)評(píng)估和改進(jìn)的策略選擇 max_a Q 的動(dòng)作與它實(shí)際執(zhí)行來(lái)生成數(shù)據(jù)的策略如 ε-greedy 策略可以不同。這使得它能夠利用歷史數(shù)據(jù)經(jīng)驗(yàn)回放進(jìn)行離線學(xué)習(xí)更加高效穩(wěn)定。3.1.2 DQN深度與強(qiáng)化學(xué)習(xí)的首次成功結(jié)合深度Q網(wǎng)絡(luò)Deep Q-Network是 Q-Learning 與深度神經(jīng)網(wǎng)絡(luò)的結(jié)合解決了傳統(tǒng)方法無(wú)法處理高維狀態(tài)如圖像的問(wèn)題。DQN 引入了兩個(gè)關(guān)鍵技巧經(jīng)驗(yàn)回放將智能體與環(huán)境交互的經(jīng)歷 (s, a, r, s) 存儲(chǔ)在一個(gè)緩沖區(qū)中訓(xùn)練時(shí)從中隨機(jī)采樣一批數(shù)據(jù)。這打破了數(shù)據(jù)間的相關(guān)性使訓(xùn)練更穩(wěn)定。目標(biāo)網(wǎng)絡(luò)使用一個(gè)獨(dú)立的、更新較慢的網(wǎng)絡(luò)來(lái)計(jì)算 Q-Learning 更新公式中的max_a Q(S_{t1}, a)部分。這避免了“追逐移動(dòng)目標(biāo)”導(dǎo)致的不穩(wěn)定問(wèn)題。DQN 在 Atari 游戲上取得了超越人類的水平證明了深度強(qiáng)化學(xué)習(xí)在復(fù)雜感知決策任務(wù)上的潛力。但其本質(zhì)仍是離散動(dòng)作空間算法。3.2 策略梯度直接優(yōu)化策略對(duì)于連續(xù)動(dòng)作空間如機(jī)器人控制無(wú)法計(jì)算 max_a Q(s,a)。策略梯度方法直接參數(shù)化策略 π(a|s; θ)并通過(guò)優(yōu)化參數(shù) θ 來(lái)最大化期望回報(bào) J(θ)。其核心是策略梯度定理更新方向?yàn)棣?← θ α * ?_θ J(θ) ≈ θ α * (G_t * ?_θ log π(A_t|S_t; θ))其中 G_t 是從時(shí)刻 t 開始的累積回報(bào)。簡(jiǎn)單說(shuō)如果一次嘗試獲得了高回報(bào)G_t 大那么就加大產(chǎn)生這個(gè)動(dòng)作序列的概率。3.2.1 REINFORCE蒙特卡洛策略梯度REINFORCE 是最基礎(chǔ)的策略梯度算法。它使用一次完整回合的總回報(bào) G_t 來(lái)評(píng)估動(dòng)作的好壞屬于蒙特卡洛方法。其缺點(diǎn)是方差很大因?yàn)橥徊呗韵虏煌睾系幕貓?bào)可能波動(dòng)劇烈導(dǎo)致訓(xùn)練不穩(wěn)定。3.2.2 Actor-Critic融合價(jià)值函數(shù)的優(yōu)勢(shì)演員-評(píng)論家框架是策略梯度的主流。它包含兩個(gè)部分演員即策略網(wǎng)絡(luò) π(a|s; θ)負(fù)責(zé)根據(jù)狀態(tài)選擇動(dòng)作。評(píng)論家即價(jià)值網(wǎng)絡(luò) V(s; w) 或 Q(s,a; w)負(fù)責(zé)評(píng)估當(dāng)前狀態(tài)或狀態(tài)-動(dòng)作對(duì)的好壞。在更新時(shí)演員根據(jù)評(píng)論家提供的“評(píng)價(jià)”如優(yōu)勢(shì)函數(shù) A(s,a) Q(s,a) - V(s)來(lái)調(diào)整策略。評(píng)論家則通過(guò)時(shí)序差分誤差來(lái)更新自己的價(jià)值估計(jì)。兩者相互促進(jìn)顯著降低了方差加快了學(xué)習(xí)速度。3.2.3 PPO與TRPO信賴域策略優(yōu)化直接策略梯度更新步長(zhǎng)難以選擇步長(zhǎng)太小學(xué)習(xí)慢步長(zhǎng)太大容易導(dǎo)致策略性能崩潰。PPO近端策略優(yōu)化和TRPO信賴域策略優(yōu)化通過(guò)約束新舊策略之間的差異確保每次更新都在一個(gè)“安全”的范圍內(nèi)。TRPO通過(guò)復(fù)雜的二階優(yōu)化方法強(qiáng)制要求新舊策略的KL散度小于一個(gè)閾值。效果穩(wěn)定但計(jì)算復(fù)雜。PPO提出了更簡(jiǎn)潔的實(shí)現(xiàn)主要是通過(guò)裁剪概率比來(lái)間接約束策略變化。其損失函數(shù)包含一個(gè)裁剪項(xiàng)當(dāng)新舊策略差異過(guò)大時(shí)梯度會(huì)被限制。PPO 因其實(shí)現(xiàn)簡(jiǎn)單、效果優(yōu)異、調(diào)參相對(duì)容易已成為當(dāng)前連續(xù)控制任務(wù)中最流行、最基礎(chǔ)的算法之一。許多前沿研究如你提到的宇樹G1機(jī)器人運(yùn)動(dòng)學(xué)習(xí)都以PPO為基礎(chǔ)框架進(jìn)行改進(jìn)。3.3 結(jié)合模型與無(wú)模型前沿探索3.3.1 基于模型的強(qiáng)化學(xué)習(xí)如前所述MBRL 先學(xué)習(xí)環(huán)境模型狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)函數(shù)然后利用這個(gè)模型進(jìn)行規(guī)劃如通過(guò)樹搜索或生成模擬數(shù)據(jù)來(lái)訓(xùn)練無(wú)模型策略。其優(yōu)勢(shì)是樣本效率高因?yàn)榭梢栽谀X海里反復(fù)試錯(cuò)但難點(diǎn)在于模型誤差會(huì)累積可能導(dǎo)致規(guī)劃出錯(cuò)的“幻覺”行為。近年來(lái)結(jié)合深度學(xué)習(xí)的世界模型如Dreamer系列取得了顯著進(jìn)展。3.3.2 離線強(qiáng)化學(xué)習(xí)傳統(tǒng)RL需要智能體與環(huán)境在線交互收集數(shù)據(jù)。但在很多現(xiàn)實(shí)場(chǎng)景如醫(yī)療、自動(dòng)駕駛在線試錯(cuò)成本高昂或危險(xiǎn)。離線強(qiáng)化學(xué)習(xí)如你提到的IQL旨在僅利用預(yù)先收集好的、可能由不同策略產(chǎn)生的靜態(tài)數(shù)據(jù)集學(xué)習(xí)到一個(gè)優(yōu)秀的策略。其核心挑戰(zhàn)是分布偏移學(xué)習(xí)到的策略可能會(huì)選擇數(shù)據(jù)集中不常見或未出現(xiàn)的動(dòng)作而價(jià)值函數(shù)對(duì)這些“陌生”動(dòng)作的估計(jì)可能極不準(zhǔn)確導(dǎo)致策略失敗。IQL隱式Q學(xué)習(xí)等算法通過(guò)避免在策略更新中直接使用未見動(dòng)作的Q值巧妙地緩解了這個(gè)問(wèn)題。3.3.3 多智能體強(qiáng)化學(xué)習(xí)當(dāng)環(huán)境中有多個(gè)智能體同時(shí)學(xué)習(xí)并交互時(shí)問(wèn)題就變成了MARL。每個(gè)智能體的環(huán)境都在因其他智能體的策略改變而動(dòng)態(tài)變化穩(wěn)定性、協(xié)調(diào)、競(jìng)爭(zhēng)與合作成為新的挑戰(zhàn)。這是博弈論與RL的結(jié)合在自動(dòng)駕駛協(xié)同、多機(jī)器人系統(tǒng)、經(jīng)濟(jì)模擬中有廣泛應(yīng)用。4. 從理論到實(shí)踐一個(gè)完整的強(qiáng)化學(xué)習(xí)項(xiàng)目流程理解了算法我們來(lái)看如何動(dòng)手實(shí)現(xiàn)一個(gè)RL項(xiàng)目。這里以一個(gè)經(jīng)典的連續(xù)控制任務(wù)——讓機(jī)械臂學(xué)習(xí)抓取物體常使用MuJoCo或Isaac Gym仿真環(huán)境為例拆解全流程。4.1 問(wèn)題定義與環(huán)境搭建首先必須用MDP框架清晰地定義問(wèn)題狀態(tài)空間 S機(jī)械臂各關(guān)節(jié)角度、角速度末端執(zhí)行器夾爪的位置、姿態(tài)目標(biāo)物體的位置、姿態(tài)以及可能的力傳感器讀數(shù)。通常需要?dú)w一化處理。動(dòng)作空間 A機(jī)械臂各關(guān)節(jié)需要施加的扭矩值或者是關(guān)節(jié)的目標(biāo)位置通過(guò)PD控制器轉(zhuǎn)換為扭矩。這是一個(gè)連續(xù)空間。獎(jiǎng)勵(lì)函數(shù) R這是設(shè)計(jì)的精髓。一個(gè)簡(jiǎn)單的設(shè)計(jì)可能包括r_distance -||物體位置 - 夾爪位置||鼓勵(lì)靠近r_grasp 10 if 夾爪接觸物體 else 0r_lift 50 if 物體離地高度 閾值 else 0r_energy -0.01 * ||扭矩||^2鼓勵(lì)節(jié)能防止動(dòng)作抖動(dòng)總獎(jiǎng)勵(lì) r_distance r_grasp r_lift r_energy終止條件回合結(jié)束的條件如成功抓取并舉起物體保持N步、機(jī)械臂碰撞、超過(guò)最大步數(shù)。環(huán)境搭建通常選擇仿真器。MuJoCo以其物理精度和計(jì)算效率成為學(xué)術(shù)界的標(biāo)準(zhǔn)。Isaac Gym則是NVIDIA推出的支持大規(guī)模并行仿真數(shù)千個(gè)環(huán)境同時(shí)運(yùn)行能極大加快數(shù)據(jù)收集速度特別適合需要海量交互的RL訓(xùn)練。你提到的“5090D如何在Isaac Gym訓(xùn)練”正是利用其強(qiáng)大的并行能力充分發(fā)揮高端GPU的算力。4.2 算法選擇與智能體實(shí)現(xiàn)對(duì)于連續(xù)控制任務(wù)PPO或DDPG及其變體TD3、SAC是常見選擇。PPO更穩(wěn)定調(diào)參相對(duì)簡(jiǎn)單是很好的基線算法。我們需要實(shí)現(xiàn)演員網(wǎng)絡(luò)輸出動(dòng)作均值和對(duì)數(shù)標(biāo)準(zhǔn)差和評(píng)論家網(wǎng)絡(luò)輸出狀態(tài)價(jià)值。使用廣義優(yōu)勢(shì)估計(jì)GAE來(lái)計(jì)算優(yōu)勢(shì)函數(shù)。SAC最大熵強(qiáng)化學(xué)習(xí)算法在動(dòng)作探索上更加積極在許多復(fù)雜任務(wù)上性能超越PPO。它同時(shí)學(xué)習(xí)一個(gè)策略網(wǎng)絡(luò)、兩個(gè)Q網(wǎng)絡(luò)緩解過(guò)估計(jì)和一個(gè)狀態(tài)價(jià)值網(wǎng)絡(luò)并最大化期望回報(bào)與策略熵的加權(quán)和。以PPO為例智能體的訓(xùn)練循環(huán)如下數(shù)據(jù)收集智能體用當(dāng)前策略在并行環(huán)境中交互N步收集一批 (s, a, r, s’, done) 數(shù)據(jù)。優(yōu)勢(shì)計(jì)算利用收集到的整條軌跡和評(píng)論家網(wǎng)絡(luò)使用GAE公式計(jì)算每個(gè)時(shí)間步的優(yōu)勢(shì)估計(jì) A_t。策略更新將收集到的數(shù)據(jù)狀態(tài)、動(dòng)作、優(yōu)勢(shì)、舊動(dòng)作概率打亂分成小批量進(jìn)行多次 epochs 的更新。每次更新計(jì)算裁剪后的PPO損失函數(shù)對(duì)演員和評(píng)論家網(wǎng)絡(luò)參數(shù)進(jìn)行梯度下降。循環(huán)清空數(shù)據(jù)緩沖區(qū)用更新后的策略回到步驟1。4.3 訓(xùn)練調(diào)試與超參數(shù)調(diào)優(yōu)RL訓(xùn)練 notoriously 不穩(wěn)定調(diào)試是重中之重。監(jiān)控指標(biāo)不僅要看回合總獎(jiǎng)勵(lì)的上升趨勢(shì)還要看獎(jiǎng)勵(lì)各分量的變化、策略熵探索程度、價(jià)值函數(shù)估計(jì)、梯度范數(shù)等。超參數(shù)敏感性學(xué)習(xí)率、GAE參數(shù)λ、折扣因子γ、裁剪范圍ε、每次迭代的步數(shù)、批量大小等都對(duì)結(jié)果有巨大影響。通常需要網(wǎng)格搜索或使用自動(dòng)調(diào)優(yōu)工具。常見問(wèn)題與排查獎(jiǎng)勵(lì)不增檢查獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)是否合理是否存在獎(jiǎng)勵(lì)稀疏問(wèn)題如只在成功時(shí)給獎(jiǎng)勵(lì)?？梢試L試獎(jiǎng)勵(lì)塑形增加中間獎(jiǎng)勵(lì)引導(dǎo)。策略崩潰獎(jiǎng)勵(lì)突然下降?？赡苁菍W(xué)習(xí)率太大、裁剪范圍不合適或遇到了局部最優(yōu)。嘗試減小學(xué)習(xí)率增加熵獎(jiǎng)勵(lì)系數(shù)鼓勵(lì)探索。價(jià)值函數(shù)發(fā)散評(píng)論家網(wǎng)絡(luò)估計(jì)的值越來(lái)越大或越來(lái)越小。檢查獎(jiǎng)勵(lì)尺度是否過(guò)大可以嘗試獎(jiǎng)勵(lì)縮放或降低評(píng)論家網(wǎng)絡(luò)的學(xué)習(xí)率。探索不足策略熵迅速降為0智能體停止嘗試新動(dòng)作。增加熵獎(jiǎng)勵(lì)系數(shù)或使用像SAC這類自帶最大熵目標(biāo)的算法。實(shí)操心得在機(jī)械臂抓取任務(wù)中我們發(fā)現(xiàn)初始探索階段隨機(jī)策略很難讓夾爪碰到物體。一個(gè)有效的技巧是課程學(xué)習(xí)先訓(xùn)練一個(gè)簡(jiǎn)單的目標(biāo)比如讓夾爪移動(dòng)到物體上方只給位置獎(jiǎng)勵(lì)然后再用這個(gè)預(yù)訓(xùn)練的策略作為初始策略去學(xué)習(xí)更復(fù)雜的抓取和舉起任務(wù)。這能顯著加快訓(xùn)練速度提高成功率。5. 前沿趨勢(shì)與挑戰(zhàn)安全、泛化與跨物理形態(tài)強(qiáng)化學(xué)習(xí)遠(yuǎn)非已解決的問(wèn)題領(lǐng)域當(dāng)前研究正朝著更現(xiàn)實(shí)、更復(fù)雜的方向邁進(jìn)。5.1 安全強(qiáng)化學(xué)習(xí)在真實(shí)世界部署RL安全是底線。安全RL要求在優(yōu)化性能獎(jiǎng)勵(lì)的同時(shí)滿足一定的安全約束如關(guān)節(jié)角度不超過(guò)限位、末端速度低于閾值、不與人類碰撞。約束優(yōu)化方法將問(wèn)題建模為帶約束的馬爾可夫決策過(guò)程使用拉格朗日乘子法等在優(yōu)化主獎(jiǎng)勵(lì)時(shí)將約束違反程度作為懲罰項(xiàng)或硬約束。基于模型的安全過(guò)濾學(xué)習(xí)一個(gè)預(yù)測(cè)不安全狀態(tài)的模型當(dāng)智能體要采取的動(dòng)作被模型預(yù)測(cè)會(huì)導(dǎo)致不安全狀態(tài)時(shí)由一個(gè)安全層將其修正為一個(gè)安全動(dòng)作。5.2 泛化與元強(qiáng)化學(xué)習(xí)在仿真中訓(xùn)練的策略往往在環(huán)境動(dòng)力學(xué)參數(shù)稍有變化如摩擦系數(shù)、物體質(zhì)量或遇到新任務(wù)時(shí)就失效。如何讓智能體學(xué)會(huì)“學(xué)習(xí)的能力”快速適應(yīng)新環(huán)境或新任務(wù)元強(qiáng)化學(xué)習(xí)在大量不同但相關(guān)的任務(wù)分布上進(jìn)行訓(xùn)練目標(biāo)是讓智能體學(xué)會(huì)一個(gè)快速適應(yīng)新任務(wù)的內(nèi)部初始化或更新規(guī)則。這可以看作是在學(xué)習(xí)任務(wù)的“先驗(yàn)知識(shí)”。域隨機(jī)化在訓(xùn)練時(shí)主動(dòng)隨機(jī)化仿真環(huán)境的各種物理參數(shù)如紋理、光照、質(zhì)量、摩擦。這迫使策略學(xué)習(xí)到更魯棒的特征而不是過(guò)擬合到某個(gè)特定仿真設(shè)置從而提升向真實(shí)世界遷移的潛力。5.3 從仿真到現(xiàn)實(shí)與跨形態(tài)學(xué)習(xí)Sim2Real是機(jī)器人RL的核心挑戰(zhàn)。盡管有域隨機(jī)化等技術(shù)仿真與現(xiàn)實(shí)的差距“現(xiàn)實(shí)鴻溝”依然存在。結(jié)合少量真實(shí)世界數(shù)據(jù)進(jìn)行微調(diào)或使用系統(tǒng)辨識(shí)來(lái)校準(zhǔn)仿真模型是常見思路。更激動(dòng)人心的方向是跨物理形態(tài)學(xué)習(xí)。你提到的“宇樹G1機(jī)器人學(xué)習(xí)溫和的人形運(yùn)動(dòng)”以及“SoftA框架優(yōu)化PPO算法”正是這一方向的體現(xiàn)。傳統(tǒng)的機(jī)器人控制依賴于精確的動(dòng)力學(xué)模型和精心設(shè)計(jì)的控制器。而基于RL的方法尤其是結(jié)合了柔性體仿真SoftA框架可能關(guān)注于此和模仿學(xué)習(xí)從人類動(dòng)作捕捉數(shù)據(jù)中學(xué)習(xí)先驗(yàn)可以讓機(jī)器人學(xué)習(xí)到更自然、更柔順、更節(jié)能的運(yùn)動(dòng)模式。這種“溫和”的運(yùn)動(dòng)不僅更符合人形機(jī)器人的美學(xué)目標(biāo)也能減少對(duì)自身結(jié)構(gòu)和環(huán)境的沖擊提高安全性和能效。這需要更精細(xì)的仿真、更復(fù)雜的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)包含能量效率、動(dòng)作平滑性、與參考動(dòng)作的相似度等以及更強(qiáng)大的策略表示能力。強(qiáng)化學(xué)習(xí)的世界既深邃又廣闊它從動(dòng)物學(xué)習(xí)和人類決策中汲取靈感最終目標(biāo)是創(chuàng)造出能在復(fù)雜現(xiàn)實(shí)中自主學(xué)習(xí)和進(jìn)化的智能體。從雅達(dá)利游戲的像素輸入到人形機(jī)器人的全身協(xié)調(diào)運(yùn)動(dòng)這條路上充滿了挑戰(zhàn)而每一次突破都讓我們離通用人工智能的夢(mèng)想更近一步。對(duì)于實(shí)踐者而言最好的學(xué)習(xí)方式永遠(yuǎn)是選一個(gè)明確的任務(wù)搭建好環(huán)境實(shí)現(xiàn)一個(gè)基礎(chǔ)算法比如PPO然后開始觀察、調(diào)試、迭代在解決一個(gè)又一個(gè)具體問(wèn)題的過(guò)程中真正理解這門藝術(shù)的精妙之處。