很多剛接觸強化學(xué)習(xí)的同學(xué)第一個崩潰點往往不在算法推導(dǎo)而在環(huán)境接口。網(wǎng)上教程張嘴就是env.step(action)可一旦你真去寫reset返回什么、step返回幾個值、action_space到底是個什么對象每一步都可能把人卡住。gym 環(huán)境庫就是這套交互標準的核心載體它把智能體怎么跟任務(wù)世界打交道這件抽象的事固化成了幾個極其具體的方法和數(shù)據(jù)結(jié)構(gòu)。你不需要懂每個環(huán)境內(nèi)部的物理引擎也不用關(guān)心游戲畫面怎么渲染只要會按接口規(guī)范操作就能在幾十個現(xiàn)成任務(wù)上快速驗證強化學(xué)習(xí)算法。這篇文章我會先講清楚 gym 環(huán)境庫在整個強化學(xué)習(xí)里的定位然后手把手帶你把 CartPole 跑起來再從觀測空間、動作空間、內(nèi)置環(huán)境、自定義環(huán)境、訓(xùn)練循環(huán)這些角度逐一拆開揉碎。適合剛學(xué)強化學(xué)習(xí)、想看明白別人代碼里環(huán)境部分在干嘛的同學(xué)也適合準備自己造環(huán)境、跑實驗的讀者。讀完你會發(fā)現(xiàn)環(huán)境庫沒那么玄乎它更像是一張寫得明明白白的接口合同剩下的只是熟練。1. 為什么所有強化學(xué)習(xí)例程都從 gym.make 開始環(huán)境接口的歷史角色1.1 算法實現(xiàn)與任務(wù)環(huán)境為什么要解耦強化學(xué)習(xí)的最基本框架是智能體不斷在環(huán)境里試錯觀察狀態(tài)、做出動作、拿到獎勵、再看新狀態(tài)。聽起來很簡單但一旦落到代碼里麻煩就來了。不同任務(wù)的世界觀完全不同控制一根倒立桿要看桿的角度玩射擊游戲要看畫面像素讓小車爬坡要看位置和速度。如果每個任務(wù)都自己寫一套接口那么每換一個任務(wù)算法代碼就要跟著改一遍這幾乎等于沒法做研究也沒法做工程復(fù)用。環(huán)境庫存在的意義就是把任務(wù)怎么做和算法怎么學(xué)這兩件事徹底分開。算法側(cè)只認一個抽象的環(huán)境對象不需要知道里面是物理仿真還是游戲模擬器只要負責(zé)接收觀測、給出動作、消費獎勵。環(huán)境側(cè)只需要按照統(tǒng)一規(guī)范把狀態(tài)、獎勵、終止信號交出來至于狀態(tài)是怎么算出來的它不關(guān)心。于是同一套策略網(wǎng)絡(luò)、同一套更新公式就能從一個任務(wù)無縫切到另一個任務(wù)。這也是為什么你在各種強化學(xué)習(xí)教程里都看到gym.make它更像是整個實驗流程的入口文件。1.2 gym 環(huán)境庫的合同到底是什么我把 gym 的接口理解成一份合同你遵守這份合同就能跟它底下的幾十種任務(wù)無縫協(xié)作。合同的核心是五個要素。第一是環(huán)境構(gòu)造通常用gym.make(環(huán)境名)直接加載一個現(xiàn)成任務(wù)。第二是reset()回合開始前把環(huán)境恢復(fù)到初始狀態(tài)并給你一個初始觀測。第三是step(action)你把智能體當前回合要做的動作傳進去環(huán)境模擬一步后返回新的觀測、獎勵、是否結(jié)束等信息。第四是observation_space和action_space這兩個屬性告訴你狀態(tài)和動作的合法范圍與數(shù)據(jù)結(jié)構(gòu)算法網(wǎng)絡(luò)怎么搭、輸出層怎么設(shè)計全看它們。第五是render()和close()負責(zé)可視化與資源釋放。類比一下它就像家電的標準化插座。你不需要知道每一臺電器內(nèi)部的電路怎么走只需要把插頭做成統(tǒng)一規(guī)格插上去就能用。環(huán)境庫就是那個統(tǒng)一規(guī)格的插座算法是電器任務(wù)是電源。協(xié)議一旦固定下來維護成本直線下降。2. 把第一個環(huán)境跑起來CartPole 的完整交互循環(huán)2.1 安裝與版本先確認你拿到的是哪一代接口安裝 gym 非常簡單一條命令的事pip install gym裝完以后我強烈建議你先做一件事打印一下環(huán)境本身并執(zhí)行一次reset和一次step確認自己手上的接口是哪個版本。因為 gym 社區(qū)經(jīng)歷過好幾次 API 調(diào)整不同教程基于不同版本代碼經(jīng)常對不上。import gym env gym.make(CartPole-v1) print(env.reset()) print(env.step(env.action_space.sample()))如果你的輸出像這樣說明你拿的是新版接口(array([ 0.034, 0.018, -0.023, 0.014]), {}) (array([ 0.035, -0.032, -0.023, 0.055]), 1.0, False, False, {})新版reset()返回兩個值初始觀測和一個 info 字典step()返回五個值觀測、獎勵、終止標志、截斷標志、info。如果你的輸出比這少或者只剩一個觀測說明教程是在老版本接口上寫的。判斷清楚版本再動手比硬著頭皮跑通代碼重要得多。很多報錯根本不是邏輯問題而是接口字段數(shù)量對不上。2.2 最小交互循環(huán)裝好之后我們用 CartPole 寫一個最小可運行的交互循環(huán)。CartPole 的任務(wù)很直白一根桿子立在可移動的小車上你要通過對小車施加向左或向右的力讓桿子盡量保持豎直不倒下。import gym env gym.make(CartPole-v1) obs, info env.reset(seed42) print(初始觀測:, obs, 額外信息:, info) for step in range(5): action env.action_space.sample() # 隨機選一個合法動作 obs, reward, terminated, truncated, info env.step(action) done terminated or truncated print(f第{step 1}步 | 動作: {action} | 觀測: {obs} | 獎勵: {reward} | 結(jié)束: {done}) if done: obs, info env.reset() break env.close()這段代碼的關(guān)鍵點有三個動作要直接從action_space.sample()里取保證它一定合法terminated和truncated要用or合并成done因為這倆任何一種情況都意味著本回合結(jié)束回合結(jié)束之后一定要調(diào)用reset()讓環(huán)境回到新的初始狀態(tài)才能開始下一回合。2.3 理解 step 返回的值觀測、獎勵、終止、截斷、額外信息step返回的五個值乍看簡單但每個都有講究。第一個是觀測也就是智能體在下一步能看到的世界狀態(tài)。CartPole 的觀測是一個四維向量每一項都有明確的物理含義維度含義大致范圍0小車位置-4.8 到 4.81小車速度-Inf 到 Inf2桿與豎直方向夾角-24° 到 24°3桿頂端角速度-Inf 到 Inf第二個是獎勵。CartPole 的獎勵很簡單每存活一步就加 1。所以一回合如果堅持了 200 步總回報就是 200。第三個和第四個是結(jié)束標志。這里有一個很多新手容易忽略的區(qū)分terminated表示環(huán)境自己判定任務(wù)結(jié)束比如桿倒了、車沖出了邊界truncated表示環(huán)境還沒結(jié)束但因為達到最大步數(shù)或外部條件被強制截斷。老版本里這倆合并成一個done新版本拆開了對訓(xùn)練過程影響不小后面我會詳細說。第五個是 info 字典一般用來放調(diào)試信息比如某些游戲的真實計分、剪枝后額外使用的數(shù)據(jù)。正常情況下訓(xùn)練用不到它但如果你做算法調(diào)優(yōu)它是很好的參照。3. 讀懂 spaces 模塊觀測空間與動作空間就是算法的邊界條件3.1 主流空間類型和它們的形狀語義observation_space和action_space是環(huán)境給算法的最重要提示你的輸入是什么形狀你的輸出該怎么約束。這兩個屬性不是普通元組而是 gym 的 spaces 對象寫算法之前必須先搞懂它們。最常見的幾種空間類型如下空間類型含義典型場景Discrete(n)離散整數(shù)動作取值 0 到 n-1CartPole 的左右推、走迷宮的方向Box(low, high, shape)連續(xù)向量或矩陣每個元素有上下界Pendulum 的連續(xù)扭矩、圖像像素矩陣MultiDiscrete(nvec)多個離散維度組合同時控制多個可調(diào)檔位MultiBinary(n)元素只能取 0 或 1 的向量開關(guān)組合類控制問題Dict(spaces)多個子空間組成的字典混合觀測比如同時有傳感器和圖像為什么要強調(diào)這是 spaces 對象因為光有形狀還不夠你還需要知道取值邊界、到底離散還是連續(xù)、采樣一個隨機合法動作怎么弄。這些信息都封裝在對象的方法和屬性里了。3.2 從 space 對象能提取什么信息實際寫代碼的時候我?guī)缀趺看味紩茸鲞@樣一個打印import gym import numpy as np env gym.make(CartPole-v1) print(動作空間:, env.action_space) print(觀測空間:, env.observation_space) print(離散動作數(shù):, env.action_space.n) print(觀測形狀:, env.observation_space.shape) random_action env.action_space.sample() print(隨機動作:, random_action, type(random_action)) sample_obs env.observation_space.sample() print(隨機觀測:, sample_obs) print(觀測下界:, env.observation_space.low) print(觀測上界:, env.observation_space.high)以 CartPole 為例你會看到動作空間是Discrete(2)說明合法的動作只有 0 和 1觀測空間是Box(4,)形狀是(4,)。這里observation_space.low和high非常有用它直接給出了每個維度的取值范圍。如果你要做輸入歸一化或者要判斷一個狀態(tài)是否越界這兩個數(shù)組就是依據(jù)。另一個容易踩坑的點是類型。Discrete采樣出來的動作是整數(shù)類型而很多神經(jīng)網(wǎng)絡(luò)的輸出是浮點概率分布或浮點標量。如果你要自己把 softmax 輸出的概率轉(zhuǎn)成動作記得用int()轉(zhuǎn)一下否則傳進step可能會直接報錯或者被環(huán)境庫靜默強制轉(zhuǎn)換造成難以排查的行為異常。4. 內(nèi)置環(huán)境群像從 CartPole 到像素級街機每個任務(wù)都是一道強化學(xué)習(xí)考題4.1 幾個典型內(nèi)置環(huán)境的對照與教學(xué)點gym 自帶的環(huán)境非常多從最簡控制問題到像素級游戲都有。環(huán)境多不是重點重點是你應(yīng)該從每個任務(wù)里讀出它想考你什么。我整理了幾個經(jīng)典型號供你挑訓(xùn)練用環(huán)境動作空間觀測空間獎勵特征它考你什么CartPole-v1離散 2Box(4,)每步 1最基礎(chǔ)的狀態(tài)表示與穩(wěn)定控制Pendulum-v1連續(xù) 1 維Box(3,)每步都有負分連續(xù)動作控制、負獎勵設(shè)計MountainCar-v0離散 3Box(2,)每步 -1到達山頂才結(jié)束稀疏獎勵與延遲獎勵需要探索LunarLander-v2離散 4Box(8,)分段獎勵成功 100多維度狀態(tài)、多階段目標、燃料控制像素級街機環(huán)境離散若干圖像 Box取決于游戲規(guī)則視覺輸入、CNN、高維觀測學(xué)習(xí)拿 Pendulum 來說它的目標是讓擺錘倒立起來動作是連續(xù)扭矩。它返回的 reward 永遠是一個負的二次型數(shù)值越接近理想狀態(tài)越接近 0。也就是說這不是攢分越高越好的環(huán)境而是虧損越少越好。你評估算法時就得用回合總回報的回升趨勢來判斷而不是看單步獎勵是否為正。MountainCar 則更陰險。小車在谷底發(fā)動機功率不夠直接沖坡永遠上不去需要先來回搖晃積蓄動能。每步扣 1 分只有到達山頂才結(jié)束。這個環(huán)境是天然的稀疏獎勵試金石很多初學(xué)者用最簡單的隨機策略跑這個任務(wù)會發(fā)現(xiàn)永遠結(jié)束不了從而誤以為環(huán)境卡死了。其實這正是它的教學(xué)目的讓你理解獎勵稀疏時探索有多難。4.2 跑陌生環(huán)境之前先來一次環(huán)境體檢我養(yǎng)成了一個習(xí)慣拿到任何陌生環(huán)境不急著寫算法先做一次體檢。體檢腳本大概長這樣import gym import numpy as np env gym.make(環(huán)境名) obs, info env.reset(seed0) print(空間信息:, env.observation_space, env.action_space) returns [] for episode in range(10): obs, info env.reset() total_reward 0 done False while not done: action env.action_space.sample() obs, reward, terminated, truncated, info env.step(action) total_reward reward done terminated or truncated returns.append(total_reward) print(f回合 {episode 1} 總回報: {total_reward}) print(隨機策略平均回報:, np.mean(returns)) print(隨機策略回報標準差:, np.std(returns))這個過程能讓你在 5 分鐘內(nèi)知道動作空間有多大、觀測數(shù)據(jù)長什么樣、隨機策略大概能拿多少分、回合最長能跑多少步。這個東西稱不上高級但能避免你在一個自身設(shè)計有問題的任務(wù)上盲目調(diào)算法。比如某個環(huán)境隨機策略回報的標準差極大說明單次回合的隨機性很高訓(xùn)練時就要適當多采幾條軌跡。5. 手寫一個自定義環(huán)境從空實現(xiàn)到可訓(xùn)練五步走完整過程5.1 自定義環(huán)境的骨架五個必須實現(xiàn)的方法很多場景下內(nèi)置環(huán)境不夠用比如你想研究一個全新的業(yè)務(wù)調(diào)度問題、想給本科生設(shè)計一個可視化教學(xué)環(huán)境這時候就得自己寫環(huán)境。別怕只要照著骨架填內(nèi)容就行。我以一個 5×5 網(wǎng)格尋寶為例智能體從左上角出發(fā)目標是右下角的寶藏每走一步可以用上、下、左、右四個動作。狀態(tài)是當前所在格子編號碰到寶藏給 1 分走 50 步?jīng)]拿到就截斷。import gym import numpy as np from gym import spaces class GridWalkingEnv(gym.Env): def __init__(self, size5): super().__init__() self.size size self.action_space spaces.Discrete(4) self.observation_space spaces.Discrete(size * size) self.start_state 0 self.goal_state size * size - 1 self.state None self.steps 0 self.max_steps 50 def reset(self, *, seedNone, optionsNone): super().reset(seedseed) self.state self.start_state self.steps 0 return self._get_obs(), {} def _get_obs(self): return self.state def step(self, action): row, col divmod(self.state, self.size) if action 0: row max(0, row - 1) # 上 elif action 1: row min(self.size - 1, row 1) # 下 elif action 2: col max(0, col - 1) # 左 elif action 3: col min(self.size - 1, col 1) # 右 self.state row * self.size col self.steps 1 reward 1.0 if self.state self.goal_state else 0.0 terminated self.state self.goal_state truncated self.steps self.max_steps info {} return self._get_obs(), reward, terminated, truncated, info def render(self): for row in range(self.size): line for col in range(self.size): idx row * self.size col if idx self.state: line A elif idx self.goal_state: line G else: line . print(line) def close(self): pass這個類看起來不長但它把 gym 環(huán)境的全部契約都實現(xiàn)了reset返回(obs, info)step返回(obs, reward, terminated, truncated, info)并且定義了action_space和observation_space。5.2 從能跑到科學(xué)可信獎勵設(shè)計、隨機性、終止條件代碼能跑只是第一步自定義環(huán)境真正難的是設(shè)計是否合理。首先看獎勵。上面這個尋寶環(huán)境用的是 0/1 獎勵只有到達終點才給 1 分。如果你直接拿它訓(xùn)練智能體前幾百回合大概率什么都學(xué)不到因為隨機走 5×5 網(wǎng)格碰到終點的概率太低了。常見的改進是增加距離懲罰每走一步扣 0.01或者給接近終點的狀態(tài)一點塑形獎勵讓策略梯度有信號可循。但也別獎勵給得太密太密會誘導(dǎo)智能體原地刷獎勵而不是真正走向終點。其次看隨機性。如果你的環(huán)境里涉及隨機初始化比如隨機放置起點和終點一定要把隨機數(shù)的生成交給self.np_random而不是直接用 Python 的random模塊。因為reset()里調(diào)用了super().reset(seedseed)gym 會幫你維護一個可復(fù)現(xiàn)的隨機源。直接調(diào)用super().reset(seedseed)這件事尤其重要很多私有環(huán)境寫完后 seed 無效問題就出在這里。第三看終止條件。我故意在尋寶環(huán)境里加了max_steps50就是為了讓訓(xùn)練不會無限循環(huán)。如果你不設(shè)這個上限一個永遠完不成任務(wù)的環(huán)境會讓訓(xùn)練腳本掛在那里表面上看起來是算法還在學(xué)實際上已經(jīng)死循環(huán)了。terminated和truncated的語義也要分開找到寶藏是terminated步數(shù)超限是truncated這兩者對后續(xù)算法的影響不同。5.3 環(huán)境注冊與直接使用兩種加載方式自定義環(huán)境寫完后有兩種用法。第一種也是最簡單的方式直接實例化這個類不用通過gym.make。這樣在調(diào)試單腳本時最方便你可以直接在文件里 new 一個對象然后調(diào)reset、step跑循環(huán)。缺點是沒法套用 gym 的包裝器和統(tǒng)一配置。第二種是注冊到環(huán)境注冊表這樣就可以像內(nèi)置環(huán)境一樣gym.make(GridWalk-v0)加載。方法是在模塊里調(diào)用注冊函數(shù)from gym.envs.registration import register register( idGridWalk-v0, entry_point你的模塊名:GridWalkingEnv, max_episode_steps50, )注冊的好處是統(tǒng)一管理你可以通過max_episode_steps給環(huán)境加上默認的時間截斷還能配合后續(xù)要講的并行環(huán)境工具一并用。但我得提醒你如果只在單個腳本里做實驗注冊反而多一層負擔不如直接實例化省得處理模塊路徑問題。6. 寫訓(xùn)練循環(huán)時的環(huán)境側(cè)細節(jié)重置、截斷、并行與隨機種子的連鎖反應(yīng)6.1 最容易寫錯的循環(huán)結(jié)構(gòu)環(huán)境代碼本身寫清楚了還要寫對使用它的訓(xùn)練循環(huán)。我見過太多新手在循環(huán)結(jié)構(gòu)上陰溝翻船。標準的智能體與環(huán)境交互大致是這樣obs, info env.reset() for step in range(max_steps_per_episode): action agent.act(obs) next_obs, reward, terminated, truncated, info env.step(action) agent.learn(obs, action, reward, next_obs, terminated, truncated) obs next_obs if terminated or truncated: obs, info env.reset() break這里有個順序問題obs必須在reset()之后立刻拿到接著在步進后立刻更新為next_obs而不是在圖省事的情況下把reset()放在循環(huán)開頭。如果每步都調(diào)一次reset()環(huán)境永遠不會有進展如果不及時更新obs智能體拿到的就是上一時刻的狀態(tài)時序就亂了。6.2 時間限制與回合統(tǒng)計的陷阱當我們從環(huán)境拿到terminatedTrue或truncatedTrue時很多訓(xùn)練算法都會把它們統(tǒng)一當成回合結(jié)束來處理。在簡單代碼里這問題不大但如果你寫的是帶自舉的算法比如 DQN 或者帶有價值網(wǎng)絡(luò)的強化學(xué)習(xí)就必須區(qū)分。道理很簡單terminatedTrue意味著任務(wù)真正結(jié)束之后沒有下一狀態(tài)價值目標里不應(yīng)該加未來回報truncatedTrue只是步數(shù)到了上限任務(wù)本身還可以繼續(xù)這時候如果也把未來回報砍掉會嚴重低估這個狀態(tài)的價值。CartPole 里 500 步的截斷就是一個典型例子。很多用老接口done一把抓的訓(xùn)練腳本在 CartPole 上長期訓(xùn)練后會出現(xiàn)價值估計偏差根子就在這里。我建議在訓(xùn)練循環(huán)里把這兩個標志分開存進 info或者至少讓 loss 計算時分別處理。如果你的算法庫不區(qū)分那就把截斷狀態(tài)單獨標記下來在計算回報時按未來還有延續(xù)的方式處理。6.3 多環(huán)境并行與隨機種子的管理單環(huán)境交互的樣本速度往往不夠。實際訓(xùn)練里通常一次性開多個并行的環(huán)境副本讓智能體同時采集大量軌跡再用這些樣本更新網(wǎng)絡(luò)。多環(huán)境并行在接口上不算復(fù)雜核心是向量化多個環(huán)境實例打包成一個向量環(huán)境對象一次step同時推進所有副本。并行環(huán)境的隨機種子管理是重災(zāi)區(qū)。如果你給每個環(huán)境設(shè)置同一個 seed它們初始狀態(tài)完全一樣采集到的軌跡天然重復(fù)訓(xùn)練多樣性大打折扣。正確做法是讓每個副本獲得不同的 seeddef make_env(rank, seed_base0): def _thunk(): env gym.make(CartPole-v1) env.reset(seedseed_base rank) return env return _thunk同時np.random.seed、Python 內(nèi)置random.seed、環(huán)境的 random source 是三套互相獨立的隨機體系。很多實驗復(fù)現(xiàn)不出來不是因為算法有隨機性而是只給環(huán)境設(shè)了 seed忘了給 PyTorch 或 NumPy 設(shè)置種子。想要可復(fù)現(xiàn)所有隨機源都要在入口統(tǒng)一初始化。7. 踩過的坑和繞過的彎gym 環(huán)境使用的七條經(jīng)驗7.1 版本接口不同引發(fā)的連鎖問題我見過最浪費時間的一次 debug是把老教程里的done四元組硬套到新版本環(huán)境上。step返回五個值之后解包直接報錯。這種問題表面上是語法錯誤實際上是整個接口語義的升級。遇到這種情況先打印一下當前環(huán)境的返回結(jié)構(gòu)再對照教程去改比盲猜快得多。7.2 渲染用于檢查不要開著訓(xùn)練render()確實能讓你看到智能體在做什么但代價是大量 CPU 和內(nèi)存開銷。我早期經(jīng)常開著渲染訓(xùn)練覺得看著它在學(xué)很有感覺結(jié)果一個步驟從毫秒級拖到幾百毫秒訓(xùn)練速度掉了一個數(shù)量級。正確做法是訓(xùn)練時完全關(guān)閉渲染實在想看就把模式調(diào)成rgb_array隔一段時間手動采樣一幀存下來觀察。7.3 陌生環(huán)境先跑隨機策略這一步我已強調(diào)過但值得再放一遍任何新環(huán)境先跑 10-20 回合隨機策略記錄獎勵均值和回合長度。這不是浪費時間而是在給算法設(shè)定一個下限參照。如果隨機策略的平均回報是負分而你的算法跑了一百回合還在負分附近說明訓(xùn)練可能沒生效如果隨機策略就能拿到正分說明任務(wù)太簡單可能檢驗不出算法的提升。這個參照幾乎能幫你在所有環(huán)境上快速判斷訓(xùn)練是否進入正軌。7.4 獎勵尺度會直接影響超參不同環(huán)境的獎勵量級差得很遠CartPole 是每步 1Pendulum 是每步負的小數(shù)某些環(huán)境一回合能拿上百分。同一個學(xué)習(xí)率在 CartPole 上可能沒問題換到 LunarLander 就震蕩到飛起。盡可能先把獎勵歸一化或者在算法層面對 reward 做標準化。自定義環(huán)境時盡量把獎勵控制在容易比較的量級能少很多調(diào)參的苦。7.5 空間類型別想當然很多人拿到環(huán)境后不打印observation_space直接按自己的想象給神經(jīng)網(wǎng)絡(luò)輸入。比如把Box(4,)當成(4,1)輸入或者把Discrete(4)的動作空間當成連續(xù)值回歸。我的習(xí)慣是先打印空間的 shape、low、high再寫網(wǎng)絡(luò)結(jié)構(gòu)。動作層尤其要留意離散動作用分類頭連續(xù)動作用帶 tanh 或 scale 的輸出層一旦弄混算法怎么訓(xùn)都不收斂。7.6 自定義環(huán)境要刻意制造隨機性一個完全確定性的自定義環(huán)境訓(xùn)練出來是沒法泛化的。比如前面的網(wǎng)格尋寶如果起點固定、終點固定、地圖固定算法可能學(xué)會的只是一條記憶路徑換個地圖立刻失效。合理的做法是把起點和終點在每次reset時隨機擺放但記得用self.np_random生成隨機數(shù)保證 seed 可控。7.7 先做環(huán)境測試再寫完整算法最后一個經(jīng)驗來自一次慘痛教訓(xùn)。我花了很長時間寫了一個定制環(huán)境直接上手訓(xùn)練完整算法結(jié)果怎么調(diào)都不收斂最后發(fā)現(xiàn)自己寫的終止條件有 bug某些狀態(tài)下reward沒給對導(dǎo)致智能體學(xué)到的是原地不動。從那以后我每次寫完環(huán)境都會先拿隨機策略反復(fù)跑幾十回合逐字段打印觀測、獎勵、結(jié)束標志確認環(huán)境行為符合預(yù)期才敢把 agent 接上去。這個習(xí)慣給我省下的時間遠超寫測試本身花掉的時間。說到底gym 環(huán)境庫的價值不只是提供一堆現(xiàn)成游戲它真正教會我的是把任務(wù)和算法分層思考的能力。無論你以后是繼續(xù)研究新算法還是把強化學(xué)習(xí)落地到具體業(yè)務(wù)這套先理解接口、再做環(huán)境體檢、最后動手訓(xùn)練的流程都通用。希望這篇拆解能讓你下次看到gym.make時少一點迷茫多一點底氣。