環(huán)境支持全指南EPyMARL如何一鍵運(yùn)行SMAC、LBF、RWARE與MPE【免費(fèi)下載鏈接】epymarlAn extension of the PyMARL codebase that includes additional algorithms and environment support項(xiàng)目地址: https://gitcode.com/gh_mirrors/ep/epymarlEPyMARLExtended PyMARL是目前最受歡迎的多智能體強(qiáng)化學(xué)習(xí)MARL框架之一它的最大亮點(diǎn)就是強(qiáng)大的環(huán)境支持能力開箱即用地支持SMAC星際爭(zhēng)霸、LBF覓食、RWARE倉庫與MPE粒子環(huán)境四大經(jīng)典基準(zhǔn)還額外支持矩陣博弈與MARBLER機(jī)器人仿真環(huán)境。本文是一份專為新手準(zhǔn)備的 EPyMARL環(huán)境配置教程無需修改任何源碼只需幾行命令就能在你的機(jī)器上跑起全部主流多智能體環(huán)境。 EPyMARL支持哪些多智能體環(huán)境EPyMARL在原始PyMARL的基礎(chǔ)上擴(kuò)展了算法與環(huán)境支持目前可以運(yùn)行的環(huán)境包括環(huán)境類別說明典型任務(wù)ID? SMAC星際爭(zhēng)霸II多智能體挑戰(zhàn)3m、8m、2s3z LBF等級(jí)制覓食任務(wù)Foraging-8x8-2p-3f-v2 RWARE多機(jī)器人倉庫調(diào)度rware-tiny-2ag-v1 MPE多智能體粒子環(huán)境SimpleSpread-v0、SimpleTag-v0 Matrix Games矩陣博弈含懲罰博弈penalty-100-nostate-v0 MARBLER機(jī)器人Sim2Real仿真PredatorCapturePrey-v0更重要的是EPyMARL不僅支持共同獎(jiǎng)勵(lì)common reward環(huán)境還新增了對(duì)個(gè)體獎(jiǎng)勵(lì)individual rewards環(huán)境的訓(xùn)練支持如LBF、RWAREIA2C、IPPO、MAA2C、MAPPO、IQL、PAC等算法均可在個(gè)體獎(jiǎng)勵(lì)設(shè)定下訓(xùn)練只需在啟動(dòng)命令中加上common_rewardFalse即可。 第一步一鍵安裝全部環(huán)境依賴EPyMARL的環(huán)境安裝異常簡單項(xiàng)目貼心地把所有環(huán)境依賴打包在了一個(gè)文件里?？寺}庫后執(zhí)行以下三條命令即可pip install -r requirements.txt pip install -r env_requirements.txt pip install -r pac_requirements.txt其中 env_requirements.txt 會(huì)一次性安裝 LBF、RWARE、SMAC、MPEEPyMARL專用fork版本和矩陣博弈的全部依賴pac_requirements.txt 則用于Pareto Actor-Critic算法的額外依賴。 提示如果你使用Docker倉庫根目錄還提供了 Dockerfile 和 run.sh可以直接構(gòu)建包含全部依賴的鏡像配合GPU使用./run.sh 0 你的命令即可在容器內(nèi)運(yùn)行實(shí)驗(yàn)。? SMAC星際爭(zhēng)霸環(huán)境配置方法SMACStarCraft Multi-Agent Challenge是MARL研究中使用最廣泛的基準(zhǔn)環(huán)境之一。EPyMARL完整保留了SMAC支持環(huán)境參數(shù)集中在 sc2.yaml 中包括地圖名map_name、游戲難度difficulty、獎(jiǎng)勵(lì)設(shè)置等均可直接調(diào)整。安裝SMAC需要兩個(gè)步驟先通過 env_requirements.txt 安裝pysc2、s2clientprotocol和smac包再下載StarCraft II游戲本體與SMAC地圖。項(xiàng)目提供了現(xiàn)成的 install_sc2.sh 腳本運(yùn)行后會(huì)自動(dòng)下載游戲并放置地圖。完成后用以下命令運(yùn)行SMACpython3 src/main.py --configqmix --env-configsc2 with env_args.map_name3m--configqmix指定算法也可換成mappo、ippo等--env-configsc2指定使用SMAC環(huán)境env_args.map_name決定地圖。 LBF環(huán)境一鍵運(yùn)行教程LBFLevel-Based Foraging等級(jí)制覓食是衡量智能體協(xié)作能力的經(jīng)典網(wǎng)格環(huán)境智能體需要合作搬運(yùn)食物。得益于Gym封裝運(yùn)行LBF只需通過--env-configgymma切換到Gym環(huán)境接口python3 src/main.py --configqmix --env-configgymma with env_args.time_limit25 env_args.keylbforaging:Foraging-8x8-2p-3f-v2命令中的lbforaging:前綴表示模塊名EPyMARL會(huì)自動(dòng)導(dǎo)入該包env_args.key填入環(huán)境IDenv_args.time_limit設(shè)置單局最大步數(shù)。如果你想用個(gè)體獎(jiǎng)勵(lì)訓(xùn)練追加common_rewardFalse即可。 RWARE倉庫環(huán)境運(yùn)行步驟RWAREMulti-Robot Warehouse多機(jī)器人倉庫模擬真實(shí)倉庫中機(jī)器人的取貨送貨調(diào)度同樣由EPyMARL的Gym接口原生支持python3 src/main.py --configmappo --env-configgymma with env_args.time_limit500 env_args.keyrware:rware-tiny-2ag-v1RWARE默認(rèn)提供每個(gè)機(jī)器人的獨(dú)立獎(jiǎng)勵(lì)因此非常適合體驗(yàn)EPyMARL的個(gè)體獎(jiǎng)勵(lì)訓(xùn)練特性例如將--configmappo配合common_rewardFalse使用即可讓每個(gè)倉庫機(jī)器人都擁有自己的獎(jiǎng)勵(lì)信號(hào)。 MPE粒子環(huán)境運(yùn)行說明MPEMulti-Agent Particle Environment是一組輕量級(jí)的二維粒子博弈任務(wù)包含SimpleAdversary-v0、SimpleTag-v0、SimpleSpeakerListener-v0、SimpleSpread-v0等9個(gè)標(biāo)準(zhǔn)任務(wù)。EPyMARL專門維護(hù)了一個(gè)MPE的fork版本修復(fù)了Gym兼容性、種子設(shè)定與動(dòng)作空間問題隨 env_requirements.txt 自動(dòng)安裝。運(yùn)行MPE同樣是一條命令的事python3 src/main.py --configqmix --env-configgymma with env_args.time_limit25 env_args.keympe:SimpleSpeakerListener-v0更酷的是倉庫的 src/pretrained 目錄內(nèi)置了預(yù)訓(xùn)練智能體如adversary.py、tag.py你可以直接加載它們與自己的算法對(duì)戰(zhàn)python3 src/main.py --configqmix --env-configgymma with env_args.time_limit25 env_args.keympe:SimpleAdversary-v0 env_args.pretrained_wrapperPretrainedAdversary 更多環(huán)境與自定義擴(kuò)展除了四大主流環(huán)境EPyMARL還支持矩陣博弈通過matrixgames:penalty-100-nostate-v0等ID運(yùn)行是測(cè)試Pareto-AC等算法對(duì)抗次優(yōu)均衡能力的利器MARBLER機(jī)器人環(huán)境使用robotarium_gym:PredatorCapturePrey-v0進(jìn)行Sim2Real評(píng)估自定義Gym環(huán)境任何注冊(cè)到Gym的環(huán)境都可直接使用只需注意將返回的獎(jiǎng)勵(lì)改為每個(gè)智能體一個(gè)獎(jiǎng)勵(lì)值的元組形式。所有環(huán)境參數(shù)都以YAML形式存放在src/config/envs/目錄如 gymma.yaml、sc2_beta.yaml算法配置則在src/config/algs/目錄中修改起來非常直觀。實(shí)驗(yàn)日志會(huì)自動(dòng)保存在results文件夾下還可以通過 plot_results.py 一鍵繪制訓(xùn)練曲線。? 總結(jié)環(huán)境支持開箱即用總的來說EPyMARL把多智能體環(huán)境支持做到了極致一條pip install -r env_requirements.txt裝齊SMAC、LBF、RWARE、MPE與矩陣博弈一個(gè)--env-config參數(shù)自由切換環(huán)境一行命令開啟實(shí)驗(yàn)。無論你是剛?cè)腴TMARL的新手還是需要橫向?qū)Ρ人惴ǖ难芯空哌@份環(huán)境支持全指南都能幫你用最少的配置成本快速在真實(shí)基準(zhǔn)環(huán)境中驗(yàn)證你的想法?！久赓M(fèi)下載鏈接】epymarlAn extension of the PyMARL codebase that includes additional algorithms and environment support項(xiàng)目地址: https://gitcode.com/gh_mirrors/ep/epymarl創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考