部署指南：SONIC全身控制器+PICO的4進(jìn)程部署架構(gòu)詳解)
Psi0真機(jī)部署指南SONIC全身控制器PICO的4進(jìn)程部署架構(gòu)詳解【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0Psi0Ψ?是一個(gè)開(kāi)源的人形機(jī)器人視覺(jué)-語(yǔ)言-行動(dòng)VLA基礎(chǔ)模型在 Unitree G1 真機(jī)上通過(guò) SONIC 全身控制器實(shí)現(xiàn)行走與操作并支持 PICO VR 頭顯進(jìn)行遙操作示教與視覺(jué)回傳。本文將完整拆解 Psi0 真機(jī)部署的核心一套4進(jìn)程 RTCReal-Time Chunking部署架構(gòu)幫你從零理解每個(gè)進(jìn)程的職責(zé)、啟動(dòng)順序與安全操作快速把模型跑在真機(jī)上。一、Psi0 真機(jī)部署全景VLA 大腦 SONIC 小腦Psi0 的部署分為三個(gè)層級(jí)負(fù)責(zé)想的 VLA 模型System-2 視覺(jué)語(yǔ)言骨干 System-1 動(dòng)作專家、負(fù)責(zé)動(dòng)的 SONIC 全身控制器System-0 低層跟蹤控制以及提供第一視角畫面的機(jī)器人相機(jī)。模型內(nèi)部結(jié)構(gòu)上Qwen3-VL 視覺(jué)語(yǔ)言骨干輸出特征條件化一個(gè)約 500M 參數(shù)的多模態(tài)擴(kuò)散 Transformer 動(dòng)作專家預(yù)測(cè)全身動(dòng)作塊action chunks底層則由 SONIC 全身控制器實(shí)時(shí)執(zhí)行下肢與手臂指令保證穩(wěn)定站立與運(yùn)動(dòng)。 想先了解訓(xùn)練側(cè)細(xì)節(jié)可閱讀發(fā)布說(shuō)明 examples/psi0_for_sonic.md其中解釋了 SONIC 版 checkpoint 為什么要在 80 維 SONIC 動(dòng)作空間上重新后訓(xùn)練。二、部署前準(zhǔn)備一鍵克隆與環(huán)境檢查1?? 克隆倉(cāng)庫(kù)并初始化 SONIC 子模塊SONIC 即 GR00T-WholeBodyControl 全身控制器git clone https://gitcode.com/gh_mirrors/ps/Psi0 cd Psi0 git submodule update --init --recursive third_party/GR00T-WholeBodyControl2?? 準(zhǔn)備兩套運(yùn)行環(huán)境Psi0 策略環(huán)境基于uv管理的.venv-psi依賴見(jiàn) pyproject.toml用于策略服務(wù)器sonic conda 環(huán)境包含 TensorRT、C 控制器依賴用于 SONIC 全身控制器與 RTC 客戶端初始化腳本見(jiàn) real/SONIC/scripts/sonic_conda_env.sh。3?? 機(jī)器人側(cè)準(zhǔn)備一臺(tái)運(yùn)行相機(jī)服務(wù)的機(jī)器G1 自帶 PC安裝pyrealsense2等依賴詳見(jiàn) real/README.md。三、4 進(jìn)程架構(gòu)詳解誰(shuí)負(fù)責(zé)什么Psi0 官方 RTC 部署流由4 個(gè)獨(dú)立進(jìn)程組成每個(gè)進(jìn)程運(yùn)行在自己的終端里進(jìn)程運(yùn)行位置職責(zé)入口腳本① 相機(jī)服務(wù)器機(jī)器人 PC采集 RealSense 第一視角ego view并推送real/SONIC/realsense_server.py② Psi0 策略服務(wù)器工作站 GPU加載 checkpointRTC 模式推理動(dòng)作塊scripts/deploy/serve_psi0-rtc-sonic.sh③ SONIC 全身控制器工作站C/TensorRT 低層控制接收動(dòng)作 token 驅(qū)動(dòng)機(jī)器人real/scripts/deploy_psi0-sonic-rtc-robot.sh④ Psi0 RTC 客戶端工作站匯聚相機(jī)與本體狀態(tài)請(qǐng)求策略并下發(fā)動(dòng)作real/scripts/deploy_psi0-sonic-rtc-client.sh下面按啟動(dòng)順序逐個(gè)說(shuō)明。進(jìn)程 1相機(jī)服務(wù)器機(jī)器人在環(huán)的眼睛在機(jī)器人 PC 上啟動(dòng)相機(jī)服務(wù)把第一視角圖像經(jīng) ZMQ 推送到工作站python -m gear_sonic.camera.composed_camera \ --ego-view-camera realsense \ --port 5555該視角既是策略推理的輸入也會(huì)經(jīng) SIMPLE 的 Remote Vision 通道回傳到 PICO 頭顯讓你以機(jī)器人第一視角觀察作業(yè)過(guò)程。進(jìn)程 2Psi0 策略服務(wù)器RTC 模式在工作站上啟動(dòng)推理服務(wù)核心參數(shù)為--rtc實(shí)時(shí)分塊執(zhí)行與--action_exec_horizon 30export CHECKPOINT_DIR/path/to/psi0-sonic-run export CHECKPOINT_STEP40000 bash scripts/deploy/serve_psi0-rtc-sonic.sh服務(wù)默認(rèn)監(jiān)聽(tīng)0.0.0.0:8014出現(xiàn)Application startup complete即就緒RTCReal-Time Chunking機(jī)制讓模型在動(dòng)作塊執(zhí)行到一半時(shí)就能用最新觀測(cè)預(yù)測(cè)下一塊顯著提升失敗恢復(fù)能力——這也是官方 SONIC 訓(xùn)練配方中--model.no-rtc測(cè)試時(shí) RTC 的設(shè)計(jì)來(lái)源checkpoint 可從 HuggingFace 的USC-PSI-Lab/psi-model倉(cāng)庫(kù)下載SONIC 版目錄為psi0/sonic-checkpoints/multi-task.psi-dream.2609092156下載工具見(jiàn) scripts/data/download.py。進(jìn)程 3SONIC 全身控制器C 實(shí)時(shí)控制bash real/scripts/deploy_psi0-sonic-rtc-robot.sh real這個(gè)啟動(dòng)器做了很多臟活自動(dòng)探測(cè)192.168.123.x機(jī)器人網(wǎng)絡(luò)接口、檢查 TensorRT 與 ONNX 模型文件、用just構(gòu)建并運(yùn)行g(shù)1_deploy_onnx_ref。關(guān)鍵交互出現(xiàn)Init done.后按一次]等待機(jī)器人回到默認(rèn)站立姿態(tài)此時(shí)不要開(kāi)啟 ZMQ 流等客戶端就緒再激活正常結(jié)束時(shí)按Enter回到默認(rèn)參考姿態(tài)按O退出緊急情況下立即按 O 停止。進(jìn)程 4Psi0 RTC 客戶端數(shù)據(jù)流調(diào)度中樞export SONIC_CONDA_PREFIX$HOME/miniconda3/envs/sonic bash real/scripts/deploy_psi0-sonic-rtc-client.sh \ --host 127.0.0.1 --port 8014 \ --camera-address tcp://192.168.123.164:5558 \ --network enp4s0 \ --instruction Pick up the object and place it in the container.客戶端從 real/SONIC/run_psi0_rtc_sonic_dex1.py 啟動(dòng)它通過(guò) DDS 訂閱機(jī)器人本體狀態(tài)、從相機(jī)服務(wù)器取圖組裝成策略輸入發(fā)往 8014 端口的策略服務(wù)器再把預(yù)測(cè)的 80 維 SONIC 動(dòng)作 token 經(jīng) ZMQ 發(fā)布給 C 控制器。當(dāng)終端打印recv_action interval與Received action后回到控制器終端按一次Enter看到ZMQ STREAMING MODE: ENABLED即開(kāi)始執(zhí)行。四、PICO 接入VR 遙操作與第一視角回傳Psi0 的示教數(shù)據(jù)采集基于 PICO 頭顯XRoboToolkit 方案部署階段同樣可用工作站的psi_deploy環(huán)境中編譯安裝 PICO 流式 Python SDK步驟見(jiàn) real/README.md 的 PICO Only Setup 章節(jié)PICO 與工作站連同一 WiFiPC Service 中填入工作站 IPTracking Session 勾選Head、Controller、Hand并打開(kāi)Send開(kāi)關(guān)PICO 會(huì)自動(dòng)進(jìn)入手部跟蹤模式可見(jiàn)虛擬雙手Remote Vision Session 選擇ZEDMINI點(diǎn)Listen并輸入 PC IP即可在頭顯中看到機(jī)器人第一視角畫面H.264 碼流連接workstation-ip:13579。遙操作按鍵約定與 SONIC 官方狀態(tài)機(jī)一致長(zhǎng)按右搖桿單擊 0.6 秒切換策略開(kāi)關(guān)、Left Grip A開(kāi)始/結(jié)束一個(gè) episode、Left Grip Y丟棄 episode、A X切換 Planner 與全身 POSE 模式。完整采集流程見(jiàn) real/SONIC/README.md 的 real/SONIC/scripts/collect_psi0-sonic-data.sh。五、啟動(dòng)順序速查清單?正確順序每步一個(gè)獨(dú)立終端機(jī)器人 PC啟動(dòng)相機(jī)服務(wù)器進(jìn)程 1工作站啟動(dòng)策略服務(wù)器等待Application startup complete進(jìn)程 2工作站啟動(dòng) SONIC 控制器Init done.后按]讓機(jī)器人站穩(wěn)進(jìn)程 3工作站啟動(dòng) RTC 客戶端看到Received action后在控制器終端按Enter開(kāi)啟 ZMQ 流進(jìn)程 4?收尾順序按Enter回默認(rèn)姿態(tài) → 客戶端 CtrlC → 控制器終端按O退出。??安全提醒機(jī)器人作業(yè)期間所有人員保持安全距離任何異常先在控制器終端按O緊急停止。完整官方部署文檔見(jiàn) real/SONIC/DEPLOYMENT.md。六、常見(jiàn)問(wèn)題Troubleshooting找不到 192.168.123.x 網(wǎng)絡(luò)接口機(jī)器人需設(shè)置為開(kāi)發(fā)模式遙控器 L2B 后 L2R2工作站 IP 手動(dòng)配置為192.168.123.123/24相機(jī)畫面推不過(guò)來(lái)確認(rèn)--camera-address指向機(jī)器人 PC 的正確 IP 與端口機(jī)器人 PC 上realsense_server.py是否存活模型文件缺失控制器啟動(dòng)器會(huì)逐項(xiàng)檢查 ONNX 模型與配置缺失時(shí)執(zhí)行g(shù)it lfs pull拉取TensorRT 未找到設(shè)置export TensorRT_ROOT$HOME/TensorRT并寫入~/.bashrc數(shù)據(jù)格式轉(zhuǎn)換問(wèn)題SONIC 采集的原始數(shù)據(jù)需先用 scripts/data/raw_sonic_to_psi_lerobot.py 轉(zhuǎn)為 Psi0 的 LeRobot 格式再計(jì)算統(tǒng)計(jì)量后微調(diào)訓(xùn)練。小結(jié)Psi0 的真機(jī)部署本質(zhì)上是一個(gè)清晰的四層分工相機(jī)服務(wù)器提供視覺(jué)、策略服務(wù)器輸出意圖、SONIC 控制器負(fù)責(zé)落地、RTC 客戶端居中調(diào)度。理解了這 4 個(gè)進(jìn)程的邊界與啟動(dòng)順序你就能復(fù)現(xiàn)官方部署流并進(jìn)一步替換為自己的 checkpoint、指令或夾爪適配層如 Dex1-1 雙夾爪虛擬手映射源碼見(jiàn) real/SONIC/psi0_vla_dex1_bridge.py?！久赓M(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Psi0真機(jī)部署指南：SONIC全身控制器+PICO的4進(jìn)程部署架構(gòu)詳解
Psi0真機(jī)部署指南SONIC全身控制器PICO的4進(jìn)程部署架構(gòu)詳解【免費(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0Psi0Ψ?是一個(gè)開(kāi)源的人形機(jī)器人視覺(jué)-語(yǔ)言-行動(dòng)VLA基礎(chǔ)模型在 Unitree G1 真機(jī)上通過(guò) SONIC 全身控制器實(shí)現(xiàn)行走與操作并支持 PICO VR 頭顯進(jìn)行遙操作示教與視覺(jué)回傳。本文將完整拆解 Psi0 真機(jī)部署的核心一套4進(jìn)程 RTCReal-Time Chunking部署架構(gòu)幫你從零理解每個(gè)進(jìn)程的職責(zé)、啟動(dòng)順序與安全操作快速把模型跑在真機(jī)上。一、Psi0 真機(jī)部署全景VLA 大腦 SONIC 小腦Psi0 的部署分為三個(gè)層級(jí)負(fù)責(zé)想的 VLA 模型System-2 視覺(jué)語(yǔ)言骨干 System-1 動(dòng)作專家、負(fù)責(zé)動(dòng)的 SONIC 全身控制器System-0 低層跟蹤控制以及提供第一視角畫面的機(jī)器人相機(jī)。模型內(nèi)部結(jié)構(gòu)上Qwen3-VL 視覺(jué)語(yǔ)言骨干輸出特征條件化一個(gè)約 500M 參數(shù)的多模態(tài)擴(kuò)散 Transformer 動(dòng)作專家預(yù)測(cè)全身動(dòng)作塊action chunks底層則由 SONIC 全身控制器實(shí)時(shí)執(zhí)行下肢與手臂指令保證穩(wěn)定站立與運(yùn)動(dòng)。 想先了解訓(xùn)練側(cè)細(xì)節(jié)可閱讀發(fā)布說(shuō)明 examples/psi0_for_sonic.md其中解釋了 SONIC 版 checkpoint 為什么要在 80 維 SONIC 動(dòng)作空間上重新后訓(xùn)練。二、部署前準(zhǔn)備一鍵克隆與環(huán)境檢查1?? 克隆倉(cāng)庫(kù)并初始化 SONIC 子模塊SONIC 即 GR00T-WholeBodyControl 全身控制器git clone https://gitcode.com/gh_mirrors/ps/Psi0 cd Psi0 git submodule update --init --recursive third_party/GR00T-WholeBodyControl2?? 準(zhǔn)備兩套運(yùn)行環(huán)境Psi0 策略環(huán)境基于uv管理的.venv-psi依賴見(jiàn) pyproject.toml用于策略服務(wù)器sonic conda 環(huán)境包含 TensorRT、C 控制器依賴用于 SONIC 全身控制器與 RTC 客戶端初始化腳本見(jiàn) real/SONIC/scripts/sonic_conda_env.sh。3?? 機(jī)器人側(cè)準(zhǔn)備一臺(tái)運(yùn)行相機(jī)服務(wù)的機(jī)器G1 自帶 PC安裝pyrealsense2等依賴詳見(jiàn) real/README.md。三、4 進(jìn)程架構(gòu)詳解誰(shuí)負(fù)責(zé)什么Psi0 官方 RTC 部署流由4 個(gè)獨(dú)立進(jìn)程組成每個(gè)進(jìn)程運(yùn)行在自己的終端里進(jìn)程運(yùn)行位置職責(zé)入口腳本① 相機(jī)服務(wù)器機(jī)器人 PC采集 RealSense 第一視角ego view并推送real/SONIC/realsense_server.py② Psi0 策略服務(wù)器工作站 GPU加載 checkpointRTC 模式推理動(dòng)作塊scripts/deploy/serve_psi0-rtc-sonic.sh③ SONIC 全身控制器工作站C/TensorRT 低層控制接收動(dòng)作 token 驅(qū)動(dòng)機(jī)器人real/scripts/deploy_psi0-sonic-rtc-robot.sh④ Psi0 RTC 客戶端工作站匯聚相機(jī)與本體狀態(tài)請(qǐng)求策略并下發(fā)動(dòng)作real/scripts/deploy_psi0-sonic-rtc-client.sh下面按啟動(dòng)順序逐個(gè)說(shuō)明。進(jìn)程 1相機(jī)服務(wù)器機(jī)器人在環(huán)的眼睛在機(jī)器人 PC 上啟動(dòng)相機(jī)服務(wù)把第一視角圖像經(jīng) ZMQ 推送到工作站python -m gear_sonic.camera.composed_camera \ --ego-view-camera realsense \ --port 5555該視角既是策略推理的輸入也會(huì)經(jīng) SIMPLE 的 Remote Vision 通道回傳到 PICO 頭顯讓你以機(jī)器人第一視角觀察作業(yè)過(guò)程。進(jìn)程 2Psi0 策略服務(wù)器RTC 模式在工作站上啟動(dòng)推理服務(wù)核心參數(shù)為--rtc實(shí)時(shí)分塊執(zhí)行與--action_exec_horizon 30export CHECKPOINT_DIR/path/to/psi0-sonic-run export CHECKPOINT_STEP40000 bash scripts/deploy/serve_psi0-rtc-sonic.sh服務(wù)默認(rèn)監(jiān)聽(tīng)0.0.0.0:8014出現(xiàn)Application startup complete即就緒RTCReal-Time Chunking機(jī)制讓模型在動(dòng)作塊執(zhí)行到一半時(shí)就能用最新觀測(cè)預(yù)測(cè)下一塊顯著提升失敗恢復(fù)能力——這也是官方 SONIC 訓(xùn)練配方中--model.no-rtc測(cè)試時(shí) RTC 的設(shè)計(jì)來(lái)源checkpoint 可從 HuggingFace 的USC-PSI-Lab/psi-model倉(cāng)庫(kù)下載SONIC 版目錄為psi0/sonic-checkpoints/multi-task.psi-dream.2609092156下載工具見(jiàn) scripts/data/download.py。進(jìn)程 3SONIC 全身控制器C 實(shí)時(shí)控制bash real/scripts/deploy_psi0-sonic-rtc-robot.sh real這個(gè)啟動(dòng)器做了很多臟活自動(dòng)探測(cè)192.168.123.x機(jī)器人網(wǎng)絡(luò)接口、檢查 TensorRT 與 ONNX 模型文件、用just構(gòu)建并運(yùn)行g(shù)1_deploy_onnx_ref。關(guān)鍵交互出現(xiàn)Init done.后按一次]等待機(jī)器人回到默認(rèn)站立姿態(tài)此時(shí)不要開(kāi)啟 ZMQ 流等客戶端就緒再激活正常結(jié)束時(shí)按Enter回到默認(rèn)參考姿態(tài)按O退出緊急情況下立即按 O 停止。進(jìn)程 4Psi0 RTC 客戶端數(shù)據(jù)流調(diào)度中樞export SONIC_CONDA_PREFIX$HOME/miniconda3/envs/sonic bash real/scripts/deploy_psi0-sonic-rtc-client.sh \ --host 127.0.0.1 --port 8014 \ --camera-address tcp://192.168.123.164:5558 \ --network enp4s0 \ --instruction Pick up the object and place it in the container.客戶端從 real/SONIC/run_psi0_rtc_sonic_dex1.py 啟動(dòng)它通過(guò) DDS 訂閱機(jī)器人本體狀態(tài)、從相機(jī)服務(wù)器取圖組裝成策略輸入發(fā)往 8014 端口的策略服務(wù)器再把預(yù)測(cè)的 80 維 SONIC 動(dòng)作 token 經(jīng) ZMQ 發(fā)布給 C 控制器。當(dāng)終端打印recv_action interval與Received action后回到控制器終端按一次Enter看到ZMQ STREAMING MODE: ENABLED即開(kāi)始執(zhí)行。四、PICO 接入VR 遙操作與第一視角回傳Psi0 的示教數(shù)據(jù)采集基于 PICO 頭顯XRoboToolkit 方案部署階段同樣可用工作站的psi_deploy環(huán)境中編譯安裝 PICO 流式 Python SDK步驟見(jiàn) real/README.md 的 PICO Only Setup 章節(jié)PICO 與工作站連同一 WiFiPC Service 中填入工作站 IPTracking Session 勾選Head、Controller、Hand并打開(kāi)Send開(kāi)關(guān)PICO 會(huì)自動(dòng)進(jìn)入手部跟蹤模式可見(jiàn)虛擬雙手Remote Vision Session 選擇ZEDMINI點(diǎn)Listen并輸入 PC IP即可在頭顯中看到機(jī)器人第一視角畫面H.264 碼流連接workstation-ip:13579。遙操作按鍵約定與 SONIC 官方狀態(tài)機(jī)一致長(zhǎng)按右搖桿單擊 0.6 秒切換策略開(kāi)關(guān)、Left Grip A開(kāi)始/結(jié)束一個(gè) episode、Left Grip Y丟棄 episode、A X切換 Planner 與全身 POSE 模式。完整采集流程見(jiàn) real/SONIC/README.md 的 real/SONIC/scripts/collect_psi0-sonic-data.sh。五、啟動(dòng)順序速查清單?正確順序每步一個(gè)獨(dú)立終端機(jī)器人 PC啟動(dòng)相機(jī)服務(wù)器進(jìn)程 1工作站啟動(dòng)策略服務(wù)器等待Application startup complete進(jìn)程 2工作站啟動(dòng) SONIC 控制器Init done.后按]讓機(jī)器人站穩(wěn)進(jìn)程 3工作站啟動(dòng) RTC 客戶端看到Received action后在控制器終端按Enter開(kāi)啟 ZMQ 流進(jìn)程 4?收尾順序按Enter回默認(rèn)姿態(tài) → 客戶端 CtrlC → 控制器終端按O退出。??安全提醒機(jī)器人作業(yè)期間所有人員保持安全距離任何異常先在控制器終端按O緊急停止。完整官方部署文檔見(jiàn) real/SONIC/DEPLOYMENT.md。六、常見(jiàn)問(wèn)題Troubleshooting找不到 192.168.123.x 網(wǎng)絡(luò)接口機(jī)器人需設(shè)置為開(kāi)發(fā)模式遙控器 L2B 后 L2R2工作站 IP 手動(dòng)配置為192.168.123.123/24相機(jī)畫面推不過(guò)來(lái)確認(rèn)--camera-address指向機(jī)器人 PC 的正確 IP 與端口機(jī)器人 PC 上realsense_server.py是否存活模型文件缺失控制器啟動(dòng)器會(huì)逐項(xiàng)檢查 ONNX 模型與配置缺失時(shí)執(zhí)行g(shù)it lfs pull拉取TensorRT 未找到設(shè)置export TensorRT_ROOT$HOME/TensorRT并寫入~/.bashrc數(shù)據(jù)格式轉(zhuǎn)換問(wèn)題SONIC 采集的原始數(shù)據(jù)需先用 scripts/data/raw_sonic_to_psi_lerobot.py 轉(zhuǎn)為 Psi0 的 LeRobot 格式再計(jì)算統(tǒng)計(jì)量后微調(diào)訓(xùn)練。小結(jié)Psi0 的真機(jī)部署本質(zhì)上是一個(gè)清晰的四層分工相機(jī)服務(wù)器提供視覺(jué)、策略服務(wù)器輸出意圖、SONIC 控制器負(fù)責(zé)落地、RTC 客戶端居中調(diào)度。理解了這 4 個(gè)進(jìn)程的邊界與啟動(dòng)順序你就能復(fù)現(xiàn)官方部署流并進(jìn)一步替換為自己的 checkpoint、指令或夾爪適配層如 Dex1-1 雙夾爪虛擬手映射源碼見(jiàn) real/SONIC/psi0_vla_dex1_bridge.py?！久赓M(fèi)下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考