簡(jiǎn)介面向SLAM、自動(dòng)駕駛與微型無(wú)人機(jī)方向研究者的數(shù)據(jù)集總結(jié)文檔系統(tǒng)梳理了TUM RGB-D、KITTI、EuRoC三大公開(kāi)數(shù)據(jù)集的采集設(shè)備、數(shù)據(jù)格式、真值標(biāo)注與評(píng)估指標(biāo)。壓縮包內(nèi)為單個(gè)docx文件共1個(gè)文件約1.93MB便于隨時(shí)查閱。目前已有9609人瀏覽學(xué)習(xí)適合作為入門數(shù)據(jù)集認(rèn)知與選型參考。文檔內(nèi)容較為詳盡TUM部分涵蓋彩色圖與深度圖的PNG存儲(chǔ)、比例縮放規(guī)則、groundtruth軌跡txt格式以及ATE與RPE評(píng)價(jià)指標(biāo)和點(diǎn)云生成方法KITTI部分介紹了采集平臺(tái)所搭載的慣性導(dǎo)航系統(tǒng)、激光掃描儀、灰度與彩色相機(jī)等傳感器配置以及raw data等數(shù)據(jù)組織方式EuRoC部分則說(shuō)明微型無(wú)人機(jī)多傳感器數(shù)據(jù)特點(diǎn)。這些梳理能幫助讀者在SLAM、自動(dòng)駕駛、無(wú)人機(jī)等實(shí)驗(yàn)與論文復(fù)現(xiàn)中快速理解數(shù)據(jù)來(lái)源與評(píng)測(cè)方法。1. 三個(gè)數(shù)據(jù)集不只是“錄數(shù)據(jù)”而是一套精心布設(shè)的評(píng)測(cè)裝置大多數(shù)開(kāi)發(fā)者第一次接觸 TUM、KITTI、EuRoC 時(shí)第一反應(yīng)都是“找一段 rosbag 跑一下 SLAM”。但真正把這些數(shù)據(jù)集用明白的人會(huì)告訴你數(shù)據(jù)集的復(fù)雜度不在于傳感器多貴、場(chǎng)景多真實(shí)而在于它的“評(píng)測(cè)設(shè)計(jì)”——TUM 的深度圖為什么要縮放 5000 倍KITTI 為什么要拿激光雷達(dá)的正前方時(shí)刻當(dāng)快門基準(zhǔn)EuRoC 為什么非要把 IMU 中心定義為機(jī)體坐標(biāo)系原點(diǎn)這些細(xì)節(jié)決定了你從數(shù)據(jù)集里讀出的軌跡精度數(shù)字到底可不可信。把三個(gè)數(shù)據(jù)集放在一起看本質(zhì)上是三種典型的 SLAM 傳感器配置RGB-D 單目加深度、多傳感器自動(dòng)駕駛平臺(tái)、雙目加 IMU 的無(wú)人機(jī)。它們共享同一個(gè)難題——如何把一次 SLAM 運(yùn)行的軌跡誤差變成一個(gè)可復(fù)現(xiàn)、可比較的量化指標(biāo)。搞懂這套評(píng)測(cè)裝置比多跑幾個(gè)序列更有價(jià)值。2. TUM RGB-D深度圖縮放、四元數(shù)軌跡與 ATE/RPE 的數(shù)學(xué)本質(zhì)2.1 深度圖為什么是 16 位、為什么偏偏縮放 5000 倍TUM 的深度圖以 PNG 格式存儲(chǔ)為 640x480 的 16 位單色圖像彩色圖則是 8 位 RGB。這里最反直覺(jué)的是深度圖的編碼方式像素值 5000 對(duì)應(yīng) 1 米也就是深度值等于像素值除以 5000.0而像素值 0 被規(guī)定為缺失值。為什么不用浮點(diǎn)深度、也不用 8 位整數(shù)16 位 PNG 在解碼上比浮點(diǎn)深度的二進(jìn)制格式省事得多PNG 無(wú)損壓縮對(duì) 16 位數(shù)據(jù)的壓縮率也穩(wěn)定而且縮放 5000 倍后1 毫米的深度變化對(duì)應(yīng) 5 個(gè)像素值量化精度對(duì)視覺(jué) SLAM 足夠用。常見(jiàn)的實(shí)現(xiàn)思路是把depth_px / 5000.0當(dāng)成實(shí)際米制深度但要注意一個(gè)坑0 像素值必須被過(guò)濾否則點(diǎn)云里會(huì)出現(xiàn)一堆位于相機(jī)光心處、距離為 0 的雜點(diǎn)。import numpy as np import imageio.v2 as imageio depth imageio.imread(depth.png).astype(np.float32) depth_m depth / 5000.0 mask depth 0 # 0 是缺失值不能用 points_z depth_m[mask]深度誤差在視覺(jué) SLAM 里不是均勻分布的同樣的像素深度誤差在遠(yuǎn)距離處會(huì)被放大因?yàn)槿腔`差與距離平方近似成正比。TUM 的室內(nèi)場(chǎng)景密度大、物體近能把這個(gè)誤差控制在小范圍內(nèi)。理解 5000 倍縮放本質(zhì)上就理解了 Kinect 這類消費(fèi)級(jí)深度傳感器的量化噪聲邊界。2.2 groundtruth 軌跡格式為什么是 tx ty tz qx qy qz qwTUM 的真值存放在 txt 里每行格式為timestamp tx ty tz qx qy qz qwtimestamp 是 Unix 紀(jì)元以來(lái)的浮點(diǎn)秒數(shù)位置是彩色相機(jī)光學(xué)中心相對(duì)于運(yùn)動(dòng)捕捉系統(tǒng)世界原點(diǎn)的坐標(biāo)姿態(tài)用單位四元數(shù)表示。這里值得追問(wèn)的是為什么不用歐拉角或者干脆用旋轉(zhuǎn)矩陣四元數(shù)只有 4 個(gè)分量、沒(méi)有萬(wàn)向鎖問(wèn)題、插值方便更重要的是 SVD 對(duì)齊時(shí)四元數(shù)轉(zhuǎn)旋轉(zhuǎn)矩陣是線性操作。歐拉角的俯仰角接近 ±90° 時(shí)數(shù)據(jù)集的真值會(huì)突然出現(xiàn)跳變這種跳變不是傳感器誤差是表示方式的奇異性。用四元數(shù)存儲(chǔ)姿態(tài)的連續(xù)性在數(shù)學(xué)上是被保證的。另一個(gè)容易忽略的細(xì)節(jié)四元數(shù)給出的方向是彩色相機(jī)光學(xué)中心的朝向而不是深度相機(jī)或 IMU 的朝向。這意味著你在評(píng)估自己的 SLAM 系統(tǒng)時(shí)輸出的估計(jì)姿態(tài)必須是“彩色相機(jī)坐標(biāo)系下的姿態(tài)”否則對(duì)齊后誤差會(huì)帶上一個(gè)固定旋轉(zhuǎn)偏移。# rgbd_dataset_freiburg1_xyz 某行真值結(jié)構(gòu) 1341845746.621552 -0.055673 0.010236 -0.007318 0.999504 -0.001873 0.011427 -0.028243 # 時(shí)間戳 tx ty tz qx qy qz qw該行含義是在 1341845746.62 秒時(shí)刻彩色相機(jī)光心位于運(yùn)動(dòng)捕捉系原點(diǎn)附近的 (-0.056, 0.010, -0.007) 米處朝向由最后一個(gè)四元數(shù)給出。注意位置和姿態(tài)都是相對(duì)于世界坐標(biāo)系的而不是相對(duì)于上一幀。2.3 ATE 的 SVD 對(duì)齊到底在“消除”什么絕對(duì)軌跡誤差A(yù)TE的思路很直接把估計(jì)軌跡和真值軌跡按時(shí)間戳關(guān)聯(lián)后先做一個(gè)剛體變換對(duì)齊再計(jì)算逐點(diǎn)差異。但為什么要對(duì)齊因?yàn)槟愕?SLAM 系統(tǒng)估計(jì)出來(lái)的軌跡通常不在真值坐標(biāo)系里——單目 SLAM 初始化任意RGB-D SLAM 的世界系也可能和運(yùn)動(dòng)捕捉系差一個(gè)旋轉(zhuǎn)平移。TUM 官方評(píng)估腳本用的正是 Kabsch 算法對(duì)兩組對(duì)應(yīng)點(diǎn)求質(zhì)心用 SVD 分解協(xié)方差矩陣得到旋轉(zhuǎn)矩陣再算出平移。import numpy as np def kabsch_align(P, Q): # P: 估計(jì)軌跡位置 (N,3), Q: 真值軌跡位置 (N,3) centroid_P P.mean(axis0) centroid_Q Q.mean(axis0) H (P - centroid_P).T (Q - centroid_Q) U, _, Vt np.linalg.svd(H) R Vt.T U.T if np.linalg.det(R) 0: # 保證右手坐標(biāo)系否則會(huì)出現(xiàn)鏡像旋轉(zhuǎn) Vt[-1, :] * -1 R Vt.T U.T t centroid_Q - R centroid_P aligned (R P.T).T t return aligned, np.linalg.norm(aligned - Q, axis1).mean()SVD 求出來(lái)的 R 一定是一個(gè)正交矩陣但正交矩陣包括鏡像反射行列式為 -1所以代碼里必須檢查行列式。這個(gè)細(xì)節(jié)是很多自寫(xiě)評(píng)估腳本翻車的重災(zāi)區(qū)——如果不處理對(duì)齊后的軌跡會(huì)被“鏡像”過(guò)去誤差大得離譜但你看不出哪不對(duì)。2.4 RPE 固定窗口與漂移測(cè)量的關(guān)系相對(duì)姿勢(shì)誤差RPE不關(guān)心全局坐標(biāo)系它計(jì)算的是“一段時(shí)間間隔內(nèi)相對(duì)運(yùn)動(dòng)的誤差”。官方腳本默認(rèn)計(jì)算所有時(shí)間戳對(duì)之間的誤差但這個(gè)數(shù)量是軌跡長(zhǎng)度的平方級(jí)所以必須用-max_pairs下采樣或者用-fixed_delta固定窗口。RPE 測(cè)量的是視覺(jué)里程計(jì)的漂移率比如每秒漂移多少米。注意 TUM 對(duì) RPE 的定位是“測(cè)量視覺(jué)測(cè)距系統(tǒng)的漂移”對(duì) ATE 的定位是“測(cè)量可視 SLAM 系統(tǒng)的性能”。如果你的算法是帶閉環(huán)的 SLAMATE 更合適如果只是純里程計(jì)RPE 更能反映真實(shí)漂移。窗口太小RPE 只反映短時(shí)噪聲窗口太大漂移被平均掉。一般做法是先跑一個(gè)-delta_unit s -delta 1再跑一個(gè)-delta 5對(duì)比觀察漂移是否隨時(shí)間線性增長(zhǎng)。3. KITTI激光雷達(dá)快門同步、syncedrectified 與自動(dòng)駕駛數(shù)據(jù)的時(shí)間基準(zhǔn)3.1 為什么要等激光雷達(dá)朝向正前方才釋放快門KITTI 的采集平臺(tái)上有兩個(gè)灰度相機(jī)、兩個(gè)彩色相機(jī)和一個(gè) 64 線激光掃描儀所有傳感器以 10Hz 采集。硬件設(shè)計(jì)里有個(gè)容易被忽略的細(xì)節(jié)相機(jī)快門在激光雷達(dá)朝向正前方時(shí)釋放。原因在于激光雷達(dá)是旋轉(zhuǎn)掃描的一幀 360° 點(diǎn)云不是瞬時(shí)采集的而是花 100ms 掃完一圈。如果相機(jī)快門和雷達(dá)掃描相位不對(duì)齊圖像時(shí)刻對(duì)應(yīng)的車體姿態(tài)和雷達(dá)幀首尾時(shí)刻對(duì)應(yīng)的姿態(tài)會(huì)差幾十毫秒這在車輛高速行駛時(shí)會(huì)導(dǎo)致目標(biāo)在圖像和點(diǎn)云里錯(cuò)位幾個(gè)像素到幾十像素。把快門對(duì)齊到雷達(dá)朝向正前方的時(shí)刻等于給所有數(shù)據(jù)定了一個(gè)統(tǒng)一的“時(shí)間錨點(diǎn)”。# 同步邏輯以10Hz雷達(dá)為節(jié)拍器 # 雷達(dá)打到正前方 - 觸發(fā)相機(jī)曝光 - 記錄GPS/IMU姿態(tài) - 組成一幀這套硬件同步的替代方案是軟件時(shí)間戳插值但插值依賴傳感器時(shí)鐘的穩(wěn)定性和驅(qū)動(dòng)延遲精度遠(yuǎn)不如快門硬件觸發(fā)。KITTI 選擇硬件同步換來(lái)的好處是所有傳感器在同一個(gè)時(shí)間語(yǔ)義下采樣評(píng)估時(shí)不需要再做復(fù)雜的時(shí)間對(duì)齊。3.2 raw data 與 syncedrectified兩個(gè)詞各自解決了什么raw data 里包含兩類數(shù)據(jù)原始的沒(méi)有同步、沒(méi)有矯正和處理過(guò)的同步且矯正。原始數(shù)據(jù)保留了畸變和未對(duì)齊的時(shí)間戳用于標(biāo)定和傳感器建模syncedrectified 數(shù)據(jù)是經(jīng)過(guò)消除畸變和雙目矯正的、且和其他傳感器序列對(duì)齊過(guò)的圖像。雙止矯正的本質(zhì)是把左右相機(jī)圖像投影到同一個(gè)虛擬平面上使極線水平對(duì)齊。這樣做的直接收益是視差計(jì)算變成一維搜索深度估計(jì)和特征匹配的計(jì)算量大幅下降。對(duì) SLAM 評(píng)估而言用 syncedrectified 數(shù)據(jù)可以省掉畸變矯正這一步直接喂給特征提取器。3.3 image_00 為什么是同步參考系KITTI 的 raw data 每個(gè)序列都包含 image_00 到 image_03 四路相機(jī)外加 velodyne 點(diǎn)云和 GPS/IMU 數(shù)據(jù)。官方文檔明確指出所有傳感器數(shù)據(jù)序列以 image_00 作為同步參考系。也就是說(shuō)其他傳感器的時(shí)間戳需要向 image_00 對(duì)齊。這個(gè)設(shè)計(jì)動(dòng)機(jī)很實(shí)際圖像幀率的抖動(dòng)最小、曝光時(shí)間固定、并且彩色和灰度圖像成對(duì)出現(xiàn)以它為參考系可以保證“看到的就是同時(shí)刻的”。工程上的代價(jià)是你下載的每個(gè)數(shù)據(jù)包里GPS/IMU 時(shí)間戳并非整數(shù) 10Hz而是按圖像幀打點(diǎn)。評(píng)估自己的融合算法時(shí)要用插值把 IMU 采樣對(duì)齊到 image_00 的時(shí)間軸上不能直接拿原始時(shí)間戳硬比。3.4 object 是單幀tracking 是連續(xù)序列數(shù)據(jù)集結(jié)構(gòu)如何約束算法邊界KITTI 的 object 數(shù)據(jù)集按“2D 檢測(cè)、3D 檢測(cè)、鳥(niǎo)瞰圖檢測(cè)”三個(gè)任務(wù)組織數(shù)據(jù)本身是單幀訓(xùn)練集帶標(biāo)注、測(cè)試集不帶。tracking 數(shù)據(jù)集則是一段連續(xù)序列標(biāo)注以 tracklets 形式給出。object 和 tracking 的差異不是文件組織方式不同而是任務(wù)本質(zhì)不同檢測(cè)算法不要求幀間關(guān)聯(lián)所以單幀采樣即可跟蹤算法必須驗(yàn)證時(shí)間一致性所以需要連續(xù)幀。做多目標(biāo)跟蹤時(shí)如果只拿 object 數(shù)據(jù)訓(xùn)練、用 tracking 數(shù)據(jù)測(cè)試大概率翻車——因?yàn)?object 數(shù)據(jù)里沒(méi)有幀間遮擋和軌跡碎片這些跟蹤特有的難題。數(shù)據(jù)集結(jié)構(gòu)的邊界就是任務(wù)定義的邊界這個(gè)邊界在選數(shù)據(jù)時(shí)就要想清楚。4. EuRoCBody Frame 為什么以 IMU 為中心、T_BS 坐標(biāo)變換約定的工程邏輯4.1 為什么機(jī)體坐標(biāo)系的原點(diǎn)放在 IMU 中心EuRoC 的無(wú)人機(jī)飛行器上四個(gè)傳感器雙目相機(jī)兩個(gè) cam0/cam1、慣性測(cè)量單元 imu0、激光測(cè)距儀 leica0各有各的坐標(biāo)系但飛行器的 Body Frame 被定義在 IMU 的中心。這個(gè)選擇背后的邏輯是視覺(jué)慣性導(dǎo)航的狀態(tài)估計(jì)里IMU 是積分核心角速度和加速度都定義在 IMU 坐標(biāo)系下把 Body Frame 定在 IMU 中心就把“積分坐標(biāo)系”和“狀態(tài)變量坐標(biāo)系”合成了同一個(gè)避免在每一個(gè) IMU 采樣時(shí)刻都做一次從 Body 到 IMU 的外參旋轉(zhuǎn)。對(duì)慣導(dǎo)系統(tǒng)而言外參標(biāo)定的誤差會(huì)二次方地累積進(jìn)位置所以能省一次變換就省一次。配套地每個(gè)傳感器文件夾里都有一個(gè) sensor.yaml描述該傳感器坐標(biāo)系到 Body Frame 的變換關(guān)系以及內(nèi)參。這意味著 EuRoC 的數(shù)據(jù)不是“裸傳感器流”而是已經(jīng)帶上了完整的外參定義——用官方給的變換做初始化比從零標(biāo)定雙目-IMU 外參的結(jié)果穩(wěn)定得多。4.2 R_WC 和 T_BS旋轉(zhuǎn)坐標(biāo)系變換約定的讀法EuRoC 的文檔里定義了一個(gè)容易讀反的約定R_WC 表示“將 C 坐標(biāo)系下表示的向量變換成 W 坐標(biāo)系下表示”所以 R_WC 實(shí)際上是從 Camera 到 World 的旋轉(zhuǎn)矩陣而不是反過(guò)來(lái)。同理T_BS 表示將所有 Sensor 坐標(biāo)系下的向量變?yōu)?Body Frame 下的向量。import numpy as np # 設(shè) T_BS 是 sensor.yaml 給出的 Sensor-Body 變換 T_BS np.loadtxt(cam0/sensor.yaml的變換部分) # 設(shè) T_WB 是 Vicon 給出的 Body-World 位姿groundtruth 提供 T_WB load_vicon_pose(data.csv, row100) # 鏈?zhǔn)阶儞QSensor - Body - World T_WS T_WB T_BS # 驗(yàn)證旋轉(zhuǎn)部分的行列式必須為 1否則坐標(biāo)系約定讀反了 assert np.linalg.det(T_WS[:3, :3]) 0這里最常見(jiàn)的錯(cuò)誤是把矩陣乘法的順序?qū)懛础_WB 表示先取 Body 系下的點(diǎn)變換到 WorldT_BS 表示先取 Sensor 系下的點(diǎn)變換到 Body所以從 Sensor 到 World 必須執(zhí)行T_WS T_WB T_BS外面的變換矩陣在左邊。如果寫(xiě)成T_BS T_WB語(yǔ)義就變成了“先到 World 再到 Sensor”結(jié)果軌跡會(huì)繞著一個(gè)奇怪的軸旋轉(zhuǎn)。4.3 Vicon 動(dòng)作捕捉系統(tǒng)如何提供毫米級(jí)真值EuRoC 的 groundtruth 由 Vicon 動(dòng)作捕捉系統(tǒng)提供在無(wú)人機(jī)上貼一組反射標(biāo)志多臺(tái)高速紅外相機(jī)從不同角度觀測(cè)這些標(biāo)志重建出剛體在單一坐標(biāo)系下的 6D 位姿幀率 100Hz、精度毫米級(jí)。這套系統(tǒng)的本質(zhì)是外部基準(zhǔn)它的精度比無(wú)人機(jī)上任何傳感器都高一個(gè)量級(jí)所以能當(dāng)“真值”用。但注意 groundtruth 給出的是 Vicon 坐標(biāo)系下的位姿不是你 SLAM 系統(tǒng)自己定義的世界系。所以在評(píng)估時(shí)你的估計(jì)軌跡仍然要做一次類似 TUM ATE 的剛體對(duì)齊才能和 Vicon 真值對(duì)比。EuRoC 數(shù)據(jù)里還包含 leica0激光測(cè)距儀提供的輔助測(cè)量用于校核 Vicon 系統(tǒng)自身的誤差。4.4 三個(gè)數(shù)據(jù)集的互補(bǔ)關(guān)系室內(nèi)、室外與空中把三個(gè)數(shù)據(jù)集串起來(lái)看它們覆蓋了三類典型場(chǎng)景TUM 是室內(nèi)手持 Kinect運(yùn)動(dòng)速度慢、深度信息豐富適合 RGB-D SLAMKITTI 是室外車載運(yùn)動(dòng)速度快、場(chǎng)景深度大適合雙目視覺(jué)和激光雷達(dá)融合的自動(dòng)駕駛EuRoC 是室內(nèi)無(wú)人機(jī)快速旋轉(zhuǎn)加劇烈平移恰好是視覺(jué)慣性導(dǎo)航最吃緊的運(yùn)動(dòng)模式。這種互補(bǔ)決定了按數(shù)據(jù)集選算法的策略如果你的系統(tǒng)在 TUM 上精度好但在 KITTI 上會(huì)飛點(diǎn)多半是深度噪聲建模和遠(yuǎn)距離三角化出了問(wèn)題如果在 EuRoC 上發(fā)散多半是 IMU 與視覺(jué)的外參或時(shí)間戳對(duì)齊有偏差。一個(gè)數(shù)據(jù)集說(shuō)明不了問(wèn)題三個(gè)數(shù)據(jù)集的失敗模式放在一起才能定位瓶頸。5. 評(píng)測(cè)避坑時(shí)間戳單位、坐標(biāo)系鏈?zhǔn)匠朔ㄅc深度缺失值的五處翻車現(xiàn)場(chǎng)5.1 Unix 浮點(diǎn)秒、KITTI 基準(zhǔn)、EuRoC 整數(shù)時(shí)間戳被混用現(xiàn)象跑通流程后 ATE 誤差在幾十米量級(jí)改哪個(gè)參數(shù)都沒(méi)用。原因三個(gè)數(shù)據(jù)集的時(shí)間戳語(yǔ)義不同。TUM 的 timestamp 是 Unix 紀(jì)元以來(lái)的浮點(diǎn)秒KITTI 的時(shí)間戳是相對(duì)于采集啟動(dòng)時(shí)刻的毫秒/微秒整數(shù)EuRoC 的 groundtruth 是 18 位整數(shù)時(shí)間戳單位是納秒。直接拿兩套時(shí)間戳做最近鄰關(guān)聯(lián)結(jié)果自然是錯(cuò)位到相隔幾分鐘的幀上。解決統(tǒng)一換算成 double 秒。TUM 直接用浮點(diǎn)秒KITTI 用start_time delta / 1e6EuRoC 用ts_ns / 1e9。關(guān)聯(lián)時(shí)再設(shè)置一個(gè)最大時(shí)間差閾值如 0.02 秒超過(guò)閾值的配對(duì)直接丟掉。從那以后我拿到新數(shù)據(jù)集的第一件事都是寫(xiě)一個(gè)時(shí)間戳單位探測(cè)函數(shù)先打印三行樣本看量級(jí)再進(jìn)評(píng)估流程。5.2 SVD 對(duì)齊被少數(shù)離群幀拉偏現(xiàn)象ATE 的均值看著不大但軌跡里某一小段明顯有鼓包標(biāo)準(zhǔn)差超大。原因Kabsch 算法是最小二乘意義下的對(duì)齊少數(shù)漂移嚴(yán)重的幀比如快速旋轉(zhuǎn)時(shí)特征丟失導(dǎo)致的跳變會(huì)把整個(gè)剛體變換“拽”向它們導(dǎo)致正常區(qū)間也被偏置。解決先做一次粗對(duì)齊計(jì)算逐點(diǎn)誤差后去掉超過(guò) 3 倍中位數(shù)的離群幀用剩余幀重新做精細(xì)對(duì)齊。評(píng)估腳本里看到的均值/中位數(shù)/標(biāo)準(zhǔn)差三個(gè)數(shù)字要對(duì)照著看——均值和中位數(shù)差太遠(yuǎn)就是有離群幀存在。5.3 深度像素 0 值被當(dāng)成“距離 0 米”生成點(diǎn)云現(xiàn)象點(diǎn)云在相機(jī)光心附近出現(xiàn)一團(tuán)密集的黑色雜點(diǎn)肉眼上像是傳感器壞掉了。原因深度圖里 0 是缺失值沒(méi)有深度測(cè)量不是距離 0 米。直接把像素值除以 5000.0 再生成 PLY就把缺失點(diǎn)全部堆到了相機(jī)原點(diǎn)。解決生成點(diǎn)云前先構(gòu)建 mask像素值大于 0只保留有效深度像素同時(shí)把彩色圖像對(duì)應(yīng)像素同步過(guò)濾保證點(diǎn)云的顏色和位置一一對(duì)應(yīng)。凡是基于深度圖跑點(diǎn)云處理的算法第一步都該是“過(guò)濾 0 值”而不是先轉(zhuǎn)成米制浮點(diǎn)。5.4 EuRoC 的 T_BS 乘反了軌跡像被繞了一個(gè)軸翻轉(zhuǎn)現(xiàn)象視覺(jué)慣性里程計(jì)跑出來(lái)的軌跡和真值在形狀上一致但整體繞某個(gè)軸轉(zhuǎn)了 180 度ATE 算下來(lái)大得離譜。原因T_BS 的語(yǔ)義是 Sensor 系到 Body 系鏈?zhǔn)阶儞Q必須寫(xiě)T_WB T_BS。把順序?qū)懗蒚_BS T_WB后幾何上變成先到世界再回傳感器軌跡被一個(gè)錯(cuò)誤旋轉(zhuǎn)矩陣扭曲。解決用官方提供的位姿真值做一次單位檢查——變換矩陣旋轉(zhuǎn)部分行列式為 1、且用一組已知坐標(biāo)點(diǎn)做正向變換驗(yàn)證輸出方向。建議在工程里開(kāi)一個(gè)“坐標(biāo)系沙盒”腳本所有外參讀取后先在靜態(tài)數(shù)據(jù)上驗(yàn)證一遍再做在線融合。5.5 KITTI 的 synced 與 rectified 分開(kāi)下載后文件名對(duì)不上現(xiàn)象下載了同步數(shù)據(jù)又下載了矯正數(shù)據(jù)結(jié)果圖像文件名和點(diǎn)云時(shí)間戳對(duì)不上程序直接崩。原因KITTI 的 raw data 里 synced 數(shù)據(jù)和 rectified 數(shù)據(jù)的文件組織、時(shí)間戳基準(zhǔn)可能不同。它把“同步”和“矯正”拆成兩個(gè)下載包兩者之間并沒(méi)有保證文件名一一對(duì)應(yīng)尤其是不同版本解壓后目錄結(jié)構(gòu)有差異。解決統(tǒng)一用時(shí)間戳做關(guān)聯(lián)不要依賴文件名前綴。先讀所有數(shù)據(jù)源的 timestamp 字段按 10Hz 周期取公共時(shí)間節(jié)點(diǎn)再在這個(gè)節(jié)點(diǎn)上做傳感器數(shù)據(jù)拼接。以 image_00 時(shí)間戳為基準(zhǔn)其他傳感器全部插值到該時(shí)間軸上。6. 設(shè)計(jì)取舍三套真值系統(tǒng)的共同哲學(xué)與“尺子”困境三個(gè)數(shù)據(jù)集都用了同一個(gè)策略外部運(yùn)動(dòng)捕捉系統(tǒng)提供真值而不是用傳感器自身的測(cè)量當(dāng)基準(zhǔn)。這背后的取舍是——真值系統(tǒng)的精度必須比被測(cè)系統(tǒng)高一個(gè)量級(jí)否則你量出來(lái)的“誤差”里混著基準(zhǔn)自身的噪聲。Vicon 能做到毫米級(jí)所以它能刻 IMU 和相機(jī)運(yùn)動(dòng)捕捉系統(tǒng)做不到室外場(chǎng)景所以 KITTI 只能退而求其次用高精度 GPS/IMU 組合導(dǎo)航做基準(zhǔn)。真值精度和場(chǎng)景真實(shí)度之間本身就是一對(duì)矛盾。ATE 與 RPE 的分工也藏著同一個(gè)設(shè)計(jì)取舍絕對(duì)精度和相對(duì)一致性是兩種不同的系統(tǒng)能力。ATE 對(duì)齊后比較全局軌跡適合閉環(huán) SLAMRPE 只關(guān)心局部窗口的相對(duì)運(yùn)動(dòng)適合漂移分析。沒(méi)有一個(gè)指標(biāo)能同時(shí)回答“系統(tǒng)最終有多準(zhǔn)”和“系統(tǒng)會(huì)不會(huì)隨時(shí)間飄”所以數(shù)據(jù)集才要同時(shí)提供兩個(gè)評(píng)測(cè)維度、兩份腳本、兩種參數(shù)調(diào)法。這種設(shè)計(jì)不是冗余而是把“SLAM 系統(tǒng)性能”這個(gè)模糊概念拆成了兩個(gè)可獨(dú)立優(yōu)化的目標(biāo)。從那以后我每到一個(gè)新學(xué)到的數(shù)據(jù)集都會(huì)先問(wèn)三個(gè)問(wèn)題真值坐標(biāo)系的原點(diǎn)定在哪時(shí)間戳的單位是什么傳感器外參的變換方向按什么約定書(shū)寫(xiě)。這三個(gè)問(wèn)題答對(duì)了評(píng)估腳本才有意義答錯(cuò)了后面所有精度數(shù)字都是虛假的安慰。希望幫到你也祝你在 SLAM 這條路上少走我走過(guò)的彎路。本文還有配套的精品資源點(diǎn)擊獲取