簡(jiǎn)介這份資源是面向深度學(xué)習(xí)圖像配準(zhǔn)方向的Python項(xiàng)目源碼包適合計(jì)算機(jī)視覺初學(xué)者、課程設(shè)計(jì)學(xué)生及需要復(fù)現(xiàn)配準(zhǔn)實(shí)驗(yàn)的研究者使用可幫助理解并跑通2D/3D及仿射配準(zhǔn)的完整流程。壓縮包共28個(gè)文件約1.38MB以16個(gè)py腳本為核心覆蓋訓(xùn)練與配準(zhǔn)入口、模型、數(shù)據(jù)集與工具模塊另含2個(gè)pth權(quán)重、1個(gè)npy數(shù)據(jù)、1個(gè)log日志以及jpg、png示意圖、md說(shuō)明、docx手冊(cè)和gitignore等輔助文件便于快速上手與結(jié)果核對(duì)。資源經(jīng)過(guò)本地編譯驗(yàn)證評(píng)審分在95分以上難度適中內(nèi)容經(jīng)助教審定已有214人學(xué)習(xí)。讀者可據(jù)此掌握配準(zhǔn)網(wǎng)絡(luò)搭建、訓(xùn)練與推理腳本組織方式參考ants_baseline對(duì)比傳統(tǒng)方法并借助手冊(cè)與日志排查運(yùn)行問(wèn)題適合作為課程設(shè)計(jì)或入門實(shí)踐的參考模板。1. 拿到 DLIR 源碼包先別急著 pip install醫(yī)學(xué)圖像配準(zhǔn)到底難在哪你手里如果有一個(gè)叫DLIR深度學(xué)習(xí)圖像配準(zhǔn)python源碼使用文檔.zip的包第一反應(yīng)大概率是解壓、找requirements.txt、pip install -r、然后python train.py。我見過(guò)太多人卡在這一步報(bào)錯(cuò)刷屏最后懷疑包是壞的。問(wèn)題不在包在于圖像配準(zhǔn)這件事本身和分類、檢測(cè)完全不是一個(gè)難度量級(jí)——分類是給一張圖打標(biāo)簽配準(zhǔn)是要算出一張圖到另一張圖之間每個(gè)像素該往哪挪輸出的是一個(gè)形變場(chǎng)deformation field不是類別概率。DLIR 這個(gè)方向全稱通常對(duì)應(yīng) Deep Learning Image Registration核心任務(wù)是把兩幅醫(yī)學(xué)圖像比如術(shù)前 MRI 和術(shù)中 CT或者同一患者不同時(shí)間點(diǎn)的掃描在空間上對(duì)齊。臨床上這件事的價(jià)值很直接放療計(jì)劃要疊加、手術(shù)導(dǎo)航要融合、縱向隨訪要對(duì)比病灶變化全都依賴配準(zhǔn)精度。傳統(tǒng)方法用迭代優(yōu)化一次配準(zhǔn)跑幾分鐘到幾十分鐘深度學(xué)習(xí)方案把推理壓到秒級(jí)甚至亞秒級(jí)這是它值得投入的根本原因。這個(gè)包適合誰(shuí)如果你是從業(yè)工程師手上有配對(duì)圖像數(shù)據(jù)、需要把配準(zhǔn)嵌進(jìn)流水線那源碼包能幫你省掉從零搭網(wǎng)絡(luò)的時(shí)間。如果你是學(xué)生或剛轉(zhuǎn)方向想搞懂深度學(xué)習(xí)圖像配準(zhǔn)的完整鏈路這個(gè)包也是一個(gè)能跑通的起點(diǎn)。但前提是——你得先搞清楚它內(nèi)部的數(shù)據(jù)格式、網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)設(shè)計(jì)否則調(diào)參就是玄學(xué)。2. DLIR 的網(wǎng)絡(luò)骨架與配準(zhǔn)范式從 VoxelMorph 到你的源碼包2.1 配準(zhǔn)問(wèn)題的數(shù)學(xué)形式與深度學(xué)習(xí)為什么能替代迭代優(yōu)化配準(zhǔn)的本質(zhì)是找一個(gè)空間變換 $\phi$讓移動(dòng)圖像 $I_m$ 經(jīng)過(guò)變換后和固定圖像 $I_f$ 盡可能相似。傳統(tǒng)方法把它寫成一個(gè)優(yōu)化問(wèn)題最小化相似度度量加上正則項(xiàng)用梯度下降或 B 樣條參數(shù)化去迭代求解。問(wèn)題在于每來(lái)一對(duì)新圖像就要重新優(yōu)化一遍速度慢且對(duì)初始位置敏感。深度學(xué)習(xí)方案換了個(gè)思路訓(xùn)練一個(gè)網(wǎng)絡(luò) $g_\theta(I_f, I_m) \phi$把優(yōu)化過(guò)程“學(xué)”進(jìn)網(wǎng)絡(luò)參數(shù)里。推理時(shí)一次前向傳播就出形變場(chǎng)不需要迭代。這就是 VoxelMorph 開創(chuàng)的范式也是絕大多數(shù) DLIR 源碼包的基礎(chǔ)架構(gòu)。你的源碼包里大概率是一個(gè) U-Net 風(fēng)格的編碼器-解碼器輸入是固定圖像和移動(dòng)圖像拼接后的雙通道體數(shù)據(jù)輸出是形變場(chǎng)。關(guān)鍵設(shè)計(jì)點(diǎn)有三個(gè)第一網(wǎng)絡(luò)輸出的是位移場(chǎng)還是速度場(chǎng)后者用于微分同胚配準(zhǔn)保證形變可逆第二損失函數(shù)怎么組合相似度項(xiàng)和正則項(xiàng)第三訓(xùn)練時(shí)用的是什么配對(duì)監(jiān)督信號(hào)——是有標(biāo)注的 landmark 還是無(wú)監(jiān)督的相似度度量。這三點(diǎn)決定了你的源碼包屬于哪一類方案也決定了你該怎么準(zhǔn)備數(shù)據(jù)。2.2 源碼包目錄結(jié)構(gòu)與核心模塊拆解解壓后先別跑花十分鐘把目錄結(jié)構(gòu)看清楚。一個(gè)典型的 DLIR 源碼包通常長(zhǎng)這樣DLIR/ ├── data/ # 數(shù)據(jù)加載與預(yù)處理 │ ├── dataset.py # Dataset 類配對(duì)采樣邏輯 │ └── transforms.py # 歸一化、裁剪、增強(qiáng) ├── models/ │ ├── unet.py # 主干網(wǎng)絡(luò) │ ├── spatial_transformer.py # 空間變換層 STN │ └── losses.py # NCC、MSE、正則項(xiàng) ├── train.py # 訓(xùn)練入口 ├── test.py # 推理與評(píng)估 ├── configs/ │ └── default.yaml # 超參數(shù)配置 └── requirements.txt拿到包先確認(rèn)三件事models/spatial_transformer.py里用的是grid_sample還是自己實(shí)現(xiàn)的插值losses.py里相似度度量是 NCC局部歸一化互相關(guān)還是 MSEconfigs/default.yaml里的image_size、batch_size、lr默認(rèn)值是多少。這三處直接決定你能不能用自己的數(shù)據(jù)跑通。2.3 用 conda 建環(huán)境并跑通第一個(gè)前向傳播環(huán)境配置是第一個(gè)翻車高發(fā)區(qū)。醫(yī)學(xué)圖像配準(zhǔn)的源碼包通常依賴SimpleITK、nibabel、torch、scipy版本不匹配就報(bào)undefined symbol。我一般用 conda 而不是裸 pip因?yàn)?SimpleITK 和 ITK 的二進(jìn)制依賴在 conda 里處理得更干凈。# 創(chuàng)建獨(dú)立環(huán)境python 版本看 requirements.txt一般 3.8-3.10 conda create -n dlir python3.9 -y conda activate dlir # 先裝 pytorch注意 CUDA 版本要和驅(qū)動(dòng)匹配 # 如果服務(wù)器 CUDA 是 11.8 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 再裝醫(yī)學(xué)圖像處理庫(kù) pip install SimpleITK nibabel scipy pyyaml tqdm tensorboard # 最后裝項(xiàng)目自身依賴 pip install -r requirements.txt裝完之后不要直接python train.py先寫一個(gè)最小前向測(cè)試腳本確認(rèn)網(wǎng)絡(luò)能跑通、輸出 shape 對(duì)得上import torch from models.unet import UNet # 按你源碼包實(shí)際類名改 from models.spatial_transformer import SpatialTransformer # 假設(shè)輸入是 1x1x64x64x64 的 3D 體數(shù)據(jù)batch x channel x D x H x W fixed torch.randn(1, 1, 64, 64, 64) moving torch.randn(1, 1, 64, 64, 64) # 雙通道拼接輸入 x torch.cat([fixed, moving], dim1) # 1x2x64x64x64 net UNet(in_channels2, out_channels3) # 輸出 3 通道位移場(chǎng) flow net(x) print(flow shape:, flow.shape) # 期望 1x3x64x64x64 # 用位移場(chǎng)對(duì) moving 做重采樣 stn SpatialTransformer(size(64, 64, 64)) warped stn(moving, flow) print(warped shape:, warped.shape) # 期望 1x1x64x64x64這段腳本的作用是驗(yàn)證三件事網(wǎng)絡(luò)輸入通道數(shù)對(duì)不對(duì)固定移動(dòng)2、輸出通道數(shù)對(duì)不對(duì)3D 位移場(chǎng)3、空間變換層能不能正常重采樣。如果flow.shape是1x2x...說(shuō)明網(wǎng)絡(luò)輸出通道配錯(cuò)了如果warped報(bào)維度錯(cuò)誤說(shuō)明 STN 的 size 參數(shù)和輸入不匹配。這一步過(guò)了再談?dòng)?xùn)練。3. 數(shù)據(jù)準(zhǔn)備與訓(xùn)練配置讓配準(zhǔn)網(wǎng)絡(luò)真正學(xué)到形變3.1 配對(duì)圖像的讀取、歸一化與體素間距統(tǒng)一醫(yī)學(xué)圖像配準(zhǔn)和自然圖像配準(zhǔn)最大的區(qū)別在于CT/MRI 是各向異性的體數(shù)據(jù)體素間距spacing經(jīng)常是0.7x0.7x3.0這種層厚方向分辨率遠(yuǎn)低于層內(nèi)。如果不做 spacing 統(tǒng)一就送進(jìn)網(wǎng)絡(luò)網(wǎng)絡(luò)學(xué)到的形變?cè)谖锢砜臻g里是扭曲的。標(biāo)準(zhǔn)做法是用 SimpleITK 讀入后重采樣到各向同性import SimpleITK as sitk def load_and_resample(path, target_spacing(1.0, 1.0, 1.0)): img sitk.ReadImage(path) original_spacing img.GetSpacing() original_size img.GetSize() # 計(jì)算重采樣后的尺寸 new_size [ int(round(original_size[i] * original_spacing[i] / target_spacing[i])) for i in range(3) ] resampler sitk.ResampleImageFilter() resampler.SetOutputSpacing(target_spacing) resampler.SetSize(new_size) resampler.SetOutputDirection(img.GetDirection()) resampler.SetOutputOrigin(img.GetOrigin()) resampler.SetInterpolator(sitk.sitkLinear) resampled resampler.Execute(img) # 強(qiáng)度歸一化到 [0,1]用百分位數(shù)裁剪避免異常值 arr sitk.GetArrayFromImage(resampled).astype(float32) p1, p99 np.percentile(arr, [1, 99]) arr np.clip(arr, p1, p99) arr (arr - p1) / (p99 - p1 1e-8) return arr參數(shù)說(shuō)明target_spacing設(shè)成(1.0, 1.0, 1.0)是常見起點(diǎn)但腦部 MRI 可以細(xì)到(0.5, 0.5, 0.5)腹部 CT 粗到(2.0, 2.0, 2.0)也夠用。插值方式訓(xùn)練時(shí)用線性評(píng)估時(shí)如果涉及標(biāo)簽要用最近鄰。歸一化用 1%-99% 百分位裁剪而不是 min-max是因?yàn)獒t(yī)學(xué)圖像常有金屬偽影或異常高亮直接 min-max 會(huì)把有效組織壓到很窄的范圍。3.2 損失函數(shù)組合NCC、MSE 與正則項(xiàng)怎么配配準(zhǔn)網(wǎng)絡(luò)的損失函數(shù)是訓(xùn)練成敗的核心。你的源碼包里losses.py大概率包含這幾項(xiàng)損失項(xiàng)作用典型權(quán)重適用場(chǎng)景NCC局部歸一化互相關(guān)衡量結(jié)構(gòu)相似度1.0單模態(tài)配準(zhǔn)CT-CT、MR-MRMSE均方誤差直接比較像素值1.0圖像已對(duì)齊且強(qiáng)度一致LNCC局部 NCC對(duì)亮度變化更魯棒1.0多模態(tài)配準(zhǔn)CT-MR形變場(chǎng)正則懲罰位移場(chǎng)梯度保持平滑0.01-1.0所有場(chǎng)景防止折疊逆一致性正反向配準(zhǔn)互為逆變換0.1-1.0需要可逆形變的場(chǎng)景我一般先用 NCC 正則項(xiàng)跑 baseline正則權(quán)重從 1.0 開始試。如果發(fā)現(xiàn)形變場(chǎng)過(guò)于平滑、配準(zhǔn)不到位降到 0.1如果出現(xiàn)形變場(chǎng)折疊Jacobian 行列式為負(fù)升到 5.0 甚至 10.0。多模態(tài)場(chǎng)景把 NCC 換成 LNCC窗口大小設(shè) 9 或 11。# 典型的損失組合 loss_ncc NCCLoss(window_size9)(warped, fixed) loss_reg GradientRegularizer()(flow) # 對(duì)位移場(chǎng)求梯度 total_loss loss_ncc 1.0 * loss_reg注意NCC 是越大越相似代碼里通常取負(fù)號(hào)變成越小越好。如果你發(fā)現(xiàn) loss 在下降但配準(zhǔn)效果沒變好先檢查符號(hào)有沒有搞反。3.3 訓(xùn)練超參與顯存優(yōu)化batch size、patch size 和混合精度3D 配準(zhǔn)網(wǎng)絡(luò)的顯存占用是繞不過(guò)去的坎。一個(gè) 64x64x64 的 patchbatch size 設(shè) 1U-Net 三層下采樣顯存大概 4-6GB。想上 batch size 4 或者 patch 128x128x128單卡 24GB 都不一定夠。我的經(jīng)驗(yàn)配置# configs/default.yaml 關(guān)鍵項(xiàng) train: batch_size: 1 # 3D 配準(zhǔn)從 1 開始穩(wěn)定后再加 patch_size: [64, 64, 64] # 根據(jù)顯存調(diào)腦部可以 96 lr: 1e-4 # Adam 初始學(xué)習(xí)率 epochs: 500 amp: true # 混合精度省 30%-40% 顯存 grad_clip: 1.0 # 梯度裁剪防爆炸混合精度訓(xùn)練在 PyTorch 里用torch.cuda.amp就行但要注意 NCC 計(jì)算涉及歸約操作某些實(shí)現(xiàn)下 fp16 會(huì)溢出需要把損失計(jì)算強(qiáng)制轉(zhuǎn)回 fp32。如果開了 AMP 之后 loss 變 NaN先關(guān)掉 AMP 確認(rèn)是不是精度問(wèn)題。學(xué)習(xí)率調(diào)度用 cosine annealing 比 step decay 更穩(wěn)初始 1e-4最低到 1e-6。如果前 50 個(gè) epoch loss 不降檢查數(shù)據(jù)配對(duì)是否正確——我見過(guò)有人把 fixed 和 moving 搞反了網(wǎng)絡(luò)學(xué)了個(gè)恒等映射loss 看著在降但配準(zhǔn)完全沒效果。4. 推理、評(píng)估與可視化配準(zhǔn)效果到底怎么判斷4.1 用 Dice 和 Jacobian 行列式量化配準(zhǔn)質(zhì)量訓(xùn)練 loss 下降不代表配準(zhǔn)臨床可用。評(píng)估配準(zhǔn)質(zhì)量要看兩個(gè)層面標(biāo)簽重疊度和形變場(chǎng)物理合理性。標(biāo)簽重疊度用 Dice 系數(shù)前提是你有分割標(biāo)簽。把 moving 的標(biāo)簽用預(yù)測(cè)的形變場(chǎng) warp 過(guò)去和 fixed 的標(biāo)簽算 Dicedef dice_score(seg_fixed, seg_moving_warped): intersection (seg_fixed * seg_moving_warped).sum() return 2.0 * intersection / (seg_fixed.sum() seg_moving_warped.sum() 1e-8)Jacobian 行列式衡量形變場(chǎng)是否折疊。行列式處處為正說(shuō)明形變是微分同胚的沒有折疊出現(xiàn)負(fù)值說(shuō)明有體素被翻轉(zhuǎn)了臨床不可接受def jacobian_determinant(flow): # flow: 1x3xDxHxW計(jì)算每個(gè)體素處的 Jacobian 行列式 # 用有限差分近似偏導(dǎo)數(shù) dFdx flow[:, 0, :, :, 1:] - flow[:, 0, :, :, :-1] dFdy flow[:, 1, :, 1:, :] - flow[:, 1, :, :-1, :] dFdz flow[:, 2, 1:, :, :] - flow[:, 2, :-1, :, :] # 簡(jiǎn)化版實(shí)際要構(gòu)造完整 3x3 Jacobian 矩陣 jac (1 dFdx) * (1 dFdy) * (1 dFdz) return jac實(shí)際項(xiàng)目中我會(huì)同時(shí)看三個(gè)指標(biāo)Dice 提升幅度配準(zhǔn)后比配準(zhǔn)前提升多少、負(fù) Jacobian 體素占比應(yīng)該低于 0.1%、形變場(chǎng)最大位移超過(guò)圖像尺寸 1/3 就要警惕。4.2 形變場(chǎng)可視化用網(wǎng)格疊加和差值圖快速定位問(wèn)題數(shù)字指標(biāo)之外可視化是排查問(wèn)題的后悔藥。最直接的方法是把形變場(chǎng)以網(wǎng)格形式疊加到固定圖像上import matplotlib.pyplot as plt def visualize_flow(fixed_slice, flow_slice, step4): 在固定圖像上疊加形變網(wǎng)格 fig, ax plt.subplots(1, 1, figsize(8, 8)) ax.imshow(fixed_slice, cmapgray) h, w fixed_slice.shape y, x np.mgrid[0:h:step, 0:w:step] # flow_slice 是 2xHxW取對(duì)應(yīng)方向的位移 u flow_slice[0, ::step, ::step] v flow_slice[1, ::step, ::step] ax.quiver(x, y, u, v, colorred, scale1, scale_unitsxy, anglesxy) plt.savefig(flow_overlay.png, dpi150)網(wǎng)格扭曲均勻說(shuō)明形變平滑局部網(wǎng)格密集或交叉說(shuō)明該區(qū)域形變劇烈甚至折疊。另一個(gè)常用手段是差值圖fixed - warped理想情況下差值圖應(yīng)該接近噪聲如果還有明顯結(jié)構(gòu)殘留說(shuō)明配準(zhǔn)沒到位。4.3 推理腳本與批量處理從單對(duì)圖像到隊(duì)列訓(xùn)練完的模型要能批量處理。寫推理腳本時(shí)注意三點(diǎn)模型加載用torch.load后調(diào)eval()和torch.no_grad()輸入圖像按訓(xùn)練時(shí)的 spacing 和歸一化流程處理輸出形變場(chǎng)保存為.nii.gz方便后續(xù)用 ITK 做重采樣。torch.no_grad() def inference(model, fixed_path, moving_path, output_path): model.eval() fixed load_and_resample(fixed_path) moving load_and_resample(moving_path) # 轉(zhuǎn) tensor 并加 batch 維度 fixed_t torch.from_numpy(fixed).unsqueeze(0).unsqueeze(0).float().cuda() moving_t torch.from_numpy(moving).unsqueeze(0).unsqueeze(0).float().cuda() x torch.cat([fixed_t, moving_t], dim1) flow model(x) # 保存形變場(chǎng) flow_np flow.squeeze().cpu().numpy() sitk.WriteImage(sitk.GetImageFromArray(flow_np), output_path) return flow_np批量處理時(shí)注意顯存釋放每對(duì)圖像處理完del掉中間變量。如果隊(duì)列很長(zhǎng)考慮用torch.cuda.empty_cache()定期清理。5. 避坑與排查DLIR 源碼跑不通的 5 個(gè)血淚教訓(xùn)5.1 現(xiàn)象訓(xùn)練 loss 一直不降輸出形變場(chǎng)全零原因最常見的是數(shù)據(jù)配對(duì)錯(cuò)誤。Dataset 類里__getitem__返回的 fixed 和 moving 是同一張圖或者歸一化后圖像全變成 0。另一個(gè)可能是學(xué)習(xí)率太小1e-6 以下在 3D 配準(zhǔn)里基本不動(dòng)。解決先打印一個(gè) batch 的數(shù)據(jù)統(tǒng)計(jì)確認(rèn)fixed.mean()和moving.mean()在 0.3-0.7 之間且兩者不相等。學(xué)習(xí)率從 1e-4 起步如果 loss 震蕩就降到 5e-5。5.2 現(xiàn)象顯存溢出報(bào) CUDA out of memory原因patch size 太大、batch size 太大、或者網(wǎng)絡(luò)中間層特征圖沒釋放。3D U-Net 第一層 32 通道、輸入 1283中間激活值就能吃掉 10GB。解決先把 patch 降到 643、batch 降到 1確認(rèn)能跑通再逐步加。開啟 AMP 混合精度。如果還不行把 U-Net 第一層通道數(shù)從 32 降到 16。5.3 現(xiàn)象形變場(chǎng)出現(xiàn)折疊Jacobian 行列式為負(fù)原因正則項(xiàng)權(quán)重太低網(wǎng)絡(luò)為了擬合相似度把形變場(chǎng)拉得太劇烈?；蛘呦嗨贫榷攘勘旧韺?duì)劇烈形變不敏感比如全局 NCC。解決正則權(quán)重從 1.0 加到 5.0 甚至 10.0。換用局部 NCCLNCC窗口大小 9。如果還折疊在網(wǎng)絡(luò)輸出后加一個(gè)tanh限制位移范圍或者用微分同胚配準(zhǔn)輸出速度場(chǎng)再積分。5.4 現(xiàn)象多模態(tài)配準(zhǔn)效果差Dice 幾乎沒提升原因用了 MSE 或全局 NCC 做相似度度量。CT 和 MR 的強(qiáng)度分布完全不同MSE 會(huì)懲罰正確的對(duì)齊。全局 NCC 對(duì)局部強(qiáng)度變化不敏感。解決換 LNCC 或 MI互信息。LNCC 窗口設(shè) 9-11MI 的 bin 數(shù)設(shè) 32-64。如果源碼包只支持 NCC自己改losses.py加一個(gè) LNCC 實(shí)現(xiàn)核心就是局部窗口內(nèi)減均值除標(biāo)準(zhǔn)差再算相關(guān)。5.5 現(xiàn)象推理結(jié)果和訓(xùn)練時(shí)可視化不一致原因推理時(shí)的預(yù)處理和訓(xùn)練時(shí)不一致。訓(xùn)練時(shí)用了隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)增強(qiáng)推理時(shí)忘了做對(duì)應(yīng)的歸一化?；蛘?spacing 重采樣參數(shù)不同。解決把訓(xùn)練時(shí)的預(yù)處理流程封裝成一個(gè)函數(shù)訓(xùn)練和推理共用。檢查load_and_resample的target_spacing在兩邊是否一致。如果訓(xùn)練時(shí)做了強(qiáng)度增強(qiáng)gamma 變換等推理時(shí)不要做。6. 進(jìn)階技巧用微分同胚配準(zhǔn)和測(cè)試時(shí)優(yōu)化把精度再推一截如果你的 baseline 已經(jīng)跑通、Dice 提升穩(wěn)定想再往上推有兩個(gè)方向值得試。第一個(gè)是微分同胚配準(zhǔn)diffeomorphic registration。普通網(wǎng)絡(luò)直接輸出位移場(chǎng)不保證形變可逆。微分同胚方案讓網(wǎng)絡(luò)輸出速度場(chǎng)通過(guò) scaling and squaring 積分得到位移場(chǎng)數(shù)學(xué)上保證形變是光滑可逆的。實(shí)現(xiàn)上改動(dòng)不大網(wǎng)絡(luò)輸出通道還是 3但在 STN 之前加一個(gè)積分層。典型做法是積分 7 步每步flow flow flow_warp(flow)。代價(jià)是推理慢一點(diǎn)但 Jacobian 負(fù)值基本消失。第二個(gè)是測(cè)試時(shí)優(yōu)化test-time optimization。訓(xùn)練好的模型給出初始形變場(chǎng)推理時(shí)再對(duì)每一對(duì)圖像做幾十步迭代優(yōu)化用相似度度量做損失微調(diào)形變場(chǎng)。這相當(dāng)于深度學(xué)習(xí)給傳統(tǒng)優(yōu)化提供了一個(gè)極好的初始化兼顧速度和精度。實(shí)現(xiàn)上就是把推理腳本改成一個(gè)優(yōu)化循環(huán)# 測(cè)試時(shí)優(yōu)化在推理時(shí)對(duì)形變場(chǎng)做少量迭代 flow model(x).detach().requires_grad_(True) optimizer torch.optim.Adam([flow], lr1e-4) for step in range(50): warped stn(moving_t, flow) loss ncc_loss(warped, fixed_t) 0.1 * reg_loss(flow) optimizer.zero_grad() loss.backward() optimizer.step()50 步大概增加 2-3 秒推理時(shí)間但 Dice 通常能再提 1-3 個(gè)百分點(diǎn)。注意優(yōu)化時(shí)正則權(quán)重不要設(shè)太大否則形變場(chǎng)被拉回初始值。還有一個(gè)實(shí)用技巧是模型集成訓(xùn)練 3-5 個(gè)不同初始化的模型推理時(shí)把形變場(chǎng)平均。這個(gè)在配準(zhǔn)比賽里是標(biāo)準(zhǔn)操作穩(wěn)定提點(diǎn)代價(jià)只是推理時(shí)間翻倍。我自己做配準(zhǔn)項(xiàng)目這些年最大的教訓(xùn)是不要一上來(lái)就追求 SOTA 指標(biāo)先把數(shù)據(jù) pipeline 和評(píng)估流程搭穩(wěn)。我見過(guò)太多人網(wǎng)絡(luò)改了好幾版最后發(fā)現(xiàn)是 spacing 沒統(tǒng)一或者標(biāo)簽 warp 用錯(cuò)了插值方式。配準(zhǔn)這件事數(shù)據(jù)質(zhì)量決定上限網(wǎng)絡(luò)結(jié)構(gòu)只決定你能不能摸到那個(gè)上限。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取