量評價(jià)(IQA))
1.評價(jià)方法圖像質(zhì)量評價(jià)分為主觀和客觀兩個(gè)方面。其中客觀又分為全參考、半?yún)⒖己蜔o參考三種詳情見如下博客內(nèi)容https://blog.csdn.net/shinuone/article/details/1491764942.評價(jià)指標(biāo)和評價(jià)算法GitHub - chaofengc/IQA-PyTorch: ? ? PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md按照git上的要求搭好環(huán)境后使用以下testiqa.py進(jìn)行測試圖片可以放在絕對路徑下import pyiqa # pyiqa是pytorch實(shí)現(xiàn)的圖像質(zhì)量評估庫直接pip install import torch from PIL import Image import torchvision.transforms as transforms # 可以列出左右?guī)炖锏暮瘮?shù) print(pyiqa.list_models()) device torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu) # 示例 iqa_metric pyiqa.create_metric(arniqa, devicedevice) #隨意選擇上述存在的模型注意是否是NR的 to_tensor transforms.ToTensor() img_pathrE:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg #圖片路徑 img to_tensor(Image.open(img_path)).unsqueeze(0) score iqa_metric(img) print(NIME:, score.item())測試結(jié)果如下圖所示表示使用該模型arniqa得到的分?jǐn)?shù)為0.453.常用的無參考的IQA方法詳細(xì)解析詳見博客【IQA技術(shù)專題】使用CLIP進(jìn)行IQACLIPIQA-CSDN博客其中涉及到圖像的美感以及感知評價(jià)的模型主要有LPIPS(learned perceptual Image patch similarity)使用預(yù)訓(xùn)練的深度網(wǎng)絡(luò)(如VGG、Alexnet)來提取圖像特征然后計(jì)算這些特征之間的距離以評估圖像之間的感知相似度hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一種針對無參考圖像質(zhì)量評價(jià)的自適應(yīng)Hyper Network提出了一種自適應(yīng)超網(wǎng)絡(luò)架構(gòu)來無參考評估圖像質(zhì)量。將IQA過程分為三個(gè)階段內(nèi)容理解、感知規(guī)則學(xué)習(xí)和質(zhì)量預(yù)測提取圖像語義后由超網(wǎng)絡(luò)自適應(yīng)建立感知規(guī)則再由質(zhì)量預(yù)測網(wǎng)絡(luò)采用。clipiqa(contrastive language-image pretranining mode)圖文多模態(tài)模型exploring clip for assessing the look and feel of image 探索了clip模型在圖像的質(zhì)量感知(look)和抽象感知(feel)評估中的潛力提出了clip-iqa模型其核心改進(jìn)為反義詞提示詞配對策略和移除位置嵌入無需任務(wù)特定訓(xùn)練即可實(shí)現(xiàn)評估這種方法突破了傳統(tǒng)iqa方法的三大局限1.無需手工特征工程2.跨領(lǐng)域泛化能力3.零樣本學(xué)習(xí)能力對于CLIP模型的結(jié)構(gòu)學(xué)習(xí)【小白】一文讀懂CLIP圖文多模態(tài)模型_clip模型-CSDN博客經(jīng)典多模態(tài)模型CLIP - 直觀且詳盡的解釋 - 知乎將CLIP模型用于iqa的過程見如下博客【IQA技術(shù)專題】使用CLIP進(jìn)行IQACLIPIQA-CSDN博客 圖像質(zhì)量評價(jià)(IQA)
1.評價(jià)方法圖像質(zhì)量評價(jià)分為主觀和客觀兩個(gè)方面。其中客觀又分為全參考、半?yún)⒖己蜔o參考三種詳情見如下博客內(nèi)容https://blog.csdn.net/shinuone/article/details/1491764942.評價(jià)指標(biāo)和評價(jià)算法GitHub - chaofengc/IQA-PyTorch: ? ? PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md按照git上的要求搭好環(huán)境后使用以下testiqa.py進(jìn)行測試圖片可以放在絕對路徑下import pyiqa # pyiqa是pytorch實(shí)現(xiàn)的圖像質(zhì)量評估庫直接pip install import torch from PIL import Image import torchvision.transforms as transforms # 可以列出左右?guī)炖锏暮瘮?shù) print(pyiqa.list_models()) device torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu) # 示例 iqa_metric pyiqa.create_metric(arniqa, devicedevice) #隨意選擇上述存在的模型注意是否是NR的 to_tensor transforms.ToTensor() img_pathrE:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg #圖片路徑 img to_tensor(Image.open(img_path)).unsqueeze(0) score iqa_metric(img) print(NIME:, score.item())測試結(jié)果如下圖所示表示使用該模型arniqa得到的分?jǐn)?shù)為0.453.常用的無參考的IQA方法詳細(xì)解析詳見博客【IQA技術(shù)專題】使用CLIP進(jìn)行IQACLIPIQA-CSDN博客其中涉及到圖像的美感以及感知評價(jià)的模型主要有LPIPS(learned perceptual Image patch similarity)使用預(yù)訓(xùn)練的深度網(wǎng)絡(luò)(如VGG、Alexnet)來提取圖像特征然后計(jì)算這些特征之間的距離以評估圖像之間的感知相似度hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一種針對無參考圖像質(zhì)量評價(jià)的自適應(yīng)Hyper Network提出了一種自適應(yīng)超網(wǎng)絡(luò)架構(gòu)來無參考評估圖像質(zhì)量。將IQA過程分為三個(gè)階段內(nèi)容理解、感知規(guī)則學(xué)習(xí)和質(zhì)量預(yù)測提取圖像語義后由超網(wǎng)絡(luò)自適應(yīng)建立感知規(guī)則再由質(zhì)量預(yù)測網(wǎng)絡(luò)采用。clipiqa(contrastive language-image pretranining mode)圖文多模態(tài)模型exploring clip for assessing the look and feel of image 探索了clip模型在圖像的質(zhì)量感知(look)和抽象感知(feel)評估中的潛力提出了clip-iqa模型其核心改進(jìn)為反義詞提示詞配對策略和移除位置嵌入無需任務(wù)特定訓(xùn)練即可實(shí)現(xiàn)評估這種方法突破了傳統(tǒng)iqa方法的三大局限1.無需手工特征工程2.跨領(lǐng)域泛化能力3.零樣本學(xué)習(xí)能力對于CLIP模型的結(jié)構(gòu)學(xué)習(xí)【小白】一文讀懂CLIP圖文多模態(tài)模型_clip模型-CSDN博客經(jīng)典多模態(tài)模型CLIP - 直觀且詳盡的解釋 - 知乎將CLIP模型用于iqa的過程見如下博客【IQA技術(shù)專題】使用CLIP進(jìn)行IQACLIPIQA-CSDN博客