學(xué)影像？5行代碼搞定單圖問(wèn)答)
如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像5行代碼搞定單圖問(wèn)答【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 開(kāi)源的 40 億參數(shù)醫(yī)學(xué)多模態(tài)大模型基于 InternVL 系列在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而來(lái)。它可以看懂胸片、病理切片、眼底圖等醫(yī)學(xué)圖像并用自然語(yǔ)言回答你的問(wèn)題——只需要5 行核心代碼就能完成第一次醫(yī)學(xué)圖像單圖問(wèn)答。本教程面向零基礎(chǔ)新手不需要醫(yī)學(xué)或深度學(xué)習(xí)背景跟著步驟走即可在自己的電腦上跑通醫(yī)學(xué)影像 AI 問(wèn)答。一、30 秒認(rèn)識(shí)醫(yī)學(xué)影像多模態(tài)模型能做什么Mini-InternVL2-4B-DA-Medical 屬于 InternVL 家族的領(lǐng)域自適應(yīng)DA, Domain Adaptation系列專門針對(duì)醫(yī)學(xué)影像場(chǎng)景做了微調(diào)訓(xùn)練數(shù)據(jù)覆蓋 PMC-OA、MIMIC-CXR胸片、MedPix、RP3D、Retina Image Bank眼底圖等主流醫(yī)學(xué)數(shù)據(jù)集。它支持四種對(duì)話方式詳見(jiàn) README.md 的 Quick Start 部分能力說(shuō)明典型場(chǎng)景單圖單輪問(wèn)答傳一張圖 一個(gè)問(wèn)題這張胸片有什么異常單圖多輪追問(wèn)基于同一張圖連續(xù)追問(wèn)這些陰影最需要關(guān)注什么多圖對(duì)比一次傳入多張圖對(duì)比這兩張片子批量推理batch_chat一次處理一批批量生成影像描述它的視覺(jué)端采用動(dòng)態(tài)分辨率切片機(jī)制把圖片切成 448×448 的方塊最多 12 塊 1 張縮略圖無(wú)論你的影像是什么比例都不會(huì)變形細(xì)節(jié)保留得更好。二、環(huán)境準(zhǔn)備醫(yī)學(xué)多模態(tài)模型最快安裝方法1. 安裝 Python 依賴模型基于transformers運(yùn)行注意版本要求來(lái)自官方說(shuō)明pip install transformers4.37.2 torch torchvision pillow2. 獲取模型文件將倉(cāng)庫(kù)克隆到本地模型權(quán)重約 8GB請(qǐng)預(yù)留磁盤空間git clone https://gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical顯卡要求4B 參數(shù)使用 bfloat16 推理建議顯存 12GB 及以上顯存較小的機(jī)器可以選用同系列的 1B / 2B 醫(yī)學(xué)版本代碼完全通用。三、5 行代碼完成醫(yī)學(xué)影像單圖問(wèn)答下面是跑通單圖問(wèn)答的全部核心代碼load_image是圖片預(yù)處理輔助函數(shù)完整實(shí)現(xiàn)見(jiàn) README.mdfrom transformers import AutoModel, AutoTokenizer import torch path OpenGVLab/Mini-InternVL2-4B-DA-Medical # 1. 指定模型路徑 model AutoModel.from_pretrained(path, torch_dtypetorch.bfloat16, trust_remote_codeTrue).cuda() # 2. 加載視覺(jué)語(yǔ)言模型 tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse) # 3. 加載分詞器 pixel_values load_image(xray.jpg).to(torch.bfloat16).cuda() # 4. 讀取并切片醫(yī)學(xué)影像 response model.chat(tokenizer, pixel_values, image\n這張胸片里有什么異常, dict(max_new_tokens512)) # 5. 提問(wèn) print(response)運(yùn)行后模型會(huì)針對(duì)你的胸片輸出一段自然語(yǔ)言描述。兩個(gè)新手常踩的坑提前說(shuō)清楚?? 必須在from_pretrained中加trust_remote_codeTrue因?yàn)槟Ｐ妥詭ё远x建模代碼modeling_internvl_chat.py等。?? 問(wèn)題文本中需要帶image占位符模型才知道問(wèn)的是哪張圖。四、進(jìn)階玩法醫(yī)學(xué)多輪追問(wèn)與批量分析基于同一張影像連續(xù)追問(wèn)多輪對(duì)話借助return_historyTrue模型會(huì)記住上下文就像和一位影像助手連續(xù)交流cfg dict(max_new_tokens512, do_sampleTrue) resp, history model.chat(tokenizer, pixel_values, image\n請(qǐng)簡(jiǎn)要描述這張影像。, cfg, historyNone, return_historyTrue) resp, history model.chat(tokenizer, pixel_values, 哪些區(qū)域最需要關(guān)注, cfg, historyhistory, return_historyTrue)多圖對(duì)比把多張圖的切片在第一個(gè)維度拼接image占位符按順序?qū)?yīng)pixel_values torch.cat((load_image(img1.jpg), load_image(img2.jpg)), dim0) response model.chat(tokenizer, pixel_values, image\n請(qǐng)對(duì)比這兩張影像的異同。, cfg)批量處理一批影像batch_chat接口實(shí)現(xiàn)見(jiàn)modeling_internvl_chat.py可一次性生成多張影像的描述適合做批量數(shù)據(jù)整理responses model.batch_chat(tokenizer, pixel_values, questionsquestions, generation_configcfg)五、項(xiàng)目文件結(jié)構(gòu)一覽醫(yī)學(xué)多模態(tài)模型都包含什么文件作用config.json模型結(jié)構(gòu)配置InternViT 視覺(jué)塔 Phi-3 語(yǔ)言模型modeling_internvl_chat.py核心對(duì)話邏輯chat/batch_chat方法所在modeling_intern_vit.py視覺(jué)編碼器InternViT實(shí)現(xiàn)modeling_phi3.py語(yǔ)言模型Phi-3實(shí)現(xiàn)conversation.py對(duì)話模板定義phi3-chat 模板preprocessor_config.json圖片預(yù)處理參數(shù)448px 切片、歸一化均值tokenizer.json/tokenizer_config.json分詞器文件model-00001-of-00002.safetensors等模型權(quán)重分片存儲(chǔ)generation_config.json生成參數(shù)配置README.md完整使用示例與訓(xùn)練數(shù)據(jù)集說(shuō)明六、新手常見(jiàn)問(wèn)題FAQ?Q1運(yùn)行報(bào)錯(cuò)AttributeError或找不到模型類升級(jí)transformers到 4.37.2 以上并確認(rèn)trust_remote_codeTrue已開(kāi)啟。Q2顯存不夠跑 4B 版本怎么辦可以改用同系列的Mini-InternVL2-1B-DA-Medical或 2B 版本用法完全一致也可調(diào)小load_image的max_num默認(rèn) 12 塊來(lái)降低顯存占用。Q3模型能直接給診斷結(jié)論嗎它擅長(zhǎng)影像內(nèi)容描述與問(wèn)答輸出屬于輔助參考性質(zhì)不能替代專業(yè)醫(yī)生的診斷請(qǐng)勿直接用于臨床決策。Q4純文本對(duì)話可以不帶圖片嗎可以。調(diào)用model.chat(tokenizer, None, 你好你是誰(shuí), cfg)傳入None即可進(jìn)行純文本閑聊。 到這里你已經(jīng)用 5 行代碼讓一個(gè) 40 億參數(shù)的醫(yī)學(xué)影像 AI 讀懂了第一張片子。下一步可以試試多輪追問(wèn)和多圖對(duì)比體驗(yàn)更接近影像助手的完整交互流程?！久赓M(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像？5行代碼搞定單圖問(wèn)答
如何用Mini-InternVL2-4B-DA-Medical讀懂你的第一張醫(yī)學(xué)影像5行代碼搞定單圖問(wèn)答【免費(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-MedicalMini-InternVL2-4B-DA-Medical是 OpenGVLab 開(kāi)源的 40 億參數(shù)醫(yī)學(xué)多模態(tài)大模型基于 InternVL 系列在海量醫(yī)學(xué)影像數(shù)據(jù)上微調(diào)而來(lái)。它可以看懂胸片、病理切片、眼底圖等醫(yī)學(xué)圖像并用自然語(yǔ)言回答你的問(wèn)題——只需要5 行核心代碼就能完成第一次醫(yī)學(xué)圖像單圖問(wèn)答。本教程面向零基礎(chǔ)新手不需要醫(yī)學(xué)或深度學(xué)習(xí)背景跟著步驟走即可在自己的電腦上跑通醫(yī)學(xué)影像 AI 問(wèn)答。一、30 秒認(rèn)識(shí)醫(yī)學(xué)影像多模態(tài)模型能做什么Mini-InternVL2-4B-DA-Medical 屬于 InternVL 家族的領(lǐng)域自適應(yīng)DA, Domain Adaptation系列專門針對(duì)醫(yī)學(xué)影像場(chǎng)景做了微調(diào)訓(xùn)練數(shù)據(jù)覆蓋 PMC-OA、MIMIC-CXR胸片、MedPix、RP3D、Retina Image Bank眼底圖等主流醫(yī)學(xué)數(shù)據(jù)集。它支持四種對(duì)話方式詳見(jiàn) README.md 的 Quick Start 部分能力說(shuō)明典型場(chǎng)景單圖單輪問(wèn)答傳一張圖 一個(gè)問(wèn)題這張胸片有什么異常單圖多輪追問(wèn)基于同一張圖連續(xù)追問(wèn)這些陰影最需要關(guān)注什么多圖對(duì)比一次傳入多張圖對(duì)比這兩張片子批量推理batch_chat一次處理一批批量生成影像描述它的視覺(jué)端采用動(dòng)態(tài)分辨率切片機(jī)制把圖片切成 448×448 的方塊最多 12 塊 1 張縮略圖無(wú)論你的影像是什么比例都不會(huì)變形細(xì)節(jié)保留得更好。二、環(huán)境準(zhǔn)備醫(yī)學(xué)多模態(tài)模型最快安裝方法1. 安裝 Python 依賴模型基于transformers運(yùn)行注意版本要求來(lái)自官方說(shuō)明pip install transformers4.37.2 torch torchvision pillow2. 獲取模型文件將倉(cāng)庫(kù)克隆到本地模型權(quán)重約 8GB請(qǐng)預(yù)留磁盤空間git clone https://gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical顯卡要求4B 參數(shù)使用 bfloat16 推理建議顯存 12GB 及以上顯存較小的機(jī)器可以選用同系列的 1B / 2B 醫(yī)學(xué)版本代碼完全通用。三、5 行代碼完成醫(yī)學(xué)影像單圖問(wèn)答下面是跑通單圖問(wèn)答的全部核心代碼load_image是圖片預(yù)處理輔助函數(shù)完整實(shí)現(xiàn)見(jiàn) README.mdfrom transformers import AutoModel, AutoTokenizer import torch path OpenGVLab/Mini-InternVL2-4B-DA-Medical # 1. 指定模型路徑 model AutoModel.from_pretrained(path, torch_dtypetorch.bfloat16, trust_remote_codeTrue).cuda() # 2. 加載視覺(jué)語(yǔ)言模型 tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse) # 3. 加載分詞器 pixel_values load_image(xray.jpg).to(torch.bfloat16).cuda() # 4. 讀取并切片醫(yī)學(xué)影像 response model.chat(tokenizer, pixel_values, image\n這張胸片里有什么異常, dict(max_new_tokens512)) # 5. 提問(wèn) print(response)運(yùn)行后模型會(huì)針對(duì)你的胸片輸出一段自然語(yǔ)言描述。兩個(gè)新手常踩的坑提前說(shuō)清楚?? 必須在from_pretrained中加trust_remote_codeTrue因?yàn)槟Ｐ妥詭ё远x建模代碼modeling_internvl_chat.py等。?? 問(wèn)題文本中需要帶image占位符模型才知道問(wèn)的是哪張圖。四、進(jìn)階玩法醫(yī)學(xué)多輪追問(wèn)與批量分析基于同一張影像連續(xù)追問(wèn)多輪對(duì)話借助return_historyTrue模型會(huì)記住上下文就像和一位影像助手連續(xù)交流cfg dict(max_new_tokens512, do_sampleTrue) resp, history model.chat(tokenizer, pixel_values, image\n請(qǐng)簡(jiǎn)要描述這張影像。, cfg, historyNone, return_historyTrue) resp, history model.chat(tokenizer, pixel_values, 哪些區(qū)域最需要關(guān)注, cfg, historyhistory, return_historyTrue)多圖對(duì)比把多張圖的切片在第一個(gè)維度拼接image占位符按順序?qū)?yīng)pixel_values torch.cat((load_image(img1.jpg), load_image(img2.jpg)), dim0) response model.chat(tokenizer, pixel_values, image\n請(qǐng)對(duì)比這兩張影像的異同。, cfg)批量處理一批影像batch_chat接口實(shí)現(xiàn)見(jiàn)modeling_internvl_chat.py可一次性生成多張影像的描述適合做批量數(shù)據(jù)整理responses model.batch_chat(tokenizer, pixel_values, questionsquestions, generation_configcfg)五、項(xiàng)目文件結(jié)構(gòu)一覽醫(yī)學(xué)多模態(tài)模型都包含什么文件作用config.json模型結(jié)構(gòu)配置InternViT 視覺(jué)塔 Phi-3 語(yǔ)言模型modeling_internvl_chat.py核心對(duì)話邏輯chat/batch_chat方法所在modeling_intern_vit.py視覺(jué)編碼器InternViT實(shí)現(xiàn)modeling_phi3.py語(yǔ)言模型Phi-3實(shí)現(xiàn)conversation.py對(duì)話模板定義phi3-chat 模板preprocessor_config.json圖片預(yù)處理參數(shù)448px 切片、歸一化均值tokenizer.json/tokenizer_config.json分詞器文件model-00001-of-00002.safetensors等模型權(quán)重分片存儲(chǔ)generation_config.json生成參數(shù)配置README.md完整使用示例與訓(xùn)練數(shù)據(jù)集說(shuō)明六、新手常見(jiàn)問(wèn)題FAQ?Q1運(yùn)行報(bào)錯(cuò)AttributeError或找不到模型類升級(jí)transformers到 4.37.2 以上并確認(rèn)trust_remote_codeTrue已開(kāi)啟。Q2顯存不夠跑 4B 版本怎么辦可以改用同系列的Mini-InternVL2-1B-DA-Medical或 2B 版本用法完全一致也可調(diào)小load_image的max_num默認(rèn) 12 塊來(lái)降低顯存占用。Q3模型能直接給診斷結(jié)論嗎它擅長(zhǎng)影像內(nèi)容描述與問(wèn)答輸出屬于輔助參考性質(zhì)不能替代專業(yè)醫(yī)生的診斷請(qǐng)勿直接用于臨床決策。Q4純文本對(duì)話可以不帶圖片嗎可以。調(diào)用model.chat(tokenizer, None, 你好你是誰(shuí), cfg)傳入None即可進(jìn)行純文本閑聊。 到這里你已經(jīng)用 5 行代碼讓一個(gè) 40 億參數(shù)的醫(yī)學(xué)影像 AI 讀懂了第一張片子。下一步可以試試多輪追問(wèn)和多圖對(duì)比體驗(yàn)更接近影像助手的完整交互流程?！久赓M(fèi)下載鏈接】Mini-InternVL2-4B-DA-Medical項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考