指南：從代碼下載到服務上線的一次性走通)
ModelScope本地部署完整實戰(zhàn)指南從代碼下載到服務上線的一次性走通【免費下載鏈接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.項目地址: https://gitcode.com/GitHub_Trending/mo/modelscopeModelScope是一個把模型即服務理念落到實處的開源平臺。將它完成本地部署后模型權重與推理過程全部留在你自己的機器上數(shù)據(jù)不離開內(nèi)網(wǎng)即使完全斷網(wǎng)也能持續(xù)運行。本文以第5分鐘、第30分鐘、第1天的推進節(jié)奏帶你從拉取代碼一路走到穩(wěn)定服務。第5分鐘先讓模型跑在你的機器上部署前先做一次軟硬件體檢這部分解決裝到一半才發(fā)現(xiàn)環(huán)境不滿足的問題。檢查項最低要求推薦配置操作系統(tǒng)Windows 10 64位 / Ubuntu 18.04Ubuntu 20.04 或 Windows 11內(nèi)存8GB16GB及以上磁盤20GB50GB SSDCPU雙核四核及以上GPU不需要NVIDIA顯卡4GB以上顯存支持CUDA用下面四條命令確認基礎工具是否齊全python --version # 版本需在 3.7 ~ 3.11 之間 pip --version # Python 包管理工具 git --version # 版本控制工具 nvidia-smi # 有NVIDIA顯卡時執(zhí)行驗證驅動如果缺少 python3、pip 或 gitUbuntu/Debian 執(zhí)行sudo apt install -y python3 python3-pip gitCentOS/RHEL 把包管理器換成yum即可。拉取代碼并創(chuàng)建隔離環(huán)境這部分解決依賴沖突污染現(xiàn)有Python環(huán)境的問題。git clone https://gitcode.com/GitHub_Trending/mo/modelscope.git cd modelscope python -m venv modelscope-env source modelscope-env/bin/activate # Linux / macOS # Windows 下改用modelscope-env\Scripts\activate之后的安裝與運行命令都建議在這個虛擬環(huán)境中執(zhí)行。按業(yè)務領域選擇安裝范圍這部分解決全量安裝太慢、太占空間的問題。先安裝核心框架pip install .再按實際任務補裝擴展業(yè)務方向安裝命令覆蓋能力計算機視覺pip install .[cv]圖像處理、目標檢測等自然語言處理pip install .[nlp]文本分類、翻譯、對話音頻處理pip install .[audio]語音識別、語音合成多模態(tài)pip install .[multi-modal]圖文理解、跨模態(tài)檢索 提示先只裝基礎框架跑通流程再按需求逐步補齊領域模塊能省下不少等待時間。用一段小腳本確認安裝成果這部分解決裝完不知道成沒成功的問題。新建 test_installation.pyimport modelscope print(fModelScope版本: {modelscope.__version__}) from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks try: clf pipeline( Tasks.text_classification, modeldamo/nlp_structbert_sentiment-analysis_chinese-base, ) print(clf(本地部署驗證通過)) print(環(huán)境驗證成功) except Exception as e: print(f環(huán)境驗證失敗: {e})運行python test_installation.py看到輸出即表示安裝可用。第30分鐘按硬件條件把推理調到最優(yōu)確認CUDA是否被正確識別這部分解決明明有GPU卻沒用上的困惑import torch print(torch.cuda.is_available()) # True 表示 CUDA 可用 print(torch.cuda.device_count()) # GPU 數(shù)量 print(torch.cuda.get_device_name(0))內(nèi)存吃緊時的三個降載技巧這部分解決顯存或內(nèi)存不足的常見報錯強制CPU運行pipeline 中傳入devicecpu內(nèi)存占用最低收窄批大小設置batch_size1再按內(nèi)存余量逐步上調換輕量模型優(yōu)先選擇名稱帶-small、-tiny、-lite后綴的版本。提升吞吐的兩組設置這部分解決單條推理夠快、批量處理變慢的問題# 半精度推理需要GPU支持 pipeline(Tasks.text_classification, model模型ID, precisionfp16) # 開啟緩存并控制線程數(shù) import torch torch.set_num_threads(4) # 按CPU核心數(shù)調整?? 注意fp16 在純CPU環(huán)境下不要啟用反而會拖慢速度。第1天從個人試驗走向可復用的服務完整示例人像卡通化的輸入與輸出這部分解決有沒有一個能直接跑的完整任務的疑問from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks import cv2 cartoonizer pipeline( Tasks.image_portrait_stylization, modeldamo/cv_unet_person-image-cartoon_compound-models, ) img cv2.imread(input.jpg) result cartoonizer(img) cv2.imwrite(output_cartoon.jpg, result[output_img])同類圖像任務管道都可以在 modelscope/pipelines/cv/ 目錄下找到對應實現(xiàn)改動輸入輸出即可套用。緩存管理與離線包分發(fā)這部分解決斷網(wǎng)機房怎么部署、模型重復下載太慢的問題默認緩存目錄為~/.cache/modelscope/hub可用du -sh查看體積想換位置就設置export MODELSCOPE_CACHE/your/path離線分發(fā)時在一臺聯(lián)網(wǎng)機器上先跑一次推理把模型下載完整再把整個緩存目錄拷貝到內(nèi)網(wǎng)機器之后無需外網(wǎng)也能正常加載。多版本與團隊協(xié)作這部分解決多人協(xié)作、版本混亂的問題用 requirements 文件固定各領域依賴版本避免出現(xiàn)我機器上能跑代碼隨倉庫走 git 分支或 tag模型版本記錄在配置文件中需要復現(xiàn)環(huán)境時使用 docker/ 目錄里的 Dockerfile 與構建腳本一條命令生成與線上一致的容器鏡像。高頻問題速查這部分解決報錯時快速定位的需求報錯現(xiàn)象推薦處置Failed building wheel for xxx安裝編譯工具build-essential python3-dev或pip install modelscope --no-deps做最小化安裝CUDA out of memory調小 batch_size、開啟 fp16、換輕量模型模型下載速度慢執(zhí)行export MODELSCOPE_ENVIRONMENTcn切換國內(nèi)鏡像需要升級版本倉庫內(nèi)執(zhí)行git pull后運行pip install . --upgrade想用容器化部署參考 docker/ 目錄的 Dockerfile 與 install.sh 腳本繼續(xù)深入文檔與源碼閱讀路線官方文檔docs/source/ 目錄含 API 說明api/、命令行用法command.md、二次開發(fā)指南develop.md示例代碼examples/pytorch/ 按任務分類覆蓋圖像、語音、文本生成等多個方向管道實現(xiàn)modelscope/pipelines/ 下按 cv、nlp、audio、multi_modal 分目錄組織方便對照閱讀測試用例tests/ 中上千個用例是學習正確調用方式的最佳范本。到這一步你已經(jīng)從裝得上走到了用得好。下一步挑一個你業(yè)務里最常見的任務把本文的驗證腳本換成真實數(shù)據(jù)跑一遍——你的ModelScope本地部署之路就從這條命令開始?！久赓M下載鏈接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.項目地址: https://gitcode.com/GitHub_Trending/mo/modelscope創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 ModelScope本地部署完整實戰(zhàn)指南：從代碼下載到服務上線的一次性走通
ModelScope本地部署完整實戰(zhàn)指南從代碼下載到服務上線的一次性走通【免費下載鏈接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.項目地址: https://gitcode.com/GitHub_Trending/mo/modelscopeModelScope是一個把模型即服務理念落到實處的開源平臺。將它完成本地部署后模型權重與推理過程全部留在你自己的機器上數(shù)據(jù)不離開內(nèi)網(wǎng)即使完全斷網(wǎng)也能持續(xù)運行。本文以第5分鐘、第30分鐘、第1天的推進節(jié)奏帶你從拉取代碼一路走到穩(wěn)定服務。第5分鐘先讓模型跑在你的機器上部署前先做一次軟硬件體檢這部分解決裝到一半才發(fā)現(xiàn)環(huán)境不滿足的問題。檢查項最低要求推薦配置操作系統(tǒng)Windows 10 64位 / Ubuntu 18.04Ubuntu 20.04 或 Windows 11內(nèi)存8GB16GB及以上磁盤20GB50GB SSDCPU雙核四核及以上GPU不需要NVIDIA顯卡4GB以上顯存支持CUDA用下面四條命令確認基礎工具是否齊全python --version # 版本需在 3.7 ~ 3.11 之間 pip --version # Python 包管理工具 git --version # 版本控制工具 nvidia-smi # 有NVIDIA顯卡時執(zhí)行驗證驅動如果缺少 python3、pip 或 gitUbuntu/Debian 執(zhí)行sudo apt install -y python3 python3-pip gitCentOS/RHEL 把包管理器換成yum即可。拉取代碼并創(chuàng)建隔離環(huán)境這部分解決依賴沖突污染現(xiàn)有Python環(huán)境的問題。git clone https://gitcode.com/GitHub_Trending/mo/modelscope.git cd modelscope python -m venv modelscope-env source modelscope-env/bin/activate # Linux / macOS # Windows 下改用modelscope-env\Scripts\activate之后的安裝與運行命令都建議在這個虛擬環(huán)境中執(zhí)行。按業(yè)務領域選擇安裝范圍這部分解決全量安裝太慢、太占空間的問題。先安裝核心框架pip install .再按實際任務補裝擴展業(yè)務方向安裝命令覆蓋能力計算機視覺pip install .[cv]圖像處理、目標檢測等自然語言處理pip install .[nlp]文本分類、翻譯、對話音頻處理pip install .[audio]語音識別、語音合成多模態(tài)pip install .[multi-modal]圖文理解、跨模態(tài)檢索 提示先只裝基礎框架跑通流程再按需求逐步補齊領域模塊能省下不少等待時間。用一段小腳本確認安裝成果這部分解決裝完不知道成沒成功的問題。新建 test_installation.pyimport modelscope print(fModelScope版本: {modelscope.__version__}) from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks try: clf pipeline( Tasks.text_classification, modeldamo/nlp_structbert_sentiment-analysis_chinese-base, ) print(clf(本地部署驗證通過)) print(環(huán)境驗證成功) except Exception as e: print(f環(huán)境驗證失敗: {e})運行python test_installation.py看到輸出即表示安裝可用。第30分鐘按硬件條件把推理調到最優(yōu)確認CUDA是否被正確識別這部分解決明明有GPU卻沒用上的困惑import torch print(torch.cuda.is_available()) # True 表示 CUDA 可用 print(torch.cuda.device_count()) # GPU 數(shù)量 print(torch.cuda.get_device_name(0))內(nèi)存吃緊時的三個降載技巧這部分解決顯存或內(nèi)存不足的常見報錯強制CPU運行pipeline 中傳入devicecpu內(nèi)存占用最低收窄批大小設置batch_size1再按內(nèi)存余量逐步上調換輕量模型優(yōu)先選擇名稱帶-small、-tiny、-lite后綴的版本。提升吞吐的兩組設置這部分解決單條推理夠快、批量處理變慢的問題# 半精度推理需要GPU支持 pipeline(Tasks.text_classification, model模型ID, precisionfp16) # 開啟緩存并控制線程數(shù) import torch torch.set_num_threads(4) # 按CPU核心數(shù)調整?? 注意fp16 在純CPU環(huán)境下不要啟用反而會拖慢速度。第1天從個人試驗走向可復用的服務完整示例人像卡通化的輸入與輸出這部分解決有沒有一個能直接跑的完整任務的疑問from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks import cv2 cartoonizer pipeline( Tasks.image_portrait_stylization, modeldamo/cv_unet_person-image-cartoon_compound-models, ) img cv2.imread(input.jpg) result cartoonizer(img) cv2.imwrite(output_cartoon.jpg, result[output_img])同類圖像任務管道都可以在 modelscope/pipelines/cv/ 目錄下找到對應實現(xiàn)改動輸入輸出即可套用。緩存管理與離線包分發(fā)這部分解決斷網(wǎng)機房怎么部署、模型重復下載太慢的問題默認緩存目錄為~/.cache/modelscope/hub可用du -sh查看體積想換位置就設置export MODELSCOPE_CACHE/your/path離線分發(fā)時在一臺聯(lián)網(wǎng)機器上先跑一次推理把模型下載完整再把整個緩存目錄拷貝到內(nèi)網(wǎng)機器之后無需外網(wǎng)也能正常加載。多版本與團隊協(xié)作這部分解決多人協(xié)作、版本混亂的問題用 requirements 文件固定各領域依賴版本避免出現(xiàn)我機器上能跑代碼隨倉庫走 git 分支或 tag模型版本記錄在配置文件中需要復現(xiàn)環(huán)境時使用 docker/ 目錄里的 Dockerfile 與構建腳本一條命令生成與線上一致的容器鏡像。高頻問題速查這部分解決報錯時快速定位的需求報錯現(xiàn)象推薦處置Failed building wheel for xxx安裝編譯工具build-essential python3-dev或pip install modelscope --no-deps做最小化安裝CUDA out of memory調小 batch_size、開啟 fp16、換輕量模型模型下載速度慢執(zhí)行export MODELSCOPE_ENVIRONMENTcn切換國內(nèi)鏡像需要升級版本倉庫內(nèi)執(zhí)行git pull后運行pip install . --upgrade想用容器化部署參考 docker/ 目錄的 Dockerfile 與 install.sh 腳本繼續(xù)深入文檔與源碼閱讀路線官方文檔docs/source/ 目錄含 API 說明api/、命令行用法command.md、二次開發(fā)指南develop.md示例代碼examples/pytorch/ 按任務分類覆蓋圖像、語音、文本生成等多個方向管道實現(xiàn)modelscope/pipelines/ 下按 cv、nlp、audio、multi_modal 分目錄組織方便對照閱讀測試用例tests/ 中上千個用例是學習正確調用方式的最佳范本。到這一步你已經(jīng)從裝得上走到了用得好。下一步挑一個你業(yè)務里最常見的任務把本文的驗證腳本換成真實數(shù)據(jù)跑一遍——你的ModelScope本地部署之路就從這條命令開始?！久赓M下載鏈接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.項目地址: https://gitcode.com/GitHub_Trending/mo/modelscope創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考