SadTalker上手指南一張人像加一段音頻生成會說話的人臉動畫【免費下載鏈接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation項目地址: https://gitcode.com/GitHub_Trending/sa/SadTalkerSadTalker 是 CVPR 2023 發(fā)表的人臉動畫工具只需一張人像圖片和一段音頻就能生成口型、表情與頭部動作同步的說話人臉視頻。下面是從環(huán)境搭建到跑通第一條視頻的完整本地路徑。能力速覽單張人像加音頻生成說話人臉視頻支持全身圖輸入保留原始姿態(tài)可從參考視頻借用眨眼與頭部動作GFPGAN 一鍵增強面部清晰度 最短路徑裝好依賴并跑出第一條視頻克隆倉庫并進入目錄git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker創(chuàng)建獨立的 Python 3.8 環(huán)境并依次安裝依賴。README 中釘死的是 torch 1.12.1 cu113如果你的顯卡需要別的 CUDA 版本按 README 換對應(yīng)版本即可conda create -n sadtalker python3.8 conda activate sadtalker pip install torch torchvision torchaudio conda install ffmpeg pip install -r requirements.txt接著下載全部預(yù)訓(xùn)練權(quán)重一條命令拿齊音頻到表情、音頻到姿態(tài)、256/512 兩檔渲染器以及 GFPGAN 權(quán)重并自動建好 checkpoints/ 與 gfpgan/ 目錄bash scripts/download_models.sh下載腳本用了斷點續(xù)傳重復(fù)執(zhí)行不會重復(fù)下載如果網(wǎng)絡(luò)環(huán)境下源站較慢可以按腳本里的清單手動取文件放到相同目錄。跑之前確認兩件事python -c import torch; print(torch.__version__)能打印版本ffmpeg -version不報錯——前者影響模型加載后者影響視頻合成。倉庫自帶中文新聞音頻和全身人像直接作為首次輸入組合python inference.py --driven_audio examples/driven_audio/chinese_news.wav --source_image examples/source_image/full_body_1.png --result_dir results流水線依次做三件事從圖片提取 3DMM 系數(shù)、音頻預(yù)測運動系數(shù)、渲染合成。成片在results/時間戳/時間戳.mp4。習(xí)慣點選界面的話Linux/Mac 跑webui.sh、Windows 雙擊webui.bat會啟動一個功能相近的 Gradio 演示。 用法配方三組輸入組合輸入組合關(guān)鍵參數(shù)產(chǎn)出效果近景人像 音頻默認自動裁臉表情與頭部動作豐富全身圖 音頻--still --preprocess full貼回原圖保留原始姿態(tài)頭部幾乎不動人像 音頻 參考視頻--ref_pose 視頻頭部動作借自參考視頻更自然--ref_eyeblink 視頻可單獨使用只借眨眼節(jié)奏任意配方加--enhancer gfpgan生成后再做面部增強examples/ 目錄里有多組人像與音頻樣本可自由組合完整參數(shù)說明見最佳實踐文檔。 高頻故障速查ffmpeg 不被識別單獨安裝 ffmpeg 并加入 PATHconda install ffmpeg或brew install ffmpeg即可解決。CUDA out of memory運行前設(shè)置export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128Windows 用set。FileNotFoundError / ModuleNotFoundError: No module named ai都是模型文件缺失或下載不完整重跑bash scripts/download_models.sh補齊。音頻解碼報錯只支持 wav 或 mp3 輸入其他格式先轉(zhuǎn)成 wav。更多疑難可以參考官方 FAQ。 延伸社區(qū)已將 SadTalker 做成 Stable Diffusion WebUI 擴展見 WebUI 文檔配合 GFPGAN 與 Real-ESRGAN它能擴展進一條完整的數(shù)字人口播視頻生產(chǎn)線?！久赓M下載鏈接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation項目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 SadTalker上手指南：一張人像加一段音頻生成會說話的人臉動畫
SadTalker上手指南一張人像加一段音頻生成會說話的人臉動畫【免費下載鏈接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation項目地址: https://gitcode.com/GitHub_Trending/sa/SadTalkerSadTalker 是 CVPR 2023 發(fā)表的人臉動畫工具只需一張人像圖片和一段音頻就能生成口型、表情與頭部動作同步的說話人臉視頻。下面是從環(huán)境搭建到跑通第一條視頻的完整本地路徑。能力速覽單張人像加音頻生成說話人臉視頻支持全身圖輸入保留原始姿態(tài)可從參考視頻借用眨眼與頭部動作GFPGAN 一鍵增強面部清晰度 最短路徑裝好依賴并跑出第一條視頻克隆倉庫并進入目錄git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker創(chuàng)建獨立的 Python 3.8 環(huán)境并依次安裝依賴。README 中釘死的是 torch 1.12.1 cu113如果你的顯卡需要別的 CUDA 版本按 README 換對應(yīng)版本即可conda create -n sadtalker python3.8 conda activate sadtalker pip install torch torchvision torchaudio conda install ffmpeg pip install -r requirements.txt接著下載全部預(yù)訓(xùn)練權(quán)重一條命令拿齊音頻到表情、音頻到姿態(tài)、256/512 兩檔渲染器以及 GFPGAN 權(quán)重并自動建好 checkpoints/ 與 gfpgan/ 目錄bash scripts/download_models.sh下載腳本用了斷點續(xù)傳重復(fù)執(zhí)行不會重復(fù)下載如果網(wǎng)絡(luò)環(huán)境下源站較慢可以按腳本里的清單手動取文件放到相同目錄。跑之前確認兩件事python -c import torch; print(torch.__version__)能打印版本ffmpeg -version不報錯——前者影響模型加載后者影響視頻合成。倉庫自帶中文新聞音頻和全身人像直接作為首次輸入組合python inference.py --driven_audio examples/driven_audio/chinese_news.wav --source_image examples/source_image/full_body_1.png --result_dir results流水線依次做三件事從圖片提取 3DMM 系數(shù)、音頻預(yù)測運動系數(shù)、渲染合成。成片在results/時間戳/時間戳.mp4。習(xí)慣點選界面的話Linux/Mac 跑webui.sh、Windows 雙擊webui.bat會啟動一個功能相近的 Gradio 演示。 用法配方三組輸入組合輸入組合關(guān)鍵參數(shù)產(chǎn)出效果近景人像 音頻默認自動裁臉表情與頭部動作豐富全身圖 音頻--still --preprocess full貼回原圖保留原始姿態(tài)頭部幾乎不動人像 音頻 參考視頻--ref_pose 視頻頭部動作借自參考視頻更自然--ref_eyeblink 視頻可單獨使用只借眨眼節(jié)奏任意配方加--enhancer gfpgan生成后再做面部增強examples/ 目錄里有多組人像與音頻樣本可自由組合完整參數(shù)說明見最佳實踐文檔。 高頻故障速查ffmpeg 不被識別單獨安裝 ffmpeg 并加入 PATHconda install ffmpeg或brew install ffmpeg即可解決。CUDA out of memory運行前設(shè)置export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128Windows 用set。FileNotFoundError / ModuleNotFoundError: No module named ai都是模型文件缺失或下載不完整重跑bash scripts/download_models.sh補齊。音頻解碼報錯只支持 wav 或 mp3 輸入其他格式先轉(zhuǎn)成 wav。更多疑難可以參考官方 FAQ。 延伸社區(qū)已將 SadTalker 做成 Stable Diffusion WebUI 擴展見 WebUI 文檔配合 GFPGAN 與 Real-ESRGAN它能擴展進一條完整的數(shù)字人口播視頻生產(chǎn)線?！久赓M下載鏈接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation項目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考