【免費(fèi)下載鏈接】CrispASRC ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more項(xiàng)目地址https://gitcode.com/gh_mirrors/cr/CrispASR點(diǎn)擊查看免費(fèi)下載CrispASR 是一個(gè) C 的 ggml 運(yùn)行時(shí)框架除了語(yǔ)音識(shí)別ASR之外還內(nèi)置了一整套文本翻譯與后處理引擎支持 m2m100 和 MarianMTOpus-MT機(jī)器翻譯、標(biāo)點(diǎn)符號(hào)恢復(fù)punctuation restoration以及真值大寫(xiě)truecasing自動(dòng)還原文本的正確大小寫(xiě)。無(wú)論你想把德語(yǔ)會(huì)議錄音實(shí)時(shí)翻譯成英文還是把沒(méi)有標(biāo)點(diǎn)、全小寫(xiě)的識(shí)別結(jié)果整理成規(guī)范文本都可以在這一個(gè)工具里完成。三大后處理能力速覽CrispASR 的翻譯與后處理由三個(gè)獨(dú)立模塊組成可以單獨(dú)使用也可以組合成完整流水線能力引擎輸入 → 輸出典型用途 機(jī)器翻譯m2m100 / MarianMT(Opus-MT) / WMT21 / MADLAD-400任意語(yǔ)言文本 → 目標(biāo)語(yǔ)言文本跨語(yǔ)言轉(zhuǎn)錄、實(shí)時(shí)同傳?? 標(biāo)點(diǎn)恢復(fù)FireRedPunc / Fullstop / Punctuate-all / PCS無(wú)標(biāo)點(diǎn)文本 → 帶標(biāo)點(diǎn)的句子清理 ASR 原始輸出 真值大寫(xiě)TruecaserLSTM / CRF 兩種全小寫(xiě)文本 → 正確大小寫(xiě)德語(yǔ)專(zhuān)有名詞、句首大寫(xiě) 小提示這三個(gè)能力在源碼中分別位于 src/m2m100.cpp、crisp_punc/ 和 crisp_truecase/ 目錄下都是 GGUF 模型驅(qū)動(dòng)一次加載、反復(fù)調(diào)用?？焖偕鲜謒2m100 文本到文本翻譯m2m100 是最通用的翻譯后端一個(gè)模型支持100 種語(yǔ)言任意互譯。核心用法只需要四個(gè)參數(shù)--backend、--text、-sl源語(yǔ)言、-tl目標(biāo)語(yǔ)言# 英文 → 德文模型自動(dòng)下載約 502 MB Q8_0 ./build/bin/crispasr --backend m2m100 -m auto \ --text Hello world, how are you today? \ -sl en -tl de # → Hallo Welt, wie bist du heute?翻譯引擎的核心 API 只有幾個(gè)函數(shù)加載模型m2m100_init_from_file、執(zhí)行翻譯m2m100_translate接口定義見(jiàn) src/m2m100.h。如何選擇源/目標(biāo)語(yǔ)言-sl/-tl使用ISO-639-1 語(yǔ)言代碼en、de、fr、ja…想支持哪些語(yǔ)言運(yùn)行時(shí)可以查詢(xún)m2m100_n_languages()返回?cái)?shù)量m2m100_language()逐個(gè)取出默認(rèn) beam size 為 5與模型倉(cāng)庫(kù)的 generation_config 一致設(shè)置--beam-size 1即為貪心解碼速度最快MarianMT / Opus-MT輕量單語(yǔ)對(duì)翻譯器如果你只需要某一個(gè)固定方向的翻譯MarianMT別名 Opus-MT是更輕量的選擇架構(gòu)MarianMT 6 層 encoder 6 層 decoder參數(shù)量約 75MQ8_0 量化后僅84 MB覆蓋 24 個(gè)方向德英、法德、法英、阿德、阿英、意德、意英、西德、西英、希伯來(lái)語(yǔ)、土耳其語(yǔ)等官方文檔說(shuō)明見(jiàn) docs/cli.md 的「Text-to-text translate」一節(jié)# 德文 → 英文單語(yǔ)對(duì)模型-sl/-tl 必須匹配模型自帶方向 ./build/bin/crispasr --backend marian -m auto \ --text Die Konferenz findet am 3. Oktober in Berlin statt. \ -sl de -tl en?? 單語(yǔ)對(duì)模型每個(gè) checkpoint 只認(rèn)一個(gè)方向請(qǐng)求其他方向時(shí)會(huì)給出警告并忽略。MarianMT 的 GGUF 由 models/convert-marian-to-gguf.py 轉(zhuǎn)換生成與 m2m100 共享同一套運(yùn)行時(shí)post-norm 層、Marian 位置編碼、SentencePiece 分詞器均由 GGUF 元數(shù)據(jù)自動(dòng)選擇。四大翻譯后端怎么選后端模型語(yǔ)言覆蓋特點(diǎn)m2m100m2m100_418M100 種任意互譯通用首選生產(chǎn)就緒m2m100-wmt21wmt21-dense-24-wide英語(yǔ) ? 7 種語(yǔ)言更寬更深24L單向需兩個(gè) checkpointmarianopus-mt-*24 個(gè)固定方向最小最快~84 MBmadladmadlad400-3b-mt419 種語(yǔ)言T5 架構(gòu)長(zhǎng)尾語(yǔ)言覆蓋最廣標(biāo)點(diǎn)恢復(fù)讓 ASR 輸出說(shuō)人話很多 ASR 模型包括 CrispASR 支持的大部分后端輸出的是不帶標(biāo)點(diǎn)的連續(xù)文本。--punc-model參數(shù)可以掛一個(gè)標(biāo)點(diǎn)恢復(fù)模型逐段修復(fù)crispasr -m auto -f meeting.wav --punc-model auto別名到具體模型的映射規(guī)則定義在 src/crispasr_punc_model.hCLI、HTTP 服務(wù)器、C-ABI 三層共用同一套解析保證行為一致參數(shù)值模型語(yǔ)言說(shuō)明auto/fireredFireRedPuncBERT中、英默認(rèn)選項(xiàng)中文場(chǎng)景首選fullstopFullstop Punctuation MultilangXLM-R英、德、法、意多語(yǔ)言句末標(biāo)點(diǎn)punctuate-allPunctuate-allXLM-R13 種歐洲語(yǔ)言覆蓋最廣的歐洲語(yǔ)系pcsPCSXLM-R多語(yǔ)言一次完成標(biāo)點(diǎn) 大寫(xiě) 分句自定義路徑任意 GGUF—指向本地.gguf文件模型說(shuō)明文檔可參考 hf_readmes/fireredpunc-GGUF.md、hf_readmes/fullstop-punc-multilang-GGUF.md 和 hf_readmes/punctuate-all-GGUF.md。兩個(gè)工程細(xì)節(jié)值得知道--punc-model支持首次使用自動(dòng)下載解析出 URL 后走緩存機(jī)制不需要手動(dòng)管理模型文件與--strict-pipeline搭配strict 模式下你顯式聲明的標(biāo)點(diǎn)階段如果加載失敗會(huì)直接報(bào)錯(cuò)而不是靜默跳過(guò) 想徹底關(guān)掉標(biāo)點(diǎn)用--no-punctuation。對(duì) canary/cohere 這類(lèi)原生帶標(biāo)點(diǎn)的后端這會(huì)關(guān)閉其內(nèi)置標(biāo)點(diǎn)對(duì)其他后端則跳過(guò)全部后處理。真值大寫(xiě)Truecasing自動(dòng)還原正確大小寫(xiě)全小寫(xiě)的文本讀起來(lái)像機(jī)器人寫(xiě)的——句首該大寫(xiě)的沒(méi)大寫(xiě)德語(yǔ)名詞首字母也全錯(cuò)了。--truecase-model掛一個(gè)統(tǒng)計(jì)型 Truecaser 模型即可修復(fù)# auto 德語(yǔ)模型也可以傳本地 .bin 路徑 crispasr -m auto -f talk.wav --truecase-model autoTruecaser 有兩套實(shí)現(xiàn)接口都在 crisp_truecase/ 目錄LSTM 版crisp_truecase/src/truecaser_lstm.cpp經(jīng)典統(tǒng)計(jì)模型加載.bin格式CRF 版crisp_truecase/src/truecaser_crf.cpp條件隨機(jī)場(chǎng)模型對(duì)上下文依賴(lài)更強(qiáng)的語(yǔ)言效果更好C API 層面各暴露了init / process / free三個(gè)函數(shù)如truecaser_process見(jiàn) src/truecaser.hGo、Rust、Java 等語(yǔ)言綁定都可以直接調(diào)用。模型轉(zhuǎn)換腳本為 models/convert-lstm-truecaser-to-bin.py。組合拳實(shí)時(shí)邊說(shuō)邊翻譯把識(shí)別器 文本翻譯器組合起來(lái)--live-translate實(shí)現(xiàn)了逐句實(shí)時(shí)翻譯識(shí)別器每提交一句翻譯器立刻翻好輸出# 麥克風(fēng)輸入德語(yǔ)說(shuō)話 → 英文逐句輸出 crispasr --live-translate -l de --tr-tl en \ -m auto --backend parakeet --translate-model hy-mt2常用組合參數(shù)參數(shù)作用--translate-model選翻譯器autom2m100-418Mopus-mt-de-en最快hy-mt2LLM--translate-backend指定引擎類(lèi)型m2m100/marian/madlad/llm--translate-beambeam 寬度默認(rèn) 1貪心beam 4 精度更高但慢約 9 倍--translate-revise慢速精翻通道整段完成后用 LLM 重譯一遍替換快速譯文--no-translate-drafts只翻譯已定稿的句子不翻正在說(shuō)的半句完整參數(shù)表見(jiàn) docs/cli.md 的「Live transcribe translate」章節(jié)機(jī)制細(xì)節(jié)見(jiàn) docs/streaming.md。后處理執(zhí)行順序與 API 入口如果你通過(guò) C API 集成需要知道標(biāo)點(diǎn)模型在分段合并之后、結(jié)果返回之前應(yīng)用CLI 與 API 的順序嚴(yán)格一致見(jiàn) src/crispasr_c_api.cpp 中apply_session_punc_model的調(diào)用位置音頻 → 識(shí)別器 → 分段合并(merge_segments) → 標(biāo)點(diǎn)恢復(fù)(--punc-model) → 真值大寫(xiě)(--truecase-model) → 輸出關(guān)鍵 API 一覽crispasr_session_translate_text(s, text, src_lang, tgt_lang, max_tokens)— 對(duì)任意文本執(zhí)行 m2m100/MarianMT 翻譯src/crispasr_c_api.cppcrispasr_punc_init(model)— 獨(dú)立加載標(biāo)點(diǎn)模型一次加載、對(duì)任意文本反復(fù)調(diào)用crispasr_session_set_translate(s, enable)— 切換 whisper 系后端的音頻側(cè)翻譯常見(jiàn)問(wèn)題 FAQQ1翻譯結(jié)果和 Hugging Face 參考不一致m2m100 的 en→de 已驗(yàn)證與 Python 參考逐 token 精確一致MarianMT F16 下 greedy 與 beam 4 均與 HF 完全一致Q8_0 量化下有極少量差異12/14 逐 token 匹配。量化版換一點(diǎn)精度換體積是合理取舍。Q2中文場(chǎng)景標(biāo)點(diǎn)用哪個(gè)模型用--punc-model auto即 FireRedPunc。它是 BERT 架構(gòu)中英雙語(yǔ)fullstop和punctuate-all面向歐洲語(yǔ)言。Q3--translate音頻側(cè)和--backend m2m100文本側(cè)有什么區(qū)別前者讓識(shí)別器本身直接輸出英文whisper/canary 等一條路徑后者是獨(dú)立的文本到文本翻譯可以對(duì)任意文本不一定是 ASR 輸出翻譯。Q4模型文件從哪來(lái)所有別名auto、firered、pcs等首次使用時(shí)自動(dòng)下載到緩存目錄也可以自行轉(zhuǎn)換轉(zhuǎn)換腳本集中在 models/ 目錄convert-m2m100-to-gguf.py、convert-marian-to-gguf.py、convert-fireredpunc-to-gguf.py等。小結(jié)CrispASR 的翻譯與后處理引擎把三件語(yǔ)音助手最后一公里的事做成了開(kāi)箱即用的 CLI 參數(shù)和 C API翻譯m2m100 百語(yǔ)通用、MarianMT 輕量單方向、WMT21 高質(zhì)量、MADLAD-400 超長(zhǎng)尾四選一標(biāo)點(diǎn)恢復(fù)--punc-model一個(gè)參數(shù)中文選 FireRedPunc歐洲語(yǔ)言選 fullstop / punctuate-all一步到位選 PCS真值大寫(xiě)--truecase-model還原句首和專(zhuān)有名詞大寫(xiě)配合--live-translate你還能把它們串成說(shuō)一句話、立刻看到另一語(yǔ)言的標(biāo)準(zhǔn)文本的實(shí)時(shí)流水線——這就是一個(gè) ggml 運(yùn)行時(shí)框架能做到的完整度。贊分享【免費(fèi)下載鏈接】CrispASRC ggml runtime hub for multilingual ASR and TTS models: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, etc, plus universal forced alignment, and more項(xiàng)目地址https://gitcode.com/gh_mirrors/cr/CrispASR點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Sonic vs 其他語(yǔ)音變速工具為什么它是開(kāi)源項(xiàng)目的最佳選擇Sonic vs 其他語(yǔ)音變速工具為什么它是開(kāi)源項(xiàng)目的最佳選擇 在數(shù)字音頻處理領(lǐng)域語(yǔ)音變速工具扮演著越來(lái)越重要的角色。無(wú)論是播客制作、語(yǔ)言學(xué)習(xí)還是無(wú)障礙輔助終極開(kāi)源翻譯引擎離線多語(yǔ)言翻譯完整指南終極開(kāi)源翻譯引擎離線多語(yǔ)言翻譯完整指南 Argos Translate是一個(gè)基于Python開(kāi)發(fā)的開(kāi)源離線翻譯引擎支持40多種語(yǔ)言互譯提供完全本地化的翻譯人工智能NLP本地部署CTranslate2高性能的機(jī)器翻譯引擎CTranslate2高性能的機(jī)器翻譯引擎 是一個(gè)開(kāi)源的、高效的神經(jīng)機(jī)器翻譯Neural Machine Translation, NMT庫(kù)由 Open推理引擎模型量化模型優(yōu)化NLP創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考