Clef-Flash 如何把 logits 變成概率Prior 余弦相似度、Joint Logits 與殘差門控三項融合完整源碼分析【免費下載鏈接】clef-flash項目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flashClef-Flash 是 Cloudflare 開源的 9B 多模態(tài)決策模型它讀入一段狀態(tài)文本、JSON、圖片或視頻和一組帶選項的問題在一次前向傳播內(nèi)為每個問題的每個允許選項輸出一個 logit再對每個問題單獨做 softmax就得到所有選項的概率。沒有自由文本生成也沒有輸出解析。本文帶你用源碼視角搞清楚這三個 logit 從哪里來又是如何被 Prior 余弦相似度、Joint Logits 和殘差門控融合成最終概率的。一、先看懂 Clef-Flash一次前向每題每個選項一個 logit普通的語言模型是一個 token 一個 token 地吐字Clef-Flash 的思路完全不同——README.md 里給出的輸出定義非常直白Output:one logit per allowed option for each question. Apply a softmax per question to get probabilities.也就是說模型內(nèi)部被拆成兩個部分組件對應(yīng)文件作用骨干網(wǎng)絡(luò)含視覺編碼器model-00001-of-00004.safetensors 等 4 個分片、config.json把輸入讀成隱藏狀態(tài)Joint Schema 頭joint_head.safetensors、joint_head_config.json把隱藏狀態(tài)變成每題每選項的 logits頭部的超參數(shù)在 joint_head_config.json 中一目了然主干隱藏維度 4096頭內(nèi)部降到 1024 寬2 層證據(jù)路由 4 層 Transformer 解碼16 個注意力頭。全部核心邏輯集中在 joint_schema_model.py 的JointSchemaHead類里。二、logits 的總賬prior 門控 × joint在深入三個部件之前先看最終拼裝公式。joint_schema_model.py#L455-L457 只有兩行代碼卻是全文的總賬logit prior sigmoid(residual_gate) * jointprior余弦相似度先驗來自選項詞向量與問題錨點的直接匹配joint聯(lián)合打分來自證據(jù)路由后的選項向量與字段向量的相似度 一個 MLP 殘差項residual_gate一個可學(xué)習(xí)的標(biāo)量參數(shù)joint_schema_model.py#L337初始化時sigmoid(0) 0.5決定 joint 部分以多大的音量參與最終 logit。訓(xùn)練完成后每個選項的 logit 就是這三者的融合結(jié)果對同一問題的所有選項做 softmax概率就出來了。下面逐個拆解。三、Prior 余弦相似度用選項自己的詞向量直接打分第一路信號叫Priorjoint_schema_model.py#L433-L439。它的直覺很簡單答案往往就藏在題目里。發(fā)票是否逾期這類問題正確答案的選項文本與問題文本在語義空間里天然靠近所以可以先用一次余弦相似度打底。具體做法分三步構(gòu)建錨點anchor把該問題的隱藏狀態(tài)均值question_vector與序列最后一個 token 的全局向量global_vector相加并歸一化得到這個方向的參考軸L433-L436提取選項詞向量lexical對每個選項的原始 token直接取骨干網(wǎng)絡(luò)輸出嵌入表中對應(yīng) token 的向量并取平均L379-L383再歸一化得到lexical_anchor相似度 × 可學(xué)習(xí)溫度prior prior_scale * (lexical_anchor · anchor)其中prior_scale exp(clamp(prior_logit_scale, maxlog100))——一個上界 100 倍的可學(xué)習(xí)縮放防止先驗項失控。 注意這里的prior_logit_scale、joint_logit_scale、residual_gate三個標(biāo)量參數(shù)L335-L337都在 joint_head.safetensors 里被訓(xùn)練出來是模型自己學(xué)會分配信任的旋鈕。四、Joint Logits證據(jù)路由 字段向量的聯(lián)合打分第二路信號Jointjoint_schema_model.py#L440-L454承擔(dān)理解的角色比余弦先驗重得多分兩條線索匯合1?? 選項向量被證據(jù)路由加工每個選項先用三類信息拼成查詢向量選項所在文本段的隱藏狀態(tài)、選項詞向量、所屬問題的向量L388-L398。然后所有選項一起穿過 2 層EvidenceRoutingLayerL242-L278——這是一種交叉注意力結(jié)構(gòu)選項作為 query去翻閱整條輸入序列的 memory骨干的全部隱藏狀態(tài)相當(dāng)于讓每個選項把狀態(tài)里與己相關(guān)的證據(jù)摘出來。2?? 字段向量field融合全局信息問題向量、各選項的路由摘要按相似度 softmax 加權(quán)、全局向量、問題類型嵌入noul/choice/score相加L415-L420再經(jīng) 4 層 Transformer 解碼層繼續(xù)從 memory 中取材得到最終的field向量。3?? 相似度 殘差項joint joint_scale * cosine(field, option) residualcosine是字段向量與選項向量的余弦相似度residual則由一個 MLPresidual_scorer計算——它的輸入是把 field 與 option 四種特征拼接原始、逐元素乘積、絕對差L443-L452專門用來捕捉余弦相似度表達不了的細微差異。joint_scale同樣是上界 100 的可學(xué)習(xí)溫度L453。五、殘差門控讓模型自己決定聽誰的把前兩路合起來的 joint_schema_model.py#L455-L457 就是文章標(biāo)題里的殘差門控logit prior sigmoid(residual_gate) * joint這是一個很克制的設(shè)計prior 永遠全額生效相當(dāng)于保底——即使訓(xùn)練不充分模型至少具備題目里找答案的能力joint 通過 sigmoid 門控進入門控值是訓(xùn)練出來的如果數(shù)據(jù)支持更強的聯(lián)合推理訓(xùn)練會把它推向 1讓復(fù)雜打分占主導(dǎo)門控初值 0 使訓(xùn)練起點穩(wěn)定在先驗 一半聯(lián)合的折中位置?？梢园阉斫獬蓺埐顚W(xué)習(xí)的思想把強模型joint當(dāng)作在先驗prior基礎(chǔ)上的殘差修正量再用門控控制修正幅度。六、從 logits 到概率對每個問題單獨 softmax最后的轉(zhuǎn)換發(fā)生在推理層而不是模型內(nèi)部。以 SystemOne 接口為例joint_schema_model.py#L564-L571probabilities question_logits.float().softmax(-1).tolist()每個問題獨立歸一化softmax 只作用在同一問題的選項組內(nèi)-1維所以狀態(tài)是 paid 還是 overdue的概率加起來為 1不同問題之間互不干擾隨后systemone_answer把概率翻譯成業(yè)務(wù)答案noul題返回 true 的概率choice題返回概率最高的選項及置信度score題則對分數(shù)做期望值概率加權(quán)求和。這也解釋了為什么 Clef-Flash 的輸出可以直接用于下游風(fēng)控或路由概率是結(jié)構(gòu)化的、可比較的而不是需要二次解析的文本。七、關(guān)鍵文件速查 內(nèi)容文件三項融合與 softmax 全部源碼joint_schema_model.py頭部超參數(shù)2 路由層 4 解碼層joint_head_config.json頭部權(quán)重含三個門控/溫度標(biāo)量joint_head.safetensors骨干網(wǎng)絡(luò)Qwen3.5-9B 分片權(quán)重model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors、model.safetensors.index.json骨干配置4096 隱藏維度等config.json分詞器與圖像/視頻處理器tokenizer.json、processor_config.json、chat_template.jinja一句話總結(jié)Clef-Flash 的 logit 余弦先驗題目詞向量打地基 sigmoid 門控 × 聯(lián)合打分證據(jù)路由后的深度理解每問題 softmax 后即為最終概率——三條線一次前向零文本生成?！久赓M下載鏈接】clef-flash項目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flash創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Clef-Flash 如何把 logits 變成概率？Prior 余弦相似度、Joint Logits 與殘差門控三項融合完整源碼分析
Clef-Flash 如何把 logits 變成概率Prior 余弦相似度、Joint Logits 與殘差門控三項融合完整源碼分析【免費下載鏈接】clef-flash項目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flashClef-Flash 是 Cloudflare 開源的 9B 多模態(tài)決策模型它讀入一段狀態(tài)文本、JSON、圖片或視頻和一組帶選項的問題在一次前向傳播內(nèi)為每個問題的每個允許選項輸出一個 logit再對每個問題單獨做 softmax就得到所有選項的概率。沒有自由文本生成也沒有輸出解析。本文帶你用源碼視角搞清楚這三個 logit 從哪里來又是如何被 Prior 余弦相似度、Joint Logits 和殘差門控融合成最終概率的。一、先看懂 Clef-Flash一次前向每題每個選項一個 logit普通的語言模型是一個 token 一個 token 地吐字Clef-Flash 的思路完全不同——README.md 里給出的輸出定義非常直白Output:one logit per allowed option for each question. Apply a softmax per question to get probabilities.也就是說模型內(nèi)部被拆成兩個部分組件對應(yīng)文件作用骨干網(wǎng)絡(luò)含視覺編碼器model-00001-of-00004.safetensors 等 4 個分片、config.json把輸入讀成隱藏狀態(tài)Joint Schema 頭joint_head.safetensors、joint_head_config.json把隱藏狀態(tài)變成每題每選項的 logits頭部的超參數(shù)在 joint_head_config.json 中一目了然主干隱藏維度 4096頭內(nèi)部降到 1024 寬2 層證據(jù)路由 4 層 Transformer 解碼16 個注意力頭。全部核心邏輯集中在 joint_schema_model.py 的JointSchemaHead類里。二、logits 的總賬prior 門控 × joint在深入三個部件之前先看最終拼裝公式。joint_schema_model.py#L455-L457 只有兩行代碼卻是全文的總賬logit prior sigmoid(residual_gate) * jointprior余弦相似度先驗來自選項詞向量與問題錨點的直接匹配joint聯(lián)合打分來自證據(jù)路由后的選項向量與字段向量的相似度 一個 MLP 殘差項residual_gate一個可學(xué)習(xí)的標(biāo)量參數(shù)joint_schema_model.py#L337初始化時sigmoid(0) 0.5決定 joint 部分以多大的音量參與最終 logit。訓(xùn)練完成后每個選項的 logit 就是這三者的融合結(jié)果對同一問題的所有選項做 softmax概率就出來了。下面逐個拆解。三、Prior 余弦相似度用選項自己的詞向量直接打分第一路信號叫Priorjoint_schema_model.py#L433-L439。它的直覺很簡單答案往往就藏在題目里。發(fā)票是否逾期這類問題正確答案的選項文本與問題文本在語義空間里天然靠近所以可以先用一次余弦相似度打底。具體做法分三步構(gòu)建錨點anchor把該問題的隱藏狀態(tài)均值question_vector與序列最后一個 token 的全局向量global_vector相加并歸一化得到這個方向的參考軸L433-L436提取選項詞向量lexical對每個選項的原始 token直接取骨干網(wǎng)絡(luò)輸出嵌入表中對應(yīng) token 的向量并取平均L379-L383再歸一化得到lexical_anchor相似度 × 可學(xué)習(xí)溫度prior prior_scale * (lexical_anchor · anchor)其中prior_scale exp(clamp(prior_logit_scale, maxlog100))——一個上界 100 倍的可學(xué)習(xí)縮放防止先驗項失控。 注意這里的prior_logit_scale、joint_logit_scale、residual_gate三個標(biāo)量參數(shù)L335-L337都在 joint_head.safetensors 里被訓(xùn)練出來是模型自己學(xué)會分配信任的旋鈕。四、Joint Logits證據(jù)路由 字段向量的聯(lián)合打分第二路信號Jointjoint_schema_model.py#L440-L454承擔(dān)理解的角色比余弦先驗重得多分兩條線索匯合1?? 選項向量被證據(jù)路由加工每個選項先用三類信息拼成查詢向量選項所在文本段的隱藏狀態(tài)、選項詞向量、所屬問題的向量L388-L398。然后所有選項一起穿過 2 層EvidenceRoutingLayerL242-L278——這是一種交叉注意力結(jié)構(gòu)選項作為 query去翻閱整條輸入序列的 memory骨干的全部隱藏狀態(tài)相當(dāng)于讓每個選項把狀態(tài)里與己相關(guān)的證據(jù)摘出來。2?? 字段向量field融合全局信息問題向量、各選項的路由摘要按相似度 softmax 加權(quán)、全局向量、問題類型嵌入noul/choice/score相加L415-L420再經(jīng) 4 層 Transformer 解碼層繼續(xù)從 memory 中取材得到最終的field向量。3?? 相似度 殘差項joint joint_scale * cosine(field, option) residualcosine是字段向量與選項向量的余弦相似度residual則由一個 MLPresidual_scorer計算——它的輸入是把 field 與 option 四種特征拼接原始、逐元素乘積、絕對差L443-L452專門用來捕捉余弦相似度表達不了的細微差異。joint_scale同樣是上界 100 的可學(xué)習(xí)溫度L453。五、殘差門控讓模型自己決定聽誰的把前兩路合起來的 joint_schema_model.py#L455-L457 就是文章標(biāo)題里的殘差門控logit prior sigmoid(residual_gate) * joint這是一個很克制的設(shè)計prior 永遠全額生效相當(dāng)于保底——即使訓(xùn)練不充分模型至少具備題目里找答案的能力joint 通過 sigmoid 門控進入門控值是訓(xùn)練出來的如果數(shù)據(jù)支持更強的聯(lián)合推理訓(xùn)練會把它推向 1讓復(fù)雜打分占主導(dǎo)門控初值 0 使訓(xùn)練起點穩(wěn)定在先驗 一半聯(lián)合的折中位置?？梢园阉斫獬蓺埐顚W(xué)習(xí)的思想把強模型joint當(dāng)作在先驗prior基礎(chǔ)上的殘差修正量再用門控控制修正幅度。六、從 logits 到概率對每個問題單獨 softmax最后的轉(zhuǎn)換發(fā)生在推理層而不是模型內(nèi)部。以 SystemOne 接口為例joint_schema_model.py#L564-L571probabilities question_logits.float().softmax(-1).tolist()每個問題獨立歸一化softmax 只作用在同一問題的選項組內(nèi)-1維所以狀態(tài)是 paid 還是 overdue的概率加起來為 1不同問題之間互不干擾隨后systemone_answer把概率翻譯成業(yè)務(wù)答案noul題返回 true 的概率choice題返回概率最高的選項及置信度score題則對分數(shù)做期望值概率加權(quán)求和。這也解釋了為什么 Clef-Flash 的輸出可以直接用于下游風(fēng)控或路由概率是結(jié)構(gòu)化的、可比較的而不是需要二次解析的文本。七、關(guān)鍵文件速查 內(nèi)容文件三項融合與 softmax 全部源碼joint_schema_model.py頭部超參數(shù)2 路由層 4 解碼層joint_head_config.json頭部權(quán)重含三個門控/溫度標(biāo)量joint_head.safetensors骨干網(wǎng)絡(luò)Qwen3.5-9B 分片權(quán)重model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors、model.safetensors.index.json骨干配置4096 隱藏維度等config.json分詞器與圖像/視頻處理器tokenizer.json、processor_config.json、chat_template.jinja一句話總結(jié)Clef-Flash 的 logit 余弦先驗題目詞向量打地基 sigmoid 門控 × 聯(lián)合打分證據(jù)路由后的深度理解每問題 softmax 后即為最終概率——三條線一次前向零文本生成?！久赓M下載鏈接】clef-flash項目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flash創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考