了篇論文，公開了自家底牌)
今天分享一篇騰訊WorkBuddy團隊最新發(fā)表的論文他們給自己造的內(nèi)部尺子現(xiàn)在把它開源了。這篇論文不是孤立的學術(shù)工作而是 WorkBuddy 產(chǎn)品工程的副產(chǎn)品——把內(nèi)部的模型選型評測、Harness 回歸測試、任務分布洞察打包成一個開源 Benchmark。騰訊把多模型 Agent 工作臺的選型底牌攤開了——GLM-5.2 在安全域雙殺閉源模型、GPT-5.5 最省 token、Claude Opus 綜合最強這些數(shù)據(jù)直接解釋了 WorkBuddy 為什么要做多模型切換而不是綁定混元。提速500倍29s學會一個新Skill清華和自變量開源HOST框架一、WorkBuddy優(yōu)勢WorkBuddy Bench 優(yōu)點任務分布對齊真實工作distribution-informed但完全開源可審計。Figure 1: Tencent WorkBuddy Bench 總覽四個子集各有獨立的評分儀器分數(shù)跨賽道不可比套件刻意不報總平均分——這是設計決策不是缺陷。表1套件一覽四個子集雙 Harness 評分二、核心方法論抗污染來自真實業(yè)務論文把提示詞可被搜索引擎找到視為最重要的污染路徑然后在任務生產(chǎn)環(huán)節(jié)就把它堵死表2開源清單——運行、評分、審計一個任務所需的一切全部公開任務來源每個任務錨定一個真實上游工件開源倉庫的歷史 commit / PR、真實 CVE或具體業(yè)務場景。匹配的不是原始請求本身而是內(nèi)部使用分布查詢意圖類別、請求結(jié)構(gòu)模式——任何原始用戶 prompt、會話數(shù)據(jù)都不進入任務。改寫協(xié)議逆向工程后改寫成簡短、口語化、刻意欠規(guī)格underspecified的請求。Code 賽道還通過五種角色發(fā)聲開發(fā)者、算法工程師、產(chǎn)品經(jīng)理、QA、運維?？桃馇芬?guī)格請求只給意圖和約束不給目標文件、接口定義、邊界情況——Agent 必須自己從工作區(qū)里找回缺失的上下文。這考的是需求消歧與 grounding而不只是代碼合成。賽后評測隔離評分資產(chǎn)在 Agent 行動期間完全不可見結(jié)束后才注入沙箱?！癏idden tests”指的是解題時不可見而非發(fā)布后保密——全部測試隨開源一起放出。三、四大賽道拆解3.1 Code80 個任務里只有 10 個是修 BugCode 子集把 Agent 扔進一個 checkout 到基線 commit 的完整開源倉庫要求它自己定位代碼、改完、并保證隱藏測試通過。和 SWE-bench 最大的不同是角色與任務類型多樣性五種角色、18 個細分類目Bug 修復只占 10/80。Figure 2: Code 與 Web 任務構(gòu)成表3Code 子集來源家族A34BC46表4Code 子集構(gòu)成80 任務開源版準入門機制值得一提每個候選任務先對未改動的工作區(qū)跑一遍驗證器baseline reward 必須 ≤ 0.3證明任務不是”白給”再打上 gold patch 跑一遍oracle reward 必須 1.0證明任務可解。構(gòu)建期的早期評測還暴露了兩類零分模式Agent 陷入改測試文件的死循環(huán)直到超時在大倉庫里迷路、改了完全不相干的文件——難度來自導航與定位而非代碼合成。Figure 3: Code 任務與評測工作流3.2 Web交付物契約——說得再好路徑下沒有可運行工件就是零分Web 子集的硬核設定是artifact-not-chat 契約Agent 必須在聲明的輸出路徑產(chǎn)出可運行工件如 HTML 入口聊天里寫得天花亂墜但路徑下沒東西直接掛。70 個任務橫跨生成、修改、分析、質(zhì)檢四類前端工作。Figure 4: Web 任務與評測工作流3.3 Office評的是最終工作區(qū)狀態(tài)不是答案文本Office 子集測的是混合格式文件表格、文檔、PDF、JSON、Markdown、文件樹里的完整工作交接。評測盯的是最終工作區(qū)狀態(tài)——寫了一份看似合理的總結(jié)卻沒更新它描述的那張工作簿照樣丟分這是純文本評分抓不到的失敗。Figure 5: Office 50 任務的構(gòu)建路線與校準難度Figure 6: Office 四維覆蓋評分是雙通道確定性 Rule checks 驗證文件、schema、數(shù)值、跨文件關(guān)系、狀態(tài)變更、副作用邊界LLM Judge 基于任務結(jié)束后生成的固定證據(jù)評估二元語義 rubric不看實時工作區(qū)、也不能改寫 Rule 結(jié)果。每個任務預配自己的 Rule 權(quán)重 w_i ∈ [0.70, 0.95]。Figure 7: Office 評測流3.4 Security60 個任務全程無 LLM 裁判 五層反作弊Security 子集覆蓋紅藍隊全景漏洞發(fā)現(xiàn)與安全利用32紅、惡意軟件分析14藍、安全運營8藍、Agent 安全6紅——38 紅 vs 22 藍難度刻意偏硬。Figure 8: Security 子集總覽白盒審計任務復現(xiàn) binutils、curl、nginx、vim、jq、fluent-bit 等廣泛部署項目的真實歷史 CVE采用 find-vuln → poc-verify 兩步結(jié)構(gòu)先讀源碼定位漏洞路徑過閾值才解鎖第二步再提交能在沙箱里穩(wěn)定觸發(fā) ASAN crash 的 PoC。表5Security 子集構(gòu)成60 任務四塊粒度四、榜單結(jié)果沒有全能冠軍Harness 一換排名就洗牌表6WorkBuddy Bench 總榜0–100think 模式三次運行均值八塊榜三分天下Opus 4.8 拿五塊Code 雙榜、Web 雙榜、Office cbcGLM-5.2 以開源權(quán)重身份拿下 Security 雙榜——開源與閉源的差距是分板塊的不是均勻碾壓GPT-5.5 拿 Office cc 一塊。Harness 敏感性的幾個爆點Code 排名在雙 Harness 間直接換位GPT-5.5 在 cbc 下領先 GLM-5.272.90 vs 71.54在 cc 下被反超76.63 vs 77.06。Security 洗牌最狠七模型平均絕對位移 8.6 分GPT-5.5 從 cbc 第六躥到 cc 第二MiniMax-M3 從第二跌到第五。Office 最穩(wěn)七個雙跑模型里五個位移不到 2 分中位數(shù) 0.86。工程細節(jié)能值 4 分HY-3 開啟跨輪 reasoning passback 后 Code 分數(shù) cbc 3.82、cc 1.92。拒答也值得記錄Opus 4.8 在 Claude Code 下對安全任務出現(xiàn) 13 次任務級拒答cbc 下為零GPT-5.5 在 cbc 下 2 次。最難的類目暴露了真問題Code 子集里最難的是 bug_fix均值 0.47和 api_contract0.47——真實倉庫的回歸修復和嚴守契約的接口活最易的是 feature_pipeline0.94和 testing0.88。product_analytics 類目模型間差距幾乎拉滿 0–1.0 全程高分模型會正確推斷”別把隔很久才買的算進來”這個隱含歸因窗口低分模型代碼跑得干干凈凈但把全部購買都算了進去——差距完全在業(yè)務語義理解不在代碼能不能跑。另一個典型失敗是”語義對但契約錯”行為合理卻丟了一兩個必需字段如 OpenAPI 的 deprecated、examples驗證器一打 per-field 布爾檢查就連環(huán)清零。Figure 9: Office 按難度與任務類型的結(jié)果表7Code 子集每輪開銷輪次 / 輸出 token / 含緩存輸入 token千為單位花錢多 ≠ 分數(shù)高DeepSeek-V4-Flash 在 cc 下輸出約為 GPT-5.5 的 3.3 倍28.6k vs 8.7k分數(shù)卻低 14.74 分GLM-5.2 的 cc 榜首成績 77.06 花了 22.0k 輸出 token而 GPT-5.5 只用 8.7k 拿到 76.63。GPT-5.5 是全場四賽道一致的”最省高分者”cbc 下 Code 6.9k / Web 13.5k / Office 10.2k / Security 7.5k 輸出。Security 是最重的賽道30–89 輪/次MiniMax-M3 在 cbc 下平均 88.8 輪、約 11.1M 含緩存輸入 token 換 74.14 分。六、與現(xiàn)有工作的對位表8Web 方向 Benchmark 能力矩陣? 全覆蓋? 部分覆蓋空白 未覆蓋這些是自報的設計期對比不是跨榜單實測。差異化在于廣度與框架而非新任務類型——Security 子集是公開 Benchmark 稀缺的紅藍全覆蓋 全確定性評分Office 把混合格式多交付物工作流當”完整交接”來測Code 用五角色 18 類目跳出”修 issue”框架。學AI大模型的正確順序千萬不要搞錯了2026年AI風口已來各行各業(yè)的AI滲透肉眼可見超多公司要么轉(zhuǎn)型做AI相關(guān)產(chǎn)品要么高薪挖AI技術(shù)人才機遇直接擺在眼前有往AI方向發(fā)展或者本身有后端編程基礎的朋友直接沖AI大模型應用開發(fā)轉(zhuǎn)崗超合適就算暫時不打算轉(zhuǎn)崗了解大模型、RAG、Prompt、Agent這些熱門概念能上手做簡單項目也絕對是求職加分王給大家整理了超全最新的AI大模型應用開發(fā)學習清單和資料手把手幫你快速入門學習路線:?大模型基礎認知—大模型核心原理、發(fā)展歷程、主流模型GPT、文心一言等特點解析?核心技術(shù)模塊—RAG檢索增強生成、Prompt工程實戰(zhàn)、Agent智能體開發(fā)邏輯?開發(fā)基礎能力—Python進階、API接口調(diào)用、大模型開發(fā)框架LangChain等實操?應用場景開發(fā)—智能問答系統(tǒng)、企業(yè)知識庫、AIGC內(nèi)容生成工具、行業(yè)定制化大模型應用?項目落地流程—需求拆解、技術(shù)選型、模型調(diào)優(yōu)、測試上線、運維迭代?面試求職沖刺—崗位JD解析、簡歷AI項目包裝、高頻面試題匯總、模擬面經(jīng)以上6大模塊看似清晰好上手實則每個部分都有扎實的核心內(nèi)容需要吃透我把大模型的學習全流程已經(jīng)整理好了抓住AI時代風口輕松解鎖職業(yè)新可能希望大家都能把握機遇實現(xiàn)薪資/職業(yè)躍遷這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領取【保證100%免費】 爆火的騰訊WorkBuddy發(fā)了篇論文，公開了自家底牌
今天分享一篇騰訊WorkBuddy團隊最新發(fā)表的論文他們給自己造的內(nèi)部尺子現(xiàn)在把它開源了。這篇論文不是孤立的學術(shù)工作而是 WorkBuddy 產(chǎn)品工程的副產(chǎn)品——把內(nèi)部的模型選型評測、Harness 回歸測試、任務分布洞察打包成一個開源 Benchmark。騰訊把多模型 Agent 工作臺的選型底牌攤開了——GLM-5.2 在安全域雙殺閉源模型、GPT-5.5 最省 token、Claude Opus 綜合最強這些數(shù)據(jù)直接解釋了 WorkBuddy 為什么要做多模型切換而不是綁定混元。提速500倍29s學會一個新Skill清華和自變量開源HOST框架一、WorkBuddy優(yōu)勢WorkBuddy Bench 優(yōu)點任務分布對齊真實工作distribution-informed但完全開源可審計。Figure 1: Tencent WorkBuddy Bench 總覽四個子集各有獨立的評分儀器分數(shù)跨賽道不可比套件刻意不報總平均分——這是設計決策不是缺陷。表1套件一覽四個子集雙 Harness 評分二、核心方法論抗污染來自真實業(yè)務論文把提示詞可被搜索引擎找到視為最重要的污染路徑然后在任務生產(chǎn)環(huán)節(jié)就把它堵死表2開源清單——運行、評分、審計一個任務所需的一切全部公開任務來源每個任務錨定一個真實上游工件開源倉庫的歷史 commit / PR、真實 CVE或具體業(yè)務場景。匹配的不是原始請求本身而是內(nèi)部使用分布查詢意圖類別、請求結(jié)構(gòu)模式——任何原始用戶 prompt、會話數(shù)據(jù)都不進入任務。改寫協(xié)議逆向工程后改寫成簡短、口語化、刻意欠規(guī)格underspecified的請求。Code 賽道還通過五種角色發(fā)聲開發(fā)者、算法工程師、產(chǎn)品經(jīng)理、QA、運維?？桃馇芬?guī)格請求只給意圖和約束不給目標文件、接口定義、邊界情況——Agent 必須自己從工作區(qū)里找回缺失的上下文。這考的是需求消歧與 grounding而不只是代碼合成。賽后評測隔離評分資產(chǎn)在 Agent 行動期間完全不可見結(jié)束后才注入沙箱?！癏idden tests”指的是解題時不可見而非發(fā)布后保密——全部測試隨開源一起放出。三、四大賽道拆解3.1 Code80 個任務里只有 10 個是修 BugCode 子集把 Agent 扔進一個 checkout 到基線 commit 的完整開源倉庫要求它自己定位代碼、改完、并保證隱藏測試通過。和 SWE-bench 最大的不同是角色與任務類型多樣性五種角色、18 個細分類目Bug 修復只占 10/80。Figure 2: Code 與 Web 任務構(gòu)成表3Code 子集來源家族A34BC46表4Code 子集構(gòu)成80 任務開源版準入門機制值得一提每個候選任務先對未改動的工作區(qū)跑一遍驗證器baseline reward 必須 ≤ 0.3證明任務不是”白給”再打上 gold patch 跑一遍oracle reward 必須 1.0證明任務可解。構(gòu)建期的早期評測還暴露了兩類零分模式Agent 陷入改測試文件的死循環(huán)直到超時在大倉庫里迷路、改了完全不相干的文件——難度來自導航與定位而非代碼合成。Figure 3: Code 任務與評測工作流3.2 Web交付物契約——說得再好路徑下沒有可運行工件就是零分Web 子集的硬核設定是artifact-not-chat 契約Agent 必須在聲明的輸出路徑產(chǎn)出可運行工件如 HTML 入口聊天里寫得天花亂墜但路徑下沒東西直接掛。70 個任務橫跨生成、修改、分析、質(zhì)檢四類前端工作。Figure 4: Web 任務與評測工作流3.3 Office評的是最終工作區(qū)狀態(tài)不是答案文本Office 子集測的是混合格式文件表格、文檔、PDF、JSON、Markdown、文件樹里的完整工作交接。評測盯的是最終工作區(qū)狀態(tài)——寫了一份看似合理的總結(jié)卻沒更新它描述的那張工作簿照樣丟分這是純文本評分抓不到的失敗。Figure 5: Office 50 任務的構(gòu)建路線與校準難度Figure 6: Office 四維覆蓋評分是雙通道確定性 Rule checks 驗證文件、schema、數(shù)值、跨文件關(guān)系、狀態(tài)變更、副作用邊界LLM Judge 基于任務結(jié)束后生成的固定證據(jù)評估二元語義 rubric不看實時工作區(qū)、也不能改寫 Rule 結(jié)果。每個任務預配自己的 Rule 權(quán)重 w_i ∈ [0.70, 0.95]。Figure 7: Office 評測流3.4 Security60 個任務全程無 LLM 裁判 五層反作弊Security 子集覆蓋紅藍隊全景漏洞發(fā)現(xiàn)與安全利用32紅、惡意軟件分析14藍、安全運營8藍、Agent 安全6紅——38 紅 vs 22 藍難度刻意偏硬。Figure 8: Security 子集總覽白盒審計任務復現(xiàn) binutils、curl、nginx、vim、jq、fluent-bit 等廣泛部署項目的真實歷史 CVE采用 find-vuln → poc-verify 兩步結(jié)構(gòu)先讀源碼定位漏洞路徑過閾值才解鎖第二步再提交能在沙箱里穩(wěn)定觸發(fā) ASAN crash 的 PoC。表5Security 子集構(gòu)成60 任務四塊粒度四、榜單結(jié)果沒有全能冠軍Harness 一換排名就洗牌表6WorkBuddy Bench 總榜0–100think 模式三次運行均值八塊榜三分天下Opus 4.8 拿五塊Code 雙榜、Web 雙榜、Office cbcGLM-5.2 以開源權(quán)重身份拿下 Security 雙榜——開源與閉源的差距是分板塊的不是均勻碾壓GPT-5.5 拿 Office cc 一塊。Harness 敏感性的幾個爆點Code 排名在雙 Harness 間直接換位GPT-5.5 在 cbc 下領先 GLM-5.272.90 vs 71.54在 cc 下被反超76.63 vs 77.06。Security 洗牌最狠七模型平均絕對位移 8.6 分GPT-5.5 從 cbc 第六躥到 cc 第二MiniMax-M3 從第二跌到第五。Office 最穩(wěn)七個雙跑模型里五個位移不到 2 分中位數(shù) 0.86。工程細節(jié)能值 4 分HY-3 開啟跨輪 reasoning passback 后 Code 分數(shù) cbc 3.82、cc 1.92。拒答也值得記錄Opus 4.8 在 Claude Code 下對安全任務出現(xiàn) 13 次任務級拒答cbc 下為零GPT-5.5 在 cbc 下 2 次。最難的類目暴露了真問題Code 子集里最難的是 bug_fix均值 0.47和 api_contract0.47——真實倉庫的回歸修復和嚴守契約的接口活最易的是 feature_pipeline0.94和 testing0.88。product_analytics 類目模型間差距幾乎拉滿 0–1.0 全程高分模型會正確推斷”別把隔很久才買的算進來”這個隱含歸因窗口低分模型代碼跑得干干凈凈但把全部購買都算了進去——差距完全在業(yè)務語義理解不在代碼能不能跑。另一個典型失敗是”語義對但契約錯”行為合理卻丟了一兩個必需字段如 OpenAPI 的 deprecated、examples驗證器一打 per-field 布爾檢查就連環(huán)清零。Figure 9: Office 按難度與任務類型的結(jié)果表7Code 子集每輪開銷輪次 / 輸出 token / 含緩存輸入 token千為單位花錢多 ≠ 分數(shù)高DeepSeek-V4-Flash 在 cc 下輸出約為 GPT-5.5 的 3.3 倍28.6k vs 8.7k分數(shù)卻低 14.74 分GLM-5.2 的 cc 榜首成績 77.06 花了 22.0k 輸出 token而 GPT-5.5 只用 8.7k 拿到 76.63。GPT-5.5 是全場四賽道一致的”最省高分者”cbc 下 Code 6.9k / Web 13.5k / Office 10.2k / Security 7.5k 輸出。Security 是最重的賽道30–89 輪/次MiniMax-M3 在 cbc 下平均 88.8 輪、約 11.1M 含緩存輸入 token 換 74.14 分。六、與現(xiàn)有工作的對位表8Web 方向 Benchmark 能力矩陣? 全覆蓋? 部分覆蓋空白 未覆蓋這些是自報的設計期對比不是跨榜單實測。差異化在于廣度與框架而非新任務類型——Security 子集是公開 Benchmark 稀缺的紅藍全覆蓋 全確定性評分Office 把混合格式多交付物工作流當”完整交接”來測Code 用五角色 18 類目跳出”修 issue”框架。學AI大模型的正確順序千萬不要搞錯了2026年AI風口已來各行各業(yè)的AI滲透肉眼可見超多公司要么轉(zhuǎn)型做AI相關(guān)產(chǎn)品要么高薪挖AI技術(shù)人才機遇直接擺在眼前有往AI方向發(fā)展或者本身有后端編程基礎的朋友直接沖AI大模型應用開發(fā)轉(zhuǎn)崗超合適就算暫時不打算轉(zhuǎn)崗了解大模型、RAG、Prompt、Agent這些熱門概念能上手做簡單項目也絕對是求職加分王給大家整理了超全最新的AI大模型應用開發(fā)學習清單和資料手把手幫你快速入門學習路線:?大模型基礎認知—大模型核心原理、發(fā)展歷程、主流模型GPT、文心一言等特點解析?核心技術(shù)模塊—RAG檢索增強生成、Prompt工程實戰(zhàn)、Agent智能體開發(fā)邏輯?開發(fā)基礎能力—Python進階、API接口調(diào)用、大模型開發(fā)框架LangChain等實操?應用場景開發(fā)—智能問答系統(tǒng)、企業(yè)知識庫、AIGC內(nèi)容生成工具、行業(yè)定制化大模型應用?項目落地流程—需求拆解、技術(shù)選型、模型調(diào)優(yōu)、測試上線、運維迭代?面試求職沖刺—崗位JD解析、簡歷AI項目包裝、高頻面試題匯總、模擬面經(jīng)以上6大模塊看似清晰好上手實則每個部分都有扎實的核心內(nèi)容需要吃透我把大模型的學習全流程已經(jīng)整理好了抓住AI時代風口輕松解鎖職業(yè)新可能希望大家都能把握機遇實現(xiàn)薪資/職業(yè)躍遷這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領取【保證100%免費】