本文整理自 AICon 深圳直播《如何約束 Agent》通過AI音視頻轉(zhuǎn)錄總結(jié)工具Ai好記視頻轉(zhuǎn)文字整理以下為精煉整理后的會議筆記內(nèi)容。Agent能不能在真實業(yè)務(wù)里可靠地干活一直是個讓人頭疼的問題。很多人把它歸結(jié)為模型幻覺或推理能力不足但這場直播提出了一個更尖銳的判斷Agent當(dāng)前最大的可靠性挑戰(zhàn)其實在模型之外。阿里云可觀測團隊的張鑫做主嘉賓包括深耕AI領(lǐng)域的創(chuàng)業(yè)者王仿、騰訊游戲一線研發(fā)的任磊達圍繞Agent的工程實踐和可靠性展開核心就是Harness Engineering怎么給一個能力足夠強的AI配上靠譜的約束機制。Agent可靠性的核心挑戰(zhàn)不在模型能力1、模型之外的系統(tǒng)性失敗張鑫認為模型能力雖然在持續(xù)增強但進入真實業(yè)務(wù)環(huán)境后絕大部分失敗發(fā)生在模型之外。Agent怎么知道正在操作的業(yè)務(wù)對象是什么、它當(dāng)前的狀態(tài)、與其他對象的關(guān)系、可靠的數(shù)據(jù)來源、可執(zhí)行的工具以及如何驗證是否達到了預(yù)期狀態(tài)。這些問題不解決即使換成更強的模型Agent依然是盲人摸象甚至?xí)煤V定的語氣聲稱任務(wù)已完成、實際并沒完成。真正的挑戰(zhàn)是讓Agent在持續(xù)變化的環(huán)境里形成「理解、行動、觀察、驗證」的閉環(huán)核心是讓Agent真正理解真實業(yè)務(wù)系統(tǒng)把業(yè)務(wù)對象、關(guān)系、狀態(tài)和證據(jù)組織起來而不是面對零散的文檔數(shù)據(jù)。2、Harness的本質(zhì)是為強能力配安全機制王仿從Harness Engineering的角度打了個比方討論Harness恰恰說明模型能力已經(jīng)足夠強。就像發(fā)動機馬力不大時不需要方向盤和剎車馬力極強時才要配套安全防護。Harness不是限制模型能力而是讓它在可控范圍內(nèi)做事。實習(xí)生出錯有主管兜底但線上生產(chǎn)環(huán)境的正式員工若誤操作退款或觸發(fā)不可控操作對企業(yè)影響就大了。所以Harness是工程上繞不開的話題也是AI在企業(yè)落地的關(guān)鍵OpenAI等也都在構(gòu)建模型之上的Harness能力。3、Prompt失控與人機交互工程任磊達結(jié)合實踐分享Agent技術(shù)正在把工程技巧吸收進模型內(nèi)部形成互利互升的關(guān)系。他分享了一次燒了七八億Token、吐出四萬行代碼的Prompt失控經(jīng)歷強調(diào)Prompt不是虛概念而是包含人機交互的協(xié)同工程怎樣與AI交互、怎樣定義AI任務(wù)、怎樣讓產(chǎn)出符合預(yù)期、怎樣實現(xiàn)正向ROI。當(dāng)工程ROI需要擺正時就得探索與模型的交互協(xié)同模式。Harness Engineering的工程實踐1、企業(yè)級Harness的核心要素王仿介紹其所在公司面向企業(yè)的Harness Engineering實踐核心在于幾個方面上下文管理機制企業(yè)任務(wù)需要分階段注入上下文比如退款流程要明確各階段接收什么上下文、形成什么新上下文、帶入哪些其他維度的信息。系統(tǒng)集成把ERP、WMS等系統(tǒng)集成進來讓模型在可控環(huán)境下調(diào)用。Skill調(diào)度復(fù)雜業(yè)務(wù)場景下Skill越多模型能力可能越差要解決正確調(diào)度的問題。穩(wěn)定性保障企業(yè)任務(wù)要每天成百上千次重復(fù)穩(wěn)定執(zhí)行不能時好時壞。權(quán)限與可觀測解決權(quán)限問題、避免黑盒企業(yè)特別厭惡黑盒過程要能隨時介入。2、工程化承接不確定性張鑫補充Harness Engineering并不是消滅模型幻覺或不確定性而是用一個工程化的系統(tǒng)去承接和約束這種不確定性。未給上下文就亂發(fā)揮其實就是幻覺。核心在于兩點讓Agent正確地干事、做正確的事。可觀測能力至關(guān)重要只有觀測到Agent邏輯才能優(yōu)化流程從觀測數(shù)據(jù)中學(xué)習(xí)、蒸餾知識、分析錯誤原因?qū)崿F(xiàn)正確回歸形成飛輪效應(yīng)。3、人機協(xié)同的流程架構(gòu)任磊達從使用者視角區(qū)分了Harness的兩層。底層架構(gòu)聚焦可觀測性等工程基礎(chǔ)上層流程關(guān)注人在何時介入、怎樣促進飛輪轉(zhuǎn)起來。清晰的架構(gòu)能提升人在其中的效率讓產(chǎn)出更穩(wěn)定可控。他推動的做法是讓每個人都參與進來、接受Agent協(xié)作從而對領(lǐng)域知識進行迭代演化而不是一個人完成整個團隊的活動。Agent的工作環(huán)境要像給新員工配工位1、新員工類比與四大核心問題張鑫把Agent比作企業(yè)新員工提出適合AI的工作環(huán)境要解決四個問題跟人類入職邏輯一致?？吹枚斫庀到y(tǒng)內(nèi)的業(yè)務(wù)對象比如模塊、class及其調(diào)用關(guān)系。做得到提供有清晰描述的工具但粒度要權(quán)衡太細則上下文爆炸太大則理解偏差、陷入幻覺。可被證明要有強大的可觀測能力未觀測到可能觸發(fā)P0故障還需要測試驅(qū)動開發(fā)TDD模式。做不壞、能回滾權(quán)限可控關(guān)鍵步驟要人參與有backup方案。2、漸進式信息披露與本體論張鑫進一步強調(diào)理想的工作環(huán)境不是一次性把信息塞給Agent而是讓它圍繞任務(wù)持續(xù)、漸進式地披露信息。企業(yè)問題通常不是沒有數(shù)據(jù)工具而是工具和數(shù)據(jù)割裂日志在A系統(tǒng)、工具在B人、告警與變更關(guān)聯(lián)不明。需要用本體論讓Agent對全局有全面了解再按系統(tǒng)結(jié)構(gòu)逐層完成理解。3、數(shù)字員工視角的環(huán)境構(gòu)建王仿從企業(yè)數(shù)字員工的角度補充。本體論要前置把人做的上下文翻譯成AI能理解的語言定義任務(wù)對象、關(guān)系、邊界、規(guī)則、流程、決策邏輯技術(shù)再入場實現(xiàn)感知、計算、判斷。他還對比了封閉環(huán)境與企業(yè)環(huán)境的差異IDE、瀏覽器這類封閉環(huán)境可以通過模型訓(xùn)練讓AI具備使用工具的能力但企業(yè)環(huán)境無法直接訓(xùn)練只能通過Harness Engineering實現(xiàn)。4、工作流程中的Agent嵌入任磊達分享了工作流程層面的實踐。今年AI的一個明顯特點是需要先與Agent澄清流程觀察它工作過程中的錯誤反哺到前期的澄清里直到足夠清晰后拆分子任務(wù)或做D級圖編排完成后review過程。這需要與具體業(yè)務(wù)開發(fā)綁定、有反饋才能轉(zhuǎn)起loop、更好迭代?，F(xiàn)在一個MR動輒幾百到上萬行已經(jīng)超出人類思維負載倒逼每個環(huán)節(jié)去調(diào)教Agent的協(xié)同能力。數(shù)據(jù)、知識與語義結(jié)構(gòu)的關(guān)系1、三者的邏輯層次與落地階段王仿分析了三者的關(guān)系數(shù)據(jù)告訴過去發(fā)生了什么知識告訴當(dāng)前客觀的業(yè)務(wù)事實語義和結(jié)構(gòu)告訴它們之間的關(guān)系。知識加語義加結(jié)構(gòu)是基于當(dāng)前事實決定下一步動作。落地要分階段先解決知識和語義結(jié)構(gòu)問題本體論邏輯再與數(shù)據(jù)結(jié)合從被動感知接受需求做任務(wù)進化到像人一樣主動感知、判斷、決策。2、注意力分散與上下文精簡張鑫指出AI時代不缺數(shù)據(jù)企業(yè)數(shù)據(jù)工具眾多問題是數(shù)據(jù)太多導(dǎo)致注意力分散。需要精簡上下文讓Agent更聚焦用最簡單的方法做事。本體論是基礎(chǔ)設(shè)施能讓知識顯化比如運維場景里CPU高可能由業(yè)務(wù)方變更調(diào)大閾值導(dǎo)致而不是簡單擴容這類知識以前記在人腦里現(xiàn)在需要通過本體論顯化。3、主觀能動性與Human-in-Loop任磊達強調(diào)生成本體論簡單但連接到更多數(shù)據(jù)、持續(xù)迭代需要主觀能動性。做法是推動每個人參與、接受Agent協(xié)作從而對領(lǐng)域知識負責(zé)、愿意迭代。Human-in-Loop的角色比例很關(guān)鍵不是一個人完成全公司的活動。Agent執(zhí)行系統(tǒng)的核心能力1、狀態(tài)聚焦與概率串行控制任磊達指出今年工程趨勢是無論DD工作流還是Cloud、CLO內(nèi)置命令都在反復(fù)明確Agent當(dāng)前在干什么、上下文具體關(guān)系。因為Agent是概率性的長期流程概率串行疊加會導(dǎo)致失敗率指數(shù)級增長需要不斷提醒其目標(biāo)、步驟、上下文以聚焦背景。2、可靠Agent的四大能力王仿從企業(yè)ROI挑戰(zhàn)的角度提出可靠Agent必備的四大能力。一是狀態(tài)管理任務(wù)掛起、接口故障后的恢復(fù)重試機制。二是執(zhí)行結(jié)果校驗接口返回結(jié)構(gòu)變化要能感知業(yè)務(wù)翻譯時理清返回結(jié)構(gòu)、核心字段、處理方式執(zhí)行時遵循校驗。三是異?；謴?fù)超時回滾、任務(wù)分割與現(xiàn)場恢復(fù)。四是全過程可控可觀測日志記錄加看板展示讓人隨時知道發(fā)生了什么、怎么發(fā)生的、原因何在。3、工具契約與Runtime兜底張鑫總結(jié)獲取信任的關(guān)鍵是干活踏實且老板能看到。工具需要有明確契約入?yún)?、出參、參?shù)校驗、使用條件定義清楚可靠的Runtime要支持重試回滾可觀測性讓人踏實數(shù)據(jù)則成為優(yōu)化流程和Agent能力的基礎(chǔ)。人類員工與Agent的性價比與邊界1、企業(yè)訴求的兩類場景王仿分析了企業(yè)對Agent的兩大訴求降本增效與樣本增效。落地場景分人力密集型客服審核等算替換人力的賬和知識密集型程序員等培養(yǎng)成本高。程序員兼具兩類特征所以成為首要目標(biāo)但未被完全替換。從增長角度看Agent可能有大局觀和串聯(lián)能力比如保險公司案例里HR、培訓(xùn)、業(yè)務(wù)團隊目標(biāo)割裂AI可以動態(tài)感知市場變化和能力短板聯(lián)動各部門目標(biāo)。2、專業(yè)性與判斷力的不可替代張鑫認為Agent只會道歉無法負責(zé)人能提供的是判斷力Agent什么活都能干但缺邊界。Agent是增加人效的工具但人在其中的上下文切換消耗巨大。王仿強調(diào)要尊重人的專業(yè)性哪怕包材審核也有幾十個維度品牌做到極致的功夫難以替代。3、自主性與可控性的平衡任磊達指出編碼AI火的原因就是代碼可控、無概率性邊界設(shè)計就是把不可控變成可控再執(zhí)行。王仿提出按風(fēng)險等級設(shè)定自主性邊界高風(fēng)險需要嚴格校驗審核、人兜底中風(fēng)險人確認AI產(chǎn)出低風(fēng)險可以半自動駕駛。具體分三個階段影子系統(tǒng)離線評估、人確認模式、半自動駕駛。4、權(quán)限的漸進式開放張鑫區(qū)分了自主與可控并不矛盾可控范圍內(nèi)可以自主。企業(yè)落地要回答Agent在什么范圍內(nèi)工作超權(quán)限有嚴格控制。關(guān)鍵包括數(shù)據(jù)權(quán)限正確的人看正確的數(shù)據(jù)、影子系統(tǒng)驗證、只讀等低風(fēng)險權(quán)限漸進放開。類比人類入職一開始只有只讀權(quán)限隨職位提升權(quán)限擴大。Agent進化需要外部知識庫指導(dǎo)正確行為配合可觀測告警高危操作。本體論構(gòu)建的實踐路徑1、從場景出發(fā)而非公司全局王仿明確反對從公司角度構(gòu)建全局本體論投入周期、時間、價值都難論證。應(yīng)該從業(yè)務(wù)場景、具體任務(wù)出發(fā)比如客服導(dǎo)購就做客服導(dǎo)購的本體論供應(yīng)商資質(zhì)審核就做對應(yīng)的本體論。脫離場景業(yè)務(wù)方不理解仍是技術(shù)視角。2、問題驅(qū)動與領(lǐng)域建模張鑫認同這個方向。先明確解決什么問題再構(gòu)建問題領(lǐng)域的模型定義工具數(shù)據(jù)關(guān)聯(lián)讓Agent高效解決問題?？偨Y(jié)能力只有被工程體系承載才能進入復(fù)雜場景這場討論圍繞Agent實踐本質(zhì)是在探討一種新的工程范式。未來不僅需要訓(xùn)練更強的模型也需要構(gòu)建讓模型更可靠的工作環(huán)境從測試到運行時再到入庫。能力只有被工程體系承載才能真正進入復(fù)雜場景。對正在落地Agent的團隊來說Harness Engineering不是可選項而是把AI用起來的前提。常見問題FAQQAgent最大的可靠性挑戰(zhàn)是什么主要在模型之外包括Agent如何知道業(yè)務(wù)對象及其狀態(tài)、可靠數(shù)據(jù)來源、可執(zhí)行工具以及如何驗證是否達到預(yù)期。這些問題不解決換更強模型也沒用。QHarness Engineering是干什么的用一個工程化的系統(tǒng)去承接和約束模型的不確定性包括上下文管理、系統(tǒng)集成、Skill調(diào)度、穩(wěn)定性保障、權(quán)限與可觀測讓AI在可控范圍內(nèi)做事。Q給Agent配工作環(huán)境要考慮什么跟給新員工配工位類似看得懂理解業(yè)務(wù)對象、做得到工具契約清晰、可被證明可觀測TDD、做不壞能回滾權(quán)限可控backup。Q可靠Agent必備哪些能力狀態(tài)管理、執(zhí)行結(jié)果校驗、異常恢復(fù)超時回滾、任務(wù)分割、全過程可控可觀測四類能力。Q本體論應(yīng)該怎么建從業(yè)務(wù)場景和具體任務(wù)出發(fā)而不是從公司全局出發(fā)先明確解決什么問題再構(gòu)建問題領(lǐng)域的模型和工具數(shù)據(jù)關(guān)聯(lián)。以上內(nèi)容由 Ai好記 轉(zhuǎn)錄整理。Ai好記是一款支持音視頻轉(zhuǎn)圖文筆記的AI知識庫工具支持B站、小紅書、抖音、小宇宙等平臺鏈接及本地音視頻文件解析視頻轉(zhuǎn)文字后自動生成精華速覽、思維導(dǎo)圖和結(jié)構(gòu)化圖文筆記幫助你把幾小時的視頻內(nèi)容變成可搜索、可復(fù)習(xí)的圖文筆記。