最近開發(fā)者社區(qū)里流傳著一個(gè)很有意思的視頻讓 OpenAI 的模型回答一組看似簡單的問題表面上一問一答非常流暢但把回答拆開細(xì)看會(huì)發(fā)現(xiàn)模型在關(guān)鍵推理節(jié)點(diǎn)上完全跑偏甚至前后矛盾卻依然語氣篤定。這類內(nèi)容在英文社區(qū)被概括成一句話——“OpenAI just proved AI has no idea what its doing”。直譯過來就是“OpenAI 剛剛證明了 AI 并不知道自己在做什么”。很多第一次接觸這個(gè)結(jié)論的開發(fā)者會(huì)覺得很震撼但長期做大模型應(yīng)用的人反而覺得這是意料之中當(dāng)前的大模型本質(zhì)上是一個(gè)概率化文本生成系統(tǒng)它的“流暢”來自大規(guī)模語言建模它的“篤定”來自對齊訓(xùn)練而它是否真的“知道自己在做什么”從來就不是訓(xùn)練目標(biāo)。這篇文章不打算做情緒化討論而是圍繞這個(gè)現(xiàn)象做一次技術(shù)拆解先講清楚模型能力邊界背后的原理再用 Python 寫一組小實(shí)驗(yàn)實(shí)際觀測模型“過度自信但答錯(cuò)”的情況最后給出大模型落地時(shí)比較穩(wěn)妥的工程處理方案。無論你是剛接觸大模型開發(fā)的新手還是在做 Agent、客服機(jī)器人、自動(dòng)化報(bào)告等生產(chǎn)級(jí)應(yīng)用的開發(fā)者這篇文章都值得收藏備用。1. 背景這個(gè)視頻實(shí)驗(yàn)暴露了什么問題1.1 現(xiàn)象本身流暢、篤定、但經(jīng)不起推敲最近幾個(gè)月開發(fā)者社區(qū)流傳了大量針對大模型的“壓力測試”視頻和帖子。測試方式通常很簡單不考專業(yè)知識(shí)只問一些接近常識(shí)、但需要模型真正確認(rèn)“前提是否成立”的問題。比較有代表性的幾類問題包括反事實(shí)推理把物理規(guī)則改成相反方向問結(jié)果會(huì)怎樣自指類問題讓模型評(píng)價(jià)自己上一條回答是否正確計(jì)數(shù)與字符級(jí)操作數(shù)一個(gè)單詞里出現(xiàn)了幾次某個(gè)字母常識(shí)邊界問題直接詢問模型“你真的確定嗎”看它會(huì)不會(huì)修改答案。實(shí)驗(yàn)結(jié)果通常呈現(xiàn)同一個(gè)趨勢模型回答的語法非常完整態(tài)度非常自信但答案的正確率遠(yuǎn)遠(yuǎn)低于它的自信程度。也就是說模型不是“答錯(cuò)了但知道自己可能錯(cuò)”而是“答錯(cuò)了還特別堅(jiān)定”。這個(gè)現(xiàn)象正是標(biāo)題所說“AI 不知道自己在做什么”的直接證據(jù)。注意這里說的“不知道自己在做什么”不是指模型像人類一樣有自我意識(shí)卻故意犯錯(cuò)而是指它在生成機(jī)制上缺少一個(gè)“我知道自己不知道”的判斷通道。1.2 這不是偶然翻車而是系統(tǒng)性現(xiàn)象有些人把這類測試當(dāng)成“AI 翻車集錦”來看覺得只要換一個(gè)更大的模型就能解決。但實(shí)際上這類錯(cuò)誤不是偶發(fā) bug而是當(dāng)前技術(shù)路線的系統(tǒng)性輸出。原因可以拆成三層預(yù)訓(xùn)練階段模型學(xué)的是“給定上文預(yù)測下一個(gè)詞元”指令微調(diào)階段模型學(xué)的是“跟隨人類指令生成人類偏好的回答”對齊階段模型學(xué)著表現(xiàn)出“有用、誠實(shí)、無害”的樣子但它的誠實(shí)是行為層面的不是認(rèn)知層面的。換句話說模型沒有一個(gè)獨(dú)立于語言的“思考內(nèi)核”它的一切“思考”最后都體現(xiàn)為文本生成。當(dāng)文本生成足夠流暢時(shí)我們會(huì)在心理上把“流暢”誤認(rèn)為“聰明”把“語氣堅(jiān)定”誤認(rèn)為“有把握”。1.3 為什么開發(fā)者必須重視這個(gè)問題如果你只是拿 ChatGPT 閑聊這類問題最多算段子。但如果你正在做 AI 客服、自動(dòng)化報(bào)告、Agent 工作流、代碼生成等生產(chǎn)級(jí)應(yīng)用模型“自信地犯錯(cuò)”就會(huì)造成非常嚴(yán)重的后果。舉幾個(gè)實(shí)際場景自動(dòng)生成財(cái)務(wù)分析報(bào)告模型給出精確到小數(shù)點(diǎn)的錯(cuò)誤數(shù)字客服機(jī)器人篤定地告訴用戶錯(cuò)誤的退換貨政策導(dǎo)致客訴升級(jí)Agent 根據(jù)模型幻覺出來的函數(shù)名去調(diào)用一個(gè)不存在的接口代碼補(bǔ)全工具生成一個(gè)看起來正常、但編譯不過或邏輯錯(cuò)誤的函數(shù)。這些問題不會(huì)因?yàn)槟Ｐ桶姹旧?jí)就完全消失只會(huì)以不同形式反復(fù)出現(xiàn)。因此理解模型的能力邊界并且在系統(tǒng)設(shè)計(jì)上把這種邊界考慮進(jìn)去是每個(gè)做 AI 應(yīng)用的開發(fā)者都繞不開的功課。2. 核心概念先搞清楚“AI 到底知不知道自己在做什么”在寫測試代碼之前先建立幾個(gè)基礎(chǔ)概念。理解了這幾個(gè)概念后面看實(shí)驗(yàn)結(jié)果就不會(huì)困惑。2.1 語言模型的本質(zhì)概率預(yù)測器大語言模型Large Language Model簡稱 LLM的核心訓(xùn)練任務(wù)是“根據(jù)前面的文本預(yù)測下一個(gè)最可能的詞元token”。我們看到的“回答”本質(zhì)上是模型在候選詞元空間里反復(fù)做概率采樣每次選一個(gè)詞元拼到已有文本后面直到生成結(jié)束標(biāo)記?？梢园阉斫鉃檫@樣一個(gè)循環(huán)輸入文本 - 計(jì)算每個(gè)詞元出現(xiàn)的概率 - 選擇/采樣一個(gè)詞元 - 拼接到文本 - 重復(fù)模型確實(shí)在訓(xùn)練中學(xué)習(xí)了大量語法、知識(shí)和推理模式但它學(xué)習(xí)這些內(nèi)容的目的不是為了“掌握真理”而是為了讓“預(yù)測下一個(gè)詞”更準(zhǔn)確。這兩者大多數(shù)時(shí)候一致但在邊界場景下會(huì)出現(xiàn)明顯偏差。這也是“AI 不知道自己在做什么”的根源之一它沒有獨(dú)立于文本生成之外的驗(yàn)證系統(tǒng)。2.2 記憶、推理與表態(tài)是三件不同的事實(shí)際使用中我們經(jīng)常把三件事混在一起記憶模型在訓(xùn)練數(shù)據(jù)里見過類似內(nèi)容能夠復(fù)述出來推理模型基于已有信息通過多步邏輯推導(dǎo)得到新結(jié)論表態(tài)模型選擇用什么樣的語氣、結(jié)構(gòu)、確定性程度來表達(dá)。當(dāng)前模型在“記憶”和“表態(tài)”上做得很好但“推理”的可靠性要差得多。尤其當(dāng)問題需要多步推導(dǎo)、或者前提與訓(xùn)練數(shù)據(jù)中的常見模式不一致時(shí)模型很容易滑向“記憶中最相似的答案”而不是“基于當(dāng)前前提重新推導(dǎo)”。這就是為什么反事實(shí)推理測試特別能暴露問題因?yàn)橛?xùn)練數(shù)據(jù)里幾乎沒有“水的凝固點(diǎn)是 -10 攝氏度”這種樣本模型找不到可復(fù)述的記憶只能現(xiàn)場推理而現(xiàn)場推理恰恰是它的弱項(xiàng)。2.3 校準(zhǔn)度說“有把握”不代表真準(zhǔn)機(jī)器學(xué)習(xí)里有一個(gè)概念叫校準(zhǔn)度Calibration。簡單說就是模型預(yù)測的概率和真實(shí)結(jié)果發(fā)生的頻率是否一致。舉個(gè)例子如果模型對 100 個(gè)問題都給出了 90% 的置信度而這 100 個(gè)問題里真的有 90 個(gè)答對那么校準(zhǔn)度很好如果模型對 100 個(gè)問題都給出了 90% 的置信度結(jié)果只答對 60 個(gè)那么模型就是過度自信。大模型在自然語言場景下的常見問題就是“置信度高估”。它會(huì)用“這是顯而易見的”“可以肯定地說”這類強(qiáng)勢句式但背后的正確率并沒有那么高。這是“AI 不知道自己不知道”的量化體現(xiàn)也是我們在第 4 節(jié)要實(shí)測的核心指標(biāo)。2.4 幻覺看起來合理實(shí)際上無中生有幻覺Hallucination是指模型生成了與事實(shí)不符、或者根本沒有依據(jù)的內(nèi)容?；糜X通常分為兩類事實(shí)性幻覺生成的內(nèi)容與真實(shí)世界知識(shí)矛盾忠實(shí)性幻覺生成的內(nèi)容與用戶輸入的上下文矛盾。幻覺不是模型“故意撒謊”。更準(zhǔn)確地說模型在生成時(shí)并不區(qū)分“從記憶中復(fù)述”和“現(xiàn)場編造”因?yàn)樗鼪]有事實(shí)數(shù)據(jù)庫可以查詢它只有參數(shù)里隱含的概率分布。這一點(diǎn)在工程上特別重要很多錯(cuò)誤不是靠提示詞就能完全消除的必須在系統(tǒng)層面加上校驗(yàn)。3. 技術(shù)拆解為什么模型會(huì)“自信地胡說八道”這一節(jié)深入分析幾個(gè)具體原因。每個(gè)原因都對應(yīng)后面的測試思路與工程方案。3.1 訓(xùn)練目標(biāo)里沒有“我不知道”這個(gè)選項(xiàng)在預(yù)訓(xùn)練階段模型的任務(wù)是補(bǔ)全文本。它看到“中國的首都是____”訓(xùn)練標(biāo)簽是“北京”。在大量這樣的樣本之后模型學(xué)會(huì)的是遇到類似模式就輸出高頻聯(lián)想詞。問題在于對于人類來說“我不知道”是一個(gè)合理的答案但對于語言模型訓(xùn)練來說“我不知道”在概率上永遠(yuǎn)不是最高頻的補(bǔ)全。到了 RLHF基于人類反饋的強(qiáng)化學(xué)習(xí)階段標(biāo)注者通常更喜歡“給了具體答案”的回答而不是“拒絕回答”。于是模型進(jìn)一步學(xué)會(huì)了即使沒有把握也要給出一個(gè)結(jié)構(gòu)化、看似完整的答案而不是老實(shí)承認(rèn)自己不知道。所以你會(huì)看到哪怕模型完全不會(huì)做某道題它也會(huì)寫出“根據(jù)題目條件我們可以得出……”這樣的思考過程而不是直接說“我不會(huì)”。3.2 多步推理中的誤差累積模型生成時(shí)是逐詞元進(jìn)行的。對于三步推理題模型第一步可能對了第二步開始偏移第三步已經(jīng)完全偏離。但生成過程是單向的已經(jīng)生成的文本不會(huì)因?yàn)楹竺娴腻e(cuò)誤而回退?？梢灶惐瘸梢粋€(gè)人一邊走路一邊答題每走一步都寫下一句“我確定答案是什么”。一旦前面寫錯(cuò)了后面所有內(nèi)容都建立在這個(gè)錯(cuò)誤基礎(chǔ)上。模型不會(huì)像人類解題那樣先在草稿紙上推導(dǎo)、驗(yàn)證、再謄寫最終答案。這也是為什么在測試中只要問題的推理鏈變長正確率就會(huì)明顯下降。你問它兩步推理題它可能還能應(yīng)付問到四步、五步錯(cuò)誤率就會(huì)快速上升。3.3 評(píng)測數(shù)據(jù)誤導(dǎo)了能力判斷很多模型評(píng)測基準(zhǔn)Benchmark是靜態(tài)的選擇題或簡答題。模型在訓(xùn)練語料里很可能見過大量相似題目甚至見過標(biāo)準(zhǔn)答案。這使得評(píng)測分?jǐn)?shù)反映的是“記憶檢索能力”而不是“真實(shí)推理能力”。當(dāng)訓(xùn)練語料把評(píng)測題的答案也包含進(jìn)去之后評(píng)測分?jǐn)?shù)會(huì)虛高。這也是為什么有些模型在公開基準(zhǔn)上表現(xiàn)優(yōu)異一旦換成全新的、需要實(shí)時(shí)推導(dǎo)的問題可靠性就大打折扣。開發(fā)者要特別警惕這一點(diǎn)不要只看一家評(píng)測榜單就做技術(shù)選型最好用自己業(yè)務(wù)場景的私有數(shù)據(jù)集跑一遍。3.4 知識(shí)邊界沒有兜底機(jī)制模型訓(xùn)練數(shù)據(jù)有截止時(shí)間也有覆蓋范圍。當(dāng)用戶輸入的內(nèi)容落在訓(xùn)練分布之外比如新出的政策、內(nèi)部系統(tǒng)的數(shù)據(jù)、罕見的邊界條件模型依然會(huì)強(qiáng)行生成“聽起來合理”的回答而不是觸發(fā)“超出知識(shí)范圍”的提醒。這不是模型偷懶而是它沒有內(nèi)建一個(gè)“知識(shí)邊界檢測器”。它只能根據(jù)語言模式判斷“這類問題通常怎么回答”而無法判斷“這個(gè)問題是否在我的知識(shí)范圍內(nèi)”。這種設(shè)計(jì)在工程上帶來的后果是凡是涉及新知識(shí)、私有數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的場景都不能讓模型憑空回答必須給它提供上下文或者用程序校驗(yàn)結(jié)果。4. 用 Python 實(shí)測觀察模型的過度自信理論講再多不如動(dòng)手測一輪。這一節(jié)我們用 Python 調(diào)用 OpenAI API 做兩個(gè)小實(shí)驗(yàn)把“過度自信”變成可以量化的數(shù)據(jù)。4.1 準(zhǔn)備環(huán)境和依賴實(shí)驗(yàn)環(huán)境需要Python 3.9 及以上版本OpenAI Python SDK一個(gè)可用的 OpenAI API Key。安裝依賴pip install openai設(shè)置 API Key建議使用環(huán)境變量不要寫死在代碼里export OPENAI_API_KEY你的key這里要特別強(qiáng)調(diào)兩點(diǎn)第一API Key 是敏感憑證只應(yīng)從官方平臺(tái)創(chuàng)建不要使用任何第三方“共享 Key”也不要提交到 Git 倉庫第二實(shí)驗(yàn)會(huì)消耗少量 API 額度建議先用小額充值測試。模型名以你賬號(hào)實(shí)際可用的模型為準(zhǔn)本文示例使用gpt-4o-mini。4.2 封裝基礎(chǔ)調(diào)用函數(shù)先寫一個(gè)公共模塊讓模型在回答末尾輸出置信度再解析回答內(nèi)容和置信度數(shù)字。# 文件路徑experiment/llm_utils.py import os from openai import OpenAI client OpenAI(api_keyos.environ.get(OPENAI_API_KEY)) SYSTEM_PROMPT ( 你是實(shí)驗(yàn)助手。請回答問題并在回答末尾單獨(dú)一行輸出\n CONFIDENCE:0到100之間的整數(shù)\n 表示你對自己答案的把握程度。 ) def ask_with_confidence(prompt: str, model: str gpt-4o-mini) - dict: resp client.chat.completions.create( modelmodel, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: prompt}, ], temperature0, ) content resp.choices[0].message.content return parse_answer(content) def parse_answer(content: str) - dict: lines content.strip().splitlines() answer [] confidence None for line in lines: if line.upper().startswith(CONFIDENCE:): try: confidence int(line.split(:, 1)[1].strip()) except ValueError: confidence None else: answer.append(line) return { answer: \n.join(answer).strip(), confidence: confidence, }這段代碼做了三件事讓模型在回答末尾輸出一個(gè)置信度數(shù)字用temperature0減少隨機(jī)性觀察模型的默認(rèn)行為把回答內(nèi)容和置信度分開解析。4.3 測試一反事實(shí)推理反事實(shí)推理要求模型暫時(shí)忽略訓(xùn)練數(shù)據(jù)里的常識(shí)接受一個(gè)假設(shè)前提再推導(dǎo)結(jié)果。這能很好地觀察模型到底是在“檢索記憶”還是“重新推理”。# 文件路徑experiment/test_counterfactual.py from llm_utils import ask_with_confidence cases [ 如果水的凝固點(diǎn)不是0攝氏度而是-10攝氏度那么在-5攝氏度的環(huán)境里一杯純水會(huì)處于什么狀態(tài), 假設(shè)人類的心臟長在右側(cè)胸腔那么做心臟彩超時(shí)探頭應(yīng)該放在身體的哪一側(cè), 如果一年不是365天而是100天那么一個(gè)30歲的人相當(dāng)于現(xiàn)在通常意義下的多少歲, ] for idx, case in enumerate(cases, 1): result ask_with_confidence(case) print(f 問題 {idx} ) print(問題:, case) print(回答:, result[answer]) print(置信度:, result[confidence]) print()這類問題的特點(diǎn)是模型在訓(xùn)練語料里幾乎不可能見過完全一致的問答對。如果模型能正確完成推理說明它確實(shí)在按規(guī)則推導(dǎo)如果它給出的是訓(xùn)練數(shù)據(jù)里的常識(shí)答案就說明它只是在做相似記憶檢索。實(shí)測中常見的現(xiàn)象是對于第一類問題模型能給出“水在 -5 攝氏度仍然為液態(tài)”這樣的正確推導(dǎo)但如果把條件變得更反直覺、或者增加推導(dǎo)步數(shù)模型就會(huì)逐漸回到常識(shí)答案同時(shí)置信度依然很高。4.4 測試二置信度與正確率對比設(shè)計(jì)一組包含明確標(biāo)準(zhǔn)答案的題目統(tǒng)計(jì)模型在各個(gè)置信度區(qū)間內(nèi)的實(shí)際正確率。# 文件路徑experiment/test_calibration.py from llm_utils import ask_with_confidence cases [ (17 * 23 ?, 391), (192 * 47 ?, 9024), (1234 5678 ?, 6912), (中國是哪一年加入世界貿(mào)易組織的, 2001), (《紅樓夢》的作者是誰, 曹雪芹), ] hit 0 for q, expected in cases: result ask_with_confidence(q) correct expected in result[answer] hit int(correct) print(f[{正確 if correct else 錯(cuò)誤}] 置信度{result[confidence]} 問題{q}) print(f總正確率: {hit / len(cases):.0%})這里需要說明判斷“是否答對”用的是非常初級(jí)的子串匹配真實(shí)評(píng)估時(shí)要根據(jù)題型寫更嚴(yán)謹(jǐn)?shù)呐蓄}邏輯。這個(gè)腳本的意義在于演示思路把模型的回答和置信度一起收集再對比正確率觀察校準(zhǔn)度偏差。如果你把題目數(shù)量擴(kuò)到幾十個(gè)甚至上百個(gè)就會(huì)發(fā)現(xiàn)一個(gè)規(guī)律置信度在 90 以上的題目正確答案比例并不等于 90%。尤其在數(shù)值計(jì)算、時(shí)間類、政策類問題上模型會(huì)給出很高的置信度但答案是錯(cuò)的。4.5 如何解讀實(shí)驗(yàn)結(jié)果如果你按上面的腳本親測一輪大概率會(huì)得出幾個(gè)結(jié)論模型的自然語言回答質(zhì)量很高幾乎不會(huì)有語法問題置信度普遍偏高很少出現(xiàn)“我完全沒把握”的情況正確率低于置信度也就是過度自信當(dāng)問題涉及多步計(jì)算或反事實(shí)條件時(shí)錯(cuò)誤率明顯上升。這些觀察與大模型評(píng)測領(lǐng)域的公開結(jié)論是一致的。簡單說模型在“語言組織”維度已經(jīng)非常強(qiáng)但在“自知之明”維度依然很弱。這也是工程上必須增加外部校驗(yàn)的核心原因。5. 工程實(shí)踐如何與一個(gè)“過度自信”的模型安全協(xié)作5.1 定位讓模型做生成器而不是決策器在系統(tǒng)設(shè)計(jì)中不要把大模型當(dāng)作最終決策者。更合理的分層是大模型負(fù)責(zé)理解用戶意圖、生成草稿、組織語言、提取信息規(guī)則系統(tǒng)負(fù)責(zé)校驗(yàn)、計(jì)算、權(quán)限判斷、關(guān)鍵數(shù)據(jù)查詢?nèi)斯へ?fù)責(zé)最終確認(rèn)、異常處理。例如自動(dòng)生成周報(bào)時(shí)可以讓模型生成文本框架但所有數(shù)字必須從數(shù)據(jù)庫查詢后由程序填充不能允許模型“大概估計(jì)”。把不可靠的環(huán)節(jié)從模型手里拿掉是降低系統(tǒng)性風(fēng)險(xiǎn)最直接的辦法。5.2 用 RAG 引入可信事實(shí)RAGRetrieval-Augmented Generation檢索增強(qiáng)生成是目前降低事實(shí)性幻覺最常用的手段之一。流程如下用戶問題 - 檢索相關(guān)文檔片段 - 把文檔片段作為上下文拼入提示詞 - 模型基于文檔生成回答這樣做的好處是模型不需要“自己想起”事實(shí)而是基于檢索到的可追溯內(nèi)容生成答案。即使回答仍可能有瑕疵至少我們能定位到信息來源為人工復(fù)核提供依據(jù)。RAG 的關(guān)鍵點(diǎn)不在于“把文檔塞進(jìn)提示詞”而在于檢索質(zhì)量。如果檢索到的片段本身不相關(guān)模型一樣會(huì)跑偏。所以在工程上要同時(shí)關(guān)注文檔切分方式embedding 模型選擇檢索結(jié)果數(shù)量與排序引用來源展示。5.3 結(jié)構(gòu)化輸出與字段校驗(yàn)對于需要精確值的場景不要讓模型自由輸出文本?？梢砸竽Ｐ洼敵?JSON再用程序校驗(yàn)字段類型和取值范圍。# 文件路徑experiment/structured_output.py import json import re from openai import OpenAI client OpenAI() def extract_order_info(text: str) - dict: prompt f 從下面的客服對話中提取訂單信息只輸出 JSON不要輸出其他內(nèi)容。 格式 {{order_no: 訂單號(hào)或null, amount: 金額數(shù)字或null, status: 狀態(tài)或null}} 對話內(nèi)容 {text} resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: prompt}], temperature0, response_format{type: json_object}, ) content resp.choices[0].message.content try: data json.loads(content) except json.JSONDecodeError: data {} # 字段級(jí)校驗(yàn) if order_no in data and not re.match(r^[A-Z0-9]{6,20}$, data[order_no] or ): data[order_no] None if amount in data and not isinstance(data[amount], (int, float)): data[amount] None return data if __name__ __main__: text 你好我的訂單20240815001金額是299元顯示已發(fā)貨。 print(extract_order_info(text))response_format{type: json_object}是 OpenAI 提供的結(jié)構(gòu)化輸出能力可以讓模型盡量遵守 JSON 格式。但程序仍然需要自己校驗(yàn)字段因?yàn)槟Ｐ团及l(fā)情況下仍可能輸出不符合預(yù)期的 JSON或者把金額字段提取成字符串。5.4 用自我一致性判斷可靠性自我一致性Self-Consistency的思路很簡單同一個(gè)問題用較高溫度采樣多次如果模型每次答案都一致說明答案更可靠如果答案來回切換說明模型并沒有穩(wěn)定把握。# 文件路徑experiment/self_consistency.py from collections import Counter from openai import OpenAI client OpenAI() def sample_answers(prompt: str, model: str gpt-4o-mini, n: int 5): answers [] for _ in range(n): resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.8, ) answers.append(resp.choices[0].message.content.strip()) return answers if __name__ __main__: prompt 一個(gè)長方形的長是8寬是5面積是多少 ans sample_answers(prompt, n5) counter Counter(ans) for text, count in counter.most_common(): print(f{count} 次: {text})注意自我一致性只能作為輔助判斷不能當(dāng)作絕對標(biāo)準(zhǔn)。因?yàn)槟Ｐ涂赡茉诙啻尾蓸又卸挤€(wěn)定地犯同一個(gè)錯(cuò)誤尤其是那些它在訓(xùn)練中形成強(qiáng)偏見的題目。5.5 建立回歸測試集對 AI 功能做版本升級(jí)或提示詞修改時(shí)一定要準(zhǔn)備一個(gè)回歸測試集。測試集應(yīng)該包含正常輸入邊界輸入容易觸發(fā)幻覺的輸入反事實(shí)或?qū)剐暂斎搿Ｃ看胃膭?dòng)后跑一遍觀察正確率、格式合規(guī)率、置信度分布。這樣至少能在發(fā)版前發(fā)現(xiàn)“某個(gè)問題被修好了但另外一批問題變差了”的回歸風(fēng)險(xiǎn)。在小團(tuán)隊(duì)里這個(gè)測試集可以先從 50 條手工用例開始后面逐步補(bǔ)充線上真實(shí)用戶的高頻問題。測試代碼本身不要復(fù)雜最簡單的方式就是像第 4 節(jié)那樣寫一個(gè)腳本循環(huán)調(diào)用模型輸出一份統(tǒng)計(jì)報(bào)告。6. 常見誤區(qū)與 FAQ6.1 模型說“不知道”就等于有自知之明嗎不一定。模型偶爾會(huì)說“我無法確認(rèn)”這通常是因?yàn)樗挠?xùn)練數(shù)據(jù)里有類似表達(dá)或者 RLHF 階段被鼓勵(lì)在特定話題上保持克制。它不代表模型真的在內(nèi)部檢查了自己的知識(shí)邊界。實(shí)測中同一個(gè)模型在不同措辭下可能一個(gè)版本說“我不知道”另一個(gè)版本就給出詳細(xì)回答。所以不要用模型是否“承認(rèn)不知道”來評(píng)估它的可靠性要看它在真實(shí)業(yè)務(wù)數(shù)據(jù)上的校準(zhǔn)度。6.2 換更大的模型能根治過度自信嗎在一定程度上能緩解但不能根治。更大參數(shù)的模型在記憶和推理基準(zhǔn)上通常更強(qiáng)但在分布外輸入、反事實(shí)推理、長鏈路邏輯上依然會(huì)出現(xiàn)過度自信。生產(chǎn)環(huán)境不能把可靠性完全押在“換大模型”上。更務(wù)實(shí)的做法是不換模型的前提下通過 RAG、結(jié)構(gòu)化輸出、人工審核把這些風(fēng)險(xiǎn)兜住。6.3 模型“自我糾正”是真正的反思嗎不是。當(dāng)模型在提示詞里被要求“檢查你的回答再修改”它做的依然是文本生成根據(jù)“我剛才的答案 檢查指令”重新生成一段文本。這個(gè)流程看起來像反思但模型并沒有一個(gè)獨(dú)立的驗(yàn)證器來確認(rèn)新答案更正確。某些時(shí)候新答案確實(shí)更好某些時(shí)候反而會(huì)把對的改成錯(cuò)的。所以涉及關(guān)鍵判斷時(shí)不要依賴“讓模型自查”這一招應(yīng)該用外部程序校驗(yàn)。6.4 Agent 場景下這個(gè)問題會(huì)更嚴(yán)重嗎會(huì)更嚴(yán)重。Agent 類應(yīng)用例如代碼生成助手、自動(dòng)化執(zhí)行工具會(huì)把模型的輸出直接轉(zhuǎn)化為操作行為。如果模型自信地生成了一個(gè)不存在的函數(shù)名Agent 可能就會(huì)報(bào)錯(cuò)或做出預(yù)期之外的動(dòng)作。所以在 Agent 的架構(gòu)里建議在“模型生成”和“工具調(diào)用”之間加一層工具白名單校驗(yàn)只允許模型調(diào)用系統(tǒng)注冊過的函數(shù)并且對參數(shù)做類型和范圍檢查。這也是目前比較穩(wěn)妥的工程實(shí)踐。7. 最佳實(shí)踐與工程建議7.1 生產(chǎn)環(huán)境檢查清單如果你正在把大模型接入業(yè)務(wù)系統(tǒng)建議對照這張清單逐項(xiàng)確認(rèn)風(fēng)險(xiǎn)點(diǎn)建議做法API Key 泄露使用環(huán)境變量或密鑰管理服務(wù)禁止入庫幻覺數(shù)據(jù)進(jìn)入業(yè)務(wù)關(guān)鍵數(shù)據(jù)用 RAG 或數(shù)據(jù)庫回填不允許模型直接生成用戶輸入注入對拼接進(jìn)提示詞的不可信內(nèi)容做邊界處理模型輸出格式不穩(wěn)使用 JSON 結(jié)構(gòu)化輸出 程序字段校驗(yàn)錯(cuò)誤無法定位記錄完整輸入、輸出、檢索片段保留日志升級(jí)導(dǎo)致行為變化建立回歸測試集發(fā)版前全量比對7.2 一個(gè)可復(fù)用的定位原則實(shí)際開發(fā)中比較推薦的做法是把大模型當(dāng)作“高智商但低可靠性的實(shí)習(xí)生”。它適合做初稿、做分類、做信息提取但所有關(guān)鍵環(huán)節(jié)必須有人或系統(tǒng)復(fù)核。這個(gè)定位聽起來保守卻是目前把大模型安全落地的現(xiàn)實(shí)方式。它不否定大模型的價(jià)值只是把模型放在它真正擅長并且容錯(cuò)率高的位置。7.3 后續(xù)可以做些什么如果你打算把本文的測試腳本改造成自己團(tuán)隊(duì)的評(píng)測工具建議從兩類問題入手一類是已有標(biāo)準(zhǔn)答案的事實(shí)題用來觀察校準(zhǔn)度另一類是需要多步推導(dǎo)的反事實(shí)題用來觀察推理穩(wěn)定性。把這兩類問題自動(dòng)化每周跑一次比臨時(shí)用幾個(gè) prompt 試效果要有用得多。當(dāng)模型版本、提示詞或業(yè)務(wù)上下文發(fā)生變化時(shí)你手里有數(shù)據(jù)就能快速判斷改動(dòng)到底有沒有讓