1. 為什么用“Gestalt”來(lái)思考多模態(tài)智能最近和人大多模態(tài)研究團(tuán)隊(duì)交流時(shí)我對(duì)一個(gè)詞印象特別深——Gestalt。這個(gè)詞原本來(lái)自格式塔心理學(xué)大意是“整體大于部分之和”中文語(yǔ)境里常被譯成“完形”。用它來(lái)命名一個(gè)做視覺(jué)與語(yǔ)言融合研究的團(tuán)隊(duì)本身就傳遞了一個(gè)很明確的態(tài)度多模態(tài)智能的突破點(diǎn)不在某個(gè)模態(tài)的單點(diǎn)能力而在模態(tài)之間的結(jié)構(gòu)關(guān)系、相互作用和整體涌現(xiàn)。我先說(shuō)一個(gè)很直觀的現(xiàn)象。今天很多多模態(tài)模型給你一張圖它能告訴你“圖片里有一個(gè)戴帽子的男人在騎自行車”但如果你追問(wèn)一句“這個(gè)人的心情大概是什么狀態(tài)”“他騎車的動(dòng)作是放松還是緊張”絕大多數(shù)模型會(huì)卡住。不是模型的參數(shù)不夠也不是訓(xùn)練數(shù)據(jù)里缺這種圖片而是模型沒(méi)有真正建立起模態(tài)之間的“完形結(jié)構(gòu)”——它理解了物體但沒(méi)有理解場(chǎng)景它識(shí)別了要素但沒(méi)有捕捉要素之間的張力。這種張力恰恰是人類視覺(jué)語(yǔ)言智能最獨(dú)特的地方。人類看到一個(gè)畫面時(shí)不會(huì)先逐幀標(biāo)注“這是桌子、這是椅子、這是人”我們直接整體接收到一個(gè)場(chǎng)景的意義語(yǔ)言再輔助我們把這個(gè)意義反過(guò)來(lái)精細(xì)化成可表達(dá)的信息。Gestalt團(tuán)隊(duì)的研究思路本質(zhì)就是想讓AI具備這種“整體感知—局部驗(yàn)證—再整體理解”的能力而不是走傳統(tǒng)目標(biāo)檢測(cè)那套“先切碎、再拼回”的老路。這次對(duì)話中有一個(gè)很值得記錄的判斷多模態(tài)智能的真正門檻不是把視覺(jué)和語(yǔ)言放進(jìn)同一個(gè)模型里而是讓它們?cè)谛畔用姘l(fā)生化學(xué)反應(yīng)。視覺(jué)提供空間結(jié)構(gòu)語(yǔ)言提供邏輯結(jié)構(gòu)兩者互相約束、互相補(bǔ)充才會(huì)出現(xiàn)單模態(tài)模型永遠(yuǎn)學(xué)不到的“信息涌現(xiàn)”現(xiàn)象。下面我把這次交流里的核心觀點(diǎn)、技術(shù)思路和落地場(chǎng)景拆開(kāi)來(lái)講。2. 視覺(jué)語(yǔ)言耦合的核心邏輯兩層協(xié)同機(jī)制2.1 感知層對(duì)齊從特征匹配到結(jié)構(gòu)匹配早期視覺(jué)語(yǔ)言模型的做法很簡(jiǎn)單——把圖片過(guò)一遍CNN或ViT把文字過(guò)一遍Transformer然后拿兩個(gè)特征向量做對(duì)比學(xué)習(xí)。這種方案在圖文檢索任務(wù)上是有效的CLIP就是典型代表。但它的上限也很明顯特征向量的對(duì)齊是“淺層”的模型知道圖片和文本“說(shuō)的是同一件事”但不知道這件事內(nèi)部的結(jié)構(gòu)關(guān)系。Gestalt團(tuán)隊(duì)在交流中特別強(qiáng)調(diào)了一個(gè)詞結(jié)構(gòu)對(duì)齊。什么叫結(jié)構(gòu)匹配舉個(gè)例子“一個(gè)男人推著嬰兒車過(guò)馬路”和“一個(gè)男人推著購(gòu)物車過(guò)馬路”兩張圖在像素層面差異不小但語(yǔ)義結(jié)構(gòu)非常相似——主體是人、動(dòng)作是推、被推的物體是可移動(dòng)的載具、場(chǎng)景是馬路。反過(guò)來(lái)“一個(gè)男人抱著嬰兒站在馬路邊”和上面兩句話共享很多元素但結(jié)構(gòu)關(guān)系完全不同因?yàn)槟銢](méi)法在“男人—嬰兒—馬路”之間建立“推”這個(gè)動(dòng)作關(guān)系?；谶@個(gè)理解高級(jí)的模態(tài)對(duì)齊不該只算“整體相似度”而應(yīng)該同時(shí)對(duì)齊三樣?xùn)|西實(shí)體與實(shí)體的對(duì)應(yīng)關(guān)系、實(shí)體與動(dòng)作的從屬關(guān)系、動(dòng)作與場(chǎng)景的因果約束。我在實(shí)踐中接觸過(guò)不少多模態(tài)檢索系統(tǒng)最容易出錯(cuò)的情況恰恰就是“要素對(duì)上了、結(jié)構(gòu)對(duì)不上”比如把“狗追貓”的圖匹配到“貓追狗”的文本上。要讓模型突破這個(gè)瓶頸感知層就不能只做全局特征對(duì)齊得引入?yún)^(qū)域級(jí)、關(guān)系級(jí)的對(duì)齊目標(biāo)。這個(gè)思路放在工程落地里最直接的效果是圖文檢索和視覺(jué)問(wèn)答的魯棒性會(huì)顯著提升。2.2 認(rèn)知層推理語(yǔ)言作為視覺(jué)理解的“杠桿”第二個(gè)層面更有意思——語(yǔ)言不只是用來(lái)匹配圖片內(nèi)容的它還可以反過(guò)來(lái)引導(dǎo)視覺(jué)理解的過(guò)程。Gestalt團(tuán)隊(duì)稱這個(gè)過(guò)程為“語(yǔ)言引導(dǎo)的視覺(jué)推理”我特別認(rèn)同這個(gè)說(shuō)法。人類看一張復(fù)雜圖片時(shí)注意力不是均勻分布的。你問(wèn)“圖中有幾個(gè)人”你會(huì)主動(dòng)搜索人體區(qū)域你問(wèn)“這些人之間的情緒關(guān)系”你會(huì)重點(diǎn)看面部表情和肢體朝向你問(wèn)“這個(gè)場(chǎng)景適合做什么”你會(huì)整體掃描環(huán)境功能分區(qū)。語(yǔ)言在這里充當(dāng)了“注意力控制器”。目前很多多模態(tài)大模型已經(jīng)在做類似的事情比如通過(guò)用戶問(wèn)題生成視覺(jué)prompt再用prompt去約束視覺(jué)編碼器的注意力權(quán)重。但實(shí)際做下來(lái)我發(fā)現(xiàn)一個(gè)容易被忽略的問(wèn)題語(yǔ)言引導(dǎo)不能只停留在“加權(quán)”這個(gè)層面它需要改變視覺(jué)特征的組織方式。什么意思如果你問(wèn)“這些人之間的關(guān)系”輸入到視覺(jué)端的就不僅僅應(yīng)該是“關(guān)注人臉”這種區(qū)域級(jí)指令還應(yīng)該包含關(guān)系建模所需的特征重組邏輯——比如把多個(gè)人體框之間的相對(duì)距離、朝向夾角、交互接觸度作為顯式特征提取出來(lái)。團(tuán)隊(duì)提到一個(gè)他們?cè)趯?shí)驗(yàn)里反復(fù)驗(yàn)證的現(xiàn)象當(dāng)語(yǔ)言指令從“是什么”升級(jí)為“關(guān)系怎么組織”時(shí)視覺(jué)模型的特征分布會(huì)發(fā)生明顯的變化原本散落在不同區(qū)域的特征點(diǎn)會(huì)向關(guān)系結(jié)構(gòu)的方向聚合最終形成高層次的語(yǔ)義表征。這其實(shí)就是“信息涌現(xiàn)”在表征層面的體現(xiàn)。想在應(yīng)用層復(fù)現(xiàn)這種效果提示詞工程不能只寫“描述這張圖”而應(yīng)該寫“請(qǐng)找出圖中人與人之間的互動(dòng)關(guān)系并用先后順序描述因果關(guān)系”這種問(wèn)題結(jié)構(gòu)會(huì)讓模型調(diào)用完全不同的推理路徑。3. 信息涌現(xiàn)從對(duì)齊到生成的質(zhì)變3.1 涌現(xiàn)的層次信號(hào)到符號(hào)的躍遷涌現(xiàn)在多模態(tài)智能里有三個(gè)遞進(jìn)層次這個(gè)觀點(diǎn)是交流中很核心的一條主線我用實(shí)際項(xiàng)目經(jīng)驗(yàn)來(lái)解釋一下。第一層是統(tǒng)計(jì)涌現(xiàn)。模型看過(guò)海量的圖文對(duì)之后能夠統(tǒng)計(jì)出“什么樣的視覺(jué)特征通常和什么詞一起出現(xiàn)”。這個(gè)層次不需要真正的理解它只是概率分布的擬合?，F(xiàn)在大多數(shù)檢索類應(yīng)用停留在這個(gè)層級(jí)。第二層是結(jié)構(gòu)涌現(xiàn)。模型不僅知道共現(xiàn)關(guān)系還能捕捉到跨模態(tài)的結(jié)構(gòu)規(guī)律——物體與動(dòng)作之間的邏輯關(guān)系、場(chǎng)景與事件之間的時(shí)空約束。比如你給模型看一張“廚房里散落食材和廚具”的照片它不僅能識(shí)別出“這是廚房”還能推斷出“這里可能正在準(zhǔn)備某頓飯”因?yàn)椤笆巢摹獜N具—廚房”這三者的關(guān)系鏈在訓(xùn)練數(shù)據(jù)中形成了穩(wěn)定的結(jié)構(gòu)模式。第三層是語(yǔ)義涌現(xiàn)。模型從多模態(tài)輸入中提取到超越單模態(tài)信息量的新語(yǔ)義。舉個(gè)例子一張照片里一個(gè)人的手放在另一個(gè)人肩上單獨(dú)看視覺(jué)資料模型只能知道“手接觸肩膀”單獨(dú)看語(yǔ)言描述模型只知道“兩人存在互動(dòng)”但當(dāng)兩者結(jié)合時(shí)模型可以推斷出“兩人關(guān)系親密、可能是朋友或家人、這個(gè)場(chǎng)景發(fā)生在輕松社交環(huán)境”。這個(gè)判斷無(wú)法從視覺(jué)或語(yǔ)言任何一個(gè)單獨(dú)模態(tài)中得出只能靠?jī)蓚€(gè)模態(tài)的信息相互補(bǔ)全。這就是我在日常工作里最看重的AI能力——跨模態(tài)信息補(bǔ)全。從工程角度看評(píng)估一個(gè)多模態(tài)模型是停留在第一層還是已經(jīng)接近第三層有一個(gè)很簡(jiǎn)單的測(cè)試方法你把圖片輸入和文字輸入分別丟給單模態(tài)模型把兩者得到的結(jié)果加權(quán)合并再和完整多模態(tài)模型的結(jié)果做對(duì)比。如果多模態(tài)模型明顯優(yōu)于“單模態(tài)加權(quán)合并”的baseline說(shuō)明存在信息涌現(xiàn)如果性能差不多那本質(zhì)上只是兩個(gè)單模態(tài)系統(tǒng)的拼接。3.2 對(duì)撞實(shí)驗(yàn)一張圖片多種表述多種結(jié)論交流中Gestalt團(tuán)隊(duì)分享的一個(gè)實(shí)驗(yàn)設(shè)計(jì)讓我印象深刻他們稱之為“對(duì)撞實(shí)驗(yàn)”。做法很簡(jiǎn)單同一張圖片配不同的語(yǔ)言線索讓模型做同一個(gè)任務(wù)。比如一張圖里有三個(gè)人圍坐在一起桌上放著筆記本電腦和文件。語(yǔ)言線索A是“這是一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)的周會(huì)”語(yǔ)言線索B是“這是三位老友的周末聚會(huì)”語(yǔ)言線索C是“這是一個(gè)審訊室里的對(duì)話”。模型對(duì)同一副畫面的解讀會(huì)完全不同——A線索下它關(guān)注電腦上的內(nèi)容、成員分工B線索下它關(guān)注表情互動(dòng)、親密度C線索下它關(guān)注肢體語(yǔ)言、坐姿緊張程度。這個(gè)實(shí)驗(yàn)最核心的價(jià)值在于驗(yàn)證一個(gè)命題多模態(tài)模型到底是“看圖說(shuō)話”還是“按提示看圖”。如果模型在不同語(yǔ)言線索下對(duì)視覺(jué)區(qū)域的注意力分布沒(méi)有顯著變化說(shuō)明語(yǔ)言模態(tài)沒(méi)有真正參與視覺(jué)理解只是作為輸出端的一層“帽子”。真正合格的模型應(yīng)該在語(yǔ)言線索改變時(shí)呈現(xiàn)出明顯的視覺(jué)注意力遷移。我自己在測(cè)試智能客服的圖片理解能力時(shí)復(fù)用了一套類似的思路。用戶發(fā)來(lái)一張產(chǎn)品照片我分別用“請(qǐng)描述外觀”、“請(qǐng)?jiān)u估損壞程度”、“請(qǐng)判斷是否可以繼續(xù)使用”三個(gè)問(wèn)題去問(wèn)同一個(gè)視覺(jué)模型發(fā)現(xiàn)模型的關(guān)注點(diǎn)和推理路徑確實(shí)會(huì)發(fā)生變化——這就說(shuō)明模型的視覺(jué)編碼層是可被語(yǔ)言動(dòng)態(tài)調(diào)制的。這個(gè)特性在落地中非常重要因?yàn)樗鼪Q定了一個(gè)模型能否適應(yīng)開(kāi)放式真實(shí)場(chǎng)景而不是只在固定任務(wù)格式下生效。4. 實(shí)操視角多模態(tài)智能如何與AI智能體結(jié)合4.1 智能體環(huán)境感知視覺(jué)語(yǔ)言并非只是“看圖說(shuō)話”交流中聊到一個(gè)趨勢(shì)多模態(tài)大模型的落地方向正從“被動(dòng)問(wèn)答”轉(zhuǎn)向“主動(dòng)感知”這正是AI智能體的核心需求。如果你讓一個(gè)智能體“幫我在這個(gè)房間里找一把紅色椅子”它不能只做“看圖片輸出描述”這個(gè)動(dòng)作它需要把視覺(jué)理解結(jié)果轉(zhuǎn)化為行動(dòng)指令——先定位椅子的候選區(qū)域再分析紅色是否與周圍環(huán)境形成干擾再規(guī)劃移動(dòng)路徑最后執(zhí)行交互操作。每一步都要依賴跨模態(tài)的協(xié)同而不是簡(jiǎn)單的檢索引擎。在當(dāng)前業(yè)界實(shí)踐里智能體的多模態(tài)感知通常采用“三級(jí)流水線”底層是視覺(jué)定位模型負(fù)責(zé)把物體的位置框出來(lái)中間層是語(yǔ)言條件感知模塊根據(jù)任務(wù)描述調(diào)整視覺(jué)特征的權(quán)重頂層是規(guī)劃模塊將感知結(jié)果映射為動(dòng)作序列。我見(jiàn)過(guò)很多項(xiàng)目在中間層偷懶直接用一個(gè)大模型在底層檢測(cè)框上做裁剪分類結(jié)果就是“模型知道椅子在哪里但不知道怎么把信息變成行動(dòng)”。核心原因在于感知、語(yǔ)義理解、行動(dòng)規(guī)劃三者之間的信息格式?jīng)]有打通。復(fù)現(xiàn)一個(gè)合格的多模態(tài)智能體感知鏈路至少需要滿足三個(gè)條件視覺(jué)編碼器輸出的特征必須保留空間坐標(biāo)信息語(yǔ)言指令需要轉(zhuǎn)化成與視覺(jué)特征同緯度的條件向量規(guī)劃模塊需要能消費(fèi)結(jié)構(gòu)化的時(shí)空數(shù)據(jù)比如“椅子在視野右側(cè)偏下角距離約1.5米”。我在真實(shí)項(xiàng)目里踩過(guò)最深的坑是空間坐標(biāo)信息在視覺(jué)編碼階段被池化層直接丟掉了導(dǎo)致模型準(zhǔn)確地識(shí)別出物體、但完全無(wú)法回答“物體在畫面的哪個(gè)位置”。4.2 應(yīng)用案例拆解桌面級(jí)視覺(jué)助手的完整工作流我在去年做過(guò)一個(gè)“桌面級(jí)視覺(jué)助手”的原型項(xiàng)目和Gestalt團(tuán)隊(duì)研究的思路高度吻合這里正好拆解一下完整工作流供大家參考。需求場(chǎng)景是用戶拍一張辦公桌照片智能體需要自動(dòng)識(shí)別桌面上有哪些物品、哪些物品可能過(guò)期、哪些物品需要補(bǔ)充。如果只靠傳統(tǒng)目標(biāo)檢測(cè)你訓(xùn)練一大堆類別標(biāo)簽也能做到七八成準(zhǔn)確率但遇到“一個(gè)透明玻璃瓶里裝著像糖果的泡騰片”這種模糊目標(biāo)純檢測(cè)模型就失效了。我在這個(gè)項(xiàng)目里采用了視覺(jué)語(yǔ)言協(xié)同的方式。第一輪先用一個(gè)輕量級(jí)視覺(jué)編碼器提取桌面物品的區(qū)域特征不直接分類第二輪引入語(yǔ)言模型把“過(guò)期”“補(bǔ)充”“脆弱”“液體”這類任務(wù)相關(guān)詞轉(zhuǎn)成條件向量與區(qū)域特征做交互注意力第三輪再讓語(yǔ)言模型針對(duì)注意力得分高的區(qū)域做細(xì)粒度描述。最終準(zhǔn)確率比純檢測(cè)方案高了大約兩個(gè)數(shù)量級(jí)的維度提升更關(guān)鍵的是模型能解釋自己為什么覺(jué)得某個(gè)物品“需要補(bǔ)充”——是因?yàn)榘b破損、因?yàn)槭Ｓ嗔可?、還是因?yàn)楸Ｙ|(zhì)期臨近。這種可解釋性是智能體落地的關(guān)鍵前提沒(méi)有解釋能力用戶沒(méi)辦法信任機(jī)器人的自主判斷。我個(gè)人建議想入局多模態(tài)智能體方向的朋友先從這類“任務(wù)驅(qū)動(dòng)的桌面感知”小場(chǎng)景開(kāi)始別一上來(lái)就做全屋導(dǎo)航機(jī)器人。場(chǎng)景越小視覺(jué)信息的干擾越少跨模態(tài)協(xié)同的因果關(guān)系越容易驗(yàn)證。4.3 評(píng)測(cè)維度不能只盯著準(zhǔn)確率交流中一個(gè)很重要的提醒是多模態(tài)智能的評(píng)測(cè)體系單維化是很多人項(xiàng)目失敗的根本原因。今天行業(yè)里常見(jiàn)的評(píng)測(cè)方式是拿一個(gè)公開(kāi)benchmark跑一下accuracy數(shù)據(jù)漲了兩個(gè)點(diǎn)就覺(jué)得模型進(jìn)步了。但即便是一個(gè)簡(jiǎn)單的看圖問(wèn)答任務(wù)也應(yīng)該至少?gòu)娜齻€(gè)維度評(píng)價(jià)模型能力感知完備度圖中關(guān)鍵信息有沒(méi)有被捕獲、語(yǔ)言契合度回答是否與問(wèn)題語(yǔ)義精準(zhǔn)對(duì)應(yīng)而不是字面相關(guān)、推理自洽度回答前后是否邏輯一致能不能支持追問(wèn)。我在做智能體評(píng)測(cè)時(shí)還會(huì)額外加兩個(gè)維度抗干擾性和跨域遷移性?？垢蓴_性測(cè)試的是——當(dāng)畫面中加入無(wú)關(guān)物品、改變光照、部分遮擋時(shí)模型能否保持判斷穩(wěn)定跨域遷移性測(cè)試的是——模型在一個(gè)場(chǎng)景訓(xùn)練后直接部署到另一個(gè)不同布局的環(huán)境性能下降多少。這兩個(gè)維度在實(shí)際落地中比benchmark分?jǐn)?shù)重要得多因?yàn)檎鎸?shí)世界從來(lái)不會(huì)按照訓(xùn)練集的分布運(yùn)行。這里給出一個(gè)我在實(shí)踐中總結(jié)出來(lái)的評(píng)測(cè)模板適用于大多數(shù)視覺(jué)語(yǔ)言類智能應(yīng)用直接可以抄作業(yè)評(píng)測(cè)維度測(cè)試方法通過(guò)標(biāo)準(zhǔn)感知完備度隱藏圖中一個(gè)關(guān)鍵目標(biāo)再提問(wèn)關(guān)鍵目標(biāo)被主動(dòng)提及語(yǔ)言契合度針對(duì)同一圖提出5種不同角度的追問(wèn)回答方向隨問(wèn)題遷移推理自洽度連續(xù)追問(wèn)因果鏈前后不矛盾、不確定時(shí)會(huì)承認(rèn)抗干擾性加入噪聲、遮擋、色彩偏移核心結(jié)論不漂移跨域遷移性在未見(jiàn)過(guò)的場(chǎng)景上直接測(cè)試性能下降小于20%這套模板真正用下來(lái)你會(huì)發(fā)現(xiàn)自己模型的短板往往不在“認(rèn)識(shí)的東西不夠多”而在“已知信息利用得不夠有效”。5. 常見(jiàn)誤區(qū)與踩坑實(shí)錄5.1 誤區(qū)一模態(tài)越多越好我在和好幾個(gè)團(tuán)隊(duì)溝通時(shí)發(fā)現(xiàn)一個(gè)普遍心態(tài)——既然視覺(jué)和語(yǔ)言融合能產(chǎn)生涌現(xiàn)效果那再加上音頻、觸覺(jué)、姿態(tài)模型是不是會(huì)更厲害表面看是這個(gè)道理但實(shí)際落地時(shí)每增加一個(gè)模態(tài)數(shù)據(jù)對(duì)齊的難度就會(huì)指數(shù)級(jí)上升。數(shù)據(jù)量不夠的情況下多模態(tài)模型很容易退化成“各模態(tài)各說(shuō)各話”用一個(gè)強(qiáng)模態(tài)的輸出掩蓋其余弱模態(tài)的噪聲。Gestalt團(tuán)隊(duì)在交流中也強(qiáng)調(diào)了同一件事模態(tài)之間的對(duì)齊質(zhì)量遠(yuǎn)比模態(tài)的數(shù)量重要。一種有效做法是先在一個(gè)強(qiáng)模態(tài)對(duì)上做扎實(shí)的結(jié)構(gòu)對(duì)齊比如視覺(jué)語(yǔ)言等這套機(jī)制穩(wěn)定了再逐步把其他模態(tài)映射到已有的聯(lián)合語(yǔ)義空間里。從零開(kāi)始同時(shí)融合四五個(gè)模態(tài)的項(xiàng)目我?guī)缀鯖](méi)見(jiàn)過(guò)能在一年內(nèi)跑出可用結(jié)果的。5.2 誤區(qū)二把“文字理解”當(dāng)成“視覺(jué)理解”這個(gè)誤區(qū)非常隱蔽。很多多模態(tài)模型的視覺(jué)端其實(shí)只是個(gè)“忠實(shí)截圖工具”真正回答問(wèn)題時(shí)靠的是語(yǔ)言模型從已有知識(shí)中編造答案。測(cè)試方式很簡(jiǎn)單你給模型一張與問(wèn)題毫無(wú)關(guān)系的圖片作為干擾項(xiàng)如果模型依然能給出與問(wèn)題相關(guān)的合理解答說(shuō)明它本質(zhì)上在用單模態(tài)語(yǔ)言能力解題根本沒(méi)看圖片。這種模型在演示環(huán)境里看著很聰明但一上真實(shí)場(chǎng)景就露餡——真實(shí)場(chǎng)景里圖片信息往往是唯一的信息源模型一旦不依賴視覺(jué)輸入就意味著它的視覺(jué)能力形同虛設(shè)。我在驗(yàn)收供應(yīng)商模型時(shí)一定會(huì)做這個(gè)“無(wú)關(guān)圖干擾測(cè)試”十個(gè)模型里至少有六個(gè)會(huì)翻車。想判斷一個(gè)模型是不是真的“多模態(tài)”這個(gè)測(cè)試值得作為第一道關(guān)卡。5.3 避坑技巧數(shù)據(jù)標(biāo)簽的粒度決定模型上限在做視覺(jué)語(yǔ)言模型訓(xùn)練時(shí)我踩過(guò)最慘的一個(gè)坑是標(biāo)簽粒度過(guò)粗。你給一張“廚房”的圖打上“廚房”的標(biāo)簽?zāi)Ｐ痛_實(shí)能學(xué)會(huì)分類但它在“描述廚房里的活動(dòng)”“推斷可能發(fā)生的事件”“判斷哪個(gè)區(qū)域最危險(xiǎn)”這些任務(wù)上依然會(huì)失敗。原因很簡(jiǎn)單——粗粒度標(biāo)簽丟失了關(guān)系信息。想引導(dǎo)模型產(chǎn)生信息涌現(xiàn)數(shù)據(jù)標(biāo)簽必須包含三層實(shí)體層有什么、關(guān)系層彼此之間是什么關(guān)系、事件層這些關(guān)系和實(shí)體組合起來(lái)可能引發(fā)什么。Gestalt團(tuán)隊(duì)提到的“場(chǎng)景圖標(biāo)注”方法值得借鑒它把圖片內(nèi)容表示成“實(shí)體—關(guān)系—實(shí)體”的三元組結(jié)構(gòu)。比如“男人—推—嬰兒車”“嬰兒車—位于—馬路”“男人—穿著—正裝”這種結(jié)構(gòu)化標(biāo)注為模型提供了關(guān)系推理的直接監(jiān)督信號(hào)。我在一個(gè)電商場(chǎng)景項(xiàng)目中嘗試過(guò)這種標(biāo)簽策略讓標(biāo)注員不僅標(biāo)注商品類別還標(biāo)注“商品—使用場(chǎng)景”“商品—人群”“商品—搭配對(duì)象”等關(guān)系三元組。訓(xùn)練出來(lái)的模型在導(dǎo)購(gòu)問(wèn)答中的表現(xiàn)比只標(biāo)類目的模型高出一大截而且回答的自然度和可解釋性完全是兩個(gè)量級(jí)。5.4 一個(gè)容易被忽略的問(wèn)題編程實(shí)現(xiàn)的坑最后從工程層面補(bǔ)一個(gè)很實(shí)際的坑。視覺(jué)特征與文本特征融合時(shí)最容易出的問(wèn)題是維度不匹配和歸一化方式不一致。我見(jiàn)過(guò)好幾個(gè)項(xiàng)目視覺(jué)特征用的是L2歸一化文本特征用的是LayerNorm之后的結(jié)果直接拼接送給下游分類器結(jié)果訓(xùn)練時(shí)loss波動(dòng)劇烈怎么調(diào)學(xué)習(xí)率都不收斂。正確的做法是把兩個(gè)模態(tài)的特征先各自歸一化到同一個(gè)分布的范圍內(nèi)然后通過(guò)一個(gè)可學(xué)習(xí)的線性投影層映射到相同的共享空間再在共享空間內(nèi)做融合。融合方式上簡(jiǎn)單的拼接往往不如交叉注意力有效因?yàn)槠唇颖Ａ舻娜允莾蓚€(gè)獨(dú)立信息流而交叉注意力才能讓信息真正流動(dòng)起來(lái)。自己寫模型時(shí)直接先固定圖像編碼器和文本編碼器只訓(xùn)練融合層這樣既能加快收斂速度也能比較清晰地看出融合層的真實(shí)效果。6. 從研究到產(chǎn)品多模態(tài)智能能給普通開(kāi)發(fā)者帶來(lái)什么6.1 降低門檻現(xiàn)成模型與工具鏈的選擇一個(gè)好消息是現(xiàn)在做視覺(jué)語(yǔ)言的研究和產(chǎn)品開(kāi)發(fā)不必像幾年之前那樣從零訓(xùn)練模型。公開(kāi)可用的多模態(tài)基礎(chǔ)模型已經(jīng)具備不錯(cuò)的感知和推理底子普通開(kāi)發(fā)者需要做的更多是如何針對(duì)場(chǎng)景做微調(diào)和評(píng)測(cè)。我在選擇基礎(chǔ)模型時(shí)有一個(gè)實(shí)用標(biāo)準(zhǔn)不要只看榜單分?jǐn)?shù)而是跑一組自定義測(cè)試集這個(gè)測(cè)試集必須貼合你的真實(shí)產(chǎn)品場(chǎng)景。具體來(lái)說(shuō)從你的場(chǎng)景中找一百?gòu)埖湫蛨D片配五十個(gè)你們業(yè)務(wù)里最可能被問(wèn)到的各類問(wèn)題手工標(biāo)注好標(biāo)準(zhǔn)答案然后讓候選模型跑一遍人工審查輸出質(zhì)量。這比任何公開(kāi)benchmark都更有參考意義因?yàn)楣_(kāi)榜單純拼的是通用知識(shí)而產(chǎn)品需要的是場(chǎng)景適配度。6.2 AI智能體產(chǎn)品設(shè)計(jì)中的多模態(tài)思維如果一個(gè)普通開(kāi)發(fā)者想從零開(kāi)始做一個(gè)AI智能體產(chǎn)品我的建議是先別急著調(diào)接口先把產(chǎn)品里的“信息流”畫清楚。用戶會(huì)輸入什么模態(tài)的信息文字、圖片、語(yǔ)音系統(tǒng)需要從中抽取哪些關(guān)鍵信息這些信息之間有什么關(guān)系哪些信息需要跨模態(tài)補(bǔ)充才能獲得這個(gè)思考過(guò)程的價(jià)值比任何模型選型都大。舉個(gè)例子我設(shè)計(jì)過(guò)一個(gè)“舊物回收估價(jià)助手”用戶拍照上傳閑置物品助手估算價(jià)格并推薦回收渠道。信息流是這樣的視覺(jué)信息提供物品品類、外觀完整度、成色判斷語(yǔ)言信息提供用戶輸入的物品品牌、來(lái)源渠道、使用年限跨模態(tài)補(bǔ)充的是品類與成色結(jié)合后的市場(chǎng)估價(jià)區(qū)間。只有當(dāng)視覺(jué)和語(yǔ)言信息真正融合時(shí)估價(jià)結(jié)果才靠譜——只靠照片會(huì)忽略用戶提供的關(guān)鍵背景只靠文字描述會(huì)缺失最直觀的外觀判斷依據(jù)。這種“信息流設(shè)計(jì)”思維是我從Gestalt團(tuán)隊(duì)分享中最受啟發(fā)的一點(diǎn)。多模態(tài)智能不是簡(jiǎn)單的模型拼接它首先是一種產(chǎn)品設(shè)計(jì)思想——你想讓你的產(chǎn)品從多模態(tài)輸入中挖掘什么層次的語(yǔ)義信息決定了你要建設(shè)什么樣的模型能力。6.3 未來(lái)擴(kuò)展邁向真正的信息涌現(xiàn)系統(tǒng)關(guān)于未來(lái)我個(gè)人的判斷是接下來(lái)的三五年多模態(tài)智能研究會(huì)從“怎么對(duì)齊模態(tài)”逐步轉(zhuǎn)向“怎么設(shè)計(jì)信息交互的結(jié)構(gòu)”。單純擴(kuò)大模型參數(shù)或訓(xùn)練數(shù)據(jù)規(guī)模的路徑已經(jīng)顯露疲態(tài)真正的突破點(diǎn)將出現(xiàn)在新的融合架構(gòu)上——比如跨模態(tài)的記憶機(jī)制、動(dòng)態(tài)模態(tài)權(quán)重調(diào)度、以及從感知到規(guī)劃的閉環(huán)反饋。在這個(gè)方向上普通開(kāi)發(fā)者能做的事情反而很多你在真實(shí)場(chǎng)景中積累的數(shù)據(jù)、踩過(guò)的坑、發(fā)現(xiàn)的評(píng)測(cè)盲區(qū)都會(huì)成為推動(dòng)技術(shù)演進(jìn)的重要拼圖。學(xué)術(shù)團(tuán)隊(duì)產(chǎn)出的概念框架往往需要一線實(shí)踐者的驗(yàn)證、修正和細(xì)化才能真正變成可靠的生產(chǎn)工具。這次和人大高瓴Gestalt團(tuán)隊(duì)的交流給我的直接收獲是做多模態(tài)智能不要急著堆數(shù)據(jù)、堆參數(shù)先想清楚你的信息結(jié)構(gòu)是什么、想讓什么層面的信息涌現(xiàn)出來(lái)、如何評(píng)測(cè)這種涌現(xiàn)是否真的發(fā)生了。把這些想清楚了后面的技術(shù)選型和系統(tǒng)設(shè)計(jì)都會(huì)自然展開(kāi)。