
文章總結(jié)與翻譯一、主要內(nèi)容本文針對(duì)個(gè)性化大語(yǔ)言模型(PLLMs)現(xiàn)有方法中存在的存儲(chǔ)成本隨用戶(hù)數(shù)量線(xiàn)性增長(zhǎng)(可擴(kuò)展性差)和稀疏數(shù)據(jù)場(chǎng)景下性能不佳兩大核心問(wèn)題,提出了一種名為MTA(Merge-then-Adapt)的三階段框架,實(shí)現(xiàn)高效、可擴(kuò)展的個(gè)性化適配。核心框架流程元-LoRA銀行構(gòu)建(Meta-LoRA Bank Construction):通過(guò)K-Means聚類(lèi)用戶(hù)歷史數(shù)據(jù)嵌入,從每個(gè)聚類(lèi)中選取最活躍的“錨定用戶(hù)”,為每個(gè)錨定用戶(hù)微調(diào)專(zhuān)屬LoRA模塊,形成包含多樣化個(gè)性化特征的共享元-LoRA銀行(存儲(chǔ)成本降為O(V),V遠(yuǎn)小于用戶(hù)總數(shù)n)。自適應(yīng)LoRA融合(Adaptive LoRA Merging):基于目標(biāo)用戶(hù)與錨定用戶(hù)的余弦相似度,檢索最相關(guān)的多個(gè)錨定LoRA模塊,按相似度權(quán)重進(jìn)行動(dòng)態(tài)線(xiàn)性融合,生成用戶(hù)專(zhuān)屬的“融合LoRA”,突破傳統(tǒng)“一對(duì)一LoRA”的靜態(tài)限制,實(shí)現(xiàn)無(wú)限用戶(hù)的自適應(yīng)適配。少樣本個(gè)性化的LoRA堆疊(LoRA Stacking for Few-Shot Personalization):將融合LoRA與基礎(chǔ)模型權(quán)重固化,在其之上疊加一個(gè)超低秩(如r=4)的輕量LoRA模塊,僅微調(diào)該模塊即可捕捉目標(biāo)用戶(hù)的細(xì)粒度偏好,解決稀疏數(shù)據(jù)下的個(gè)性化對(duì)齊問(wèn)題。實(shí)驗(yàn)驗(yàn)證在