異步 RAG 延遲拆解從一次檢索請求開始RAG 慢的時候先別急著換向量庫。一次請求會經(jīng)過改寫、檢索、重排、拼接和生成任何一段排隊都可能把尾延遲拉長。為每個階段建立 span用同一請求標識記錄階段開始、結(jié)束、輸入規(guī)模和取消原因。異步任務并發(fā)啟動后也要能匯合不能因為一個分支超時留下后臺任務。預算分配比統(tǒng)一超時更實用總超時拆給檢索、重排和生成并為可選步驟設置降級。等待預算耗盡時返回可解釋結(jié)果不繼續(xù)無邊界重試。記錄候選文檔數(shù)和上下文長度。連接池等待與遠端耗時分開?？蛻舳巳∠蛳掠蝹鞑?。復測使用同一請求分布按短問答、長文檔和無結(jié)果查詢分組查看 P95/P99。只優(yōu)化平均值最慢的用戶仍然會卡住。端到端延遲像一串排隊窗口。把每段等待找出來再決定并行、緩存還是降級通常比盲調(diào)參數(shù)有效。