習(xí)記錄t1)
Chapter 2 學(xué)習(xí)筆記上下文工程與 KV Cache本章核心是上下文決定 Agent 能力上限。我通過 kv-cache 離線對(duì)比實(shí)驗(yàn)直觀看到上下文管理模式對(duì)性能的巨大影響。實(shí)驗(yàn)對(duì)比了六種模式。correct穩(wěn)定系統(tǒng)提示、固定工具順序首 token 延遲TTFT僅 2.328 秒緩存比例 10.1%。一旦改動(dòng)前綴代價(jià)立刻顯現(xiàn)shuffled_tools打亂工具列表TTFT 飆升到 7.818 秒緩存比例跌至 3.4%text_format改用文本格式TTFT 達(dá) 6.189 秒dynamic_system動(dòng)態(tài)系統(tǒng)提示總耗時(shí)從 18 秒漲到 24 秒。這印證了前綴不能動(dòng)是 KV Cache 的架構(gòu)約束——緩存復(fù)用關(guān)注的是輸入序列的精確前綴匹配而非語義等價(jià)。有趣的對(duì)照是sliding_window它砍掉歷史后 token 用量降到 2,224節(jié)省 61.1%但迭代次數(shù)從 3 次變成 5 次——省了 token卻讓 Agent 多跑了幾輪。這說明壓縮不是免費(fèi)的上下文裁剪會(huì)在別處付出代價(jià)。上下文工程不是把信息塞進(jìn) prompt而是系統(tǒng)性地設(shè)計(jì)信息供給讓模型的通用推理能力在具體任務(wù)中充分發(fā)揮。