 Chunk 切片 RAG)
前言在PDF財報、技術手冊這類富文檔場景文檔內部包含大量圖片、圖表、表格。傳統(tǒng)RAG直接對原文切塊向量化會出現(xiàn)圖表信息丟失、檢索召回不準、表格結構被切片破壞等問題。本文講解Multi?Vector多向量多模態(tài)RAG完整鏈路對比傳統(tǒng)Chunk RAG的差異、優(yōu)缺點與工程風險給出選型建議。1 傳統(tǒng)RAG原文Chunk直接向量化工作流程多格式文檔 → 文本解析 → 按固定長度切分原文Chunk → Chunk文本向量化存入向量庫用戶Query → 向量檢索匹配Chunk → 將命中Chunk送入LLM生成答案核心特點向量庫存儲的就是文檔原文切片檢索拿到切片直接用于回答。圖片圖表直接丟棄僅保留文本。優(yōu)缺點維度傳統(tǒng)Chunk RAG向量庫存儲原文切片Chunk素材存儲向量庫直接保存切片文本無獨立原始素材存儲圖片/圖表處理丟棄圖片圖表僅靠OCR結構丟失檢索依據(jù)原文片段原始語義輸入LLM內容檢索命中的Chunk片段優(yōu)勢實現(xiàn)簡單無需額外調用大模型做摘要不存在摘要失真劣勢長Chunk噪聲大檢索容易跑偏短Chunk語義不完整圖片圖表無法檢索表格容易被切壞切片邊界割裂上下文典型痛點財報里一張營收趨勢圖傳統(tǒng)RAG直接丟棄圖片。用戶詢問營收相關問題完全無法召回該圖表對應的信息。2 Multi?Vector多向量多模態(tài)RAG架構整體分為兩大階段文檔入庫預處理階段、用戶查詢檢索生成階段。2.1 入庫預處理Ingest多格式文檔輸入經(jīng)過Layout解析器LlamaParse / Docling做版面解析拆分成三大分支文本分支、表格分支、圖片分支。兩路存儲分離DocStore原始素材庫完整保存原文、原始表格、原始圖片保證素材100%保真不做壓縮修改。向量索引不存儲原始素材。存儲的是提煉后的語義載體文本摘要、圖片MLLM描述文本、表格結構化文本。文本分支原文存入DocStore生成文本摘要摘要向量化寫入向量索引。圖片分支原圖存入DocStore調用MLLM生成圖片描述文本描述向量化寫入向量索引。表格分支原始表格存入DocStore輸出表格結構化文本結構化文本向量化寫入向量索引。核心設計思想向量索引只負責檢索召回真實完整原始素材統(tǒng)一放在DocStore通過ID關聯(lián)。檢索匹配摘要回答回源原始素材。2.2 查詢檢索階段用戶輸入Query執(zhí)行多向量檢索查詢向量索引命中的對象是摘要/圖片描述/表格結構化文本。根據(jù)命中結果的ID回源DocStore拉取完整原始素材原文、原圖、原始表格。將原始素材交付給多模態(tài)LLM完成綜合生成輸出最終答案。??架構紅線絕對不能直接拿向量索引返回的摘要給LLM生成答案。摘要只是檢索的索引卡片存在信息壓縮甚至失真生成必須使用DocStore原始素材。優(yōu)缺點維度Multi?Vector多向量RAG向量庫存儲文本摘要、圖片MLLM描述、表格結構化文本壓縮語義原始素材存儲獨立DocStore保存完整原始素材向量庫只負責檢索圖片/圖表處理圖片通過MLLM描述參與檢索原圖回傳給多模態(tài)LLM表格保留原始結構檢索依據(jù)提煉后的摘要語義輸入LLM內容DocStore拉取的完整原始素材優(yōu)勢摘要語義聚焦召回質量高圖片圖表可以參與檢索表格不會被切片破壞原始素材與檢索索引解耦一份源數(shù)據(jù)可生成多路檢索向量劣勢預處理階段大量調用MLLMToken開銷大、耗時高存在摘要漂移風險需要維護向量索引DocStore兩套存儲ID關聯(lián)邏輯復雜3 核心工程風險點3.1 摘要漂移向量索引中存儲的是大模型生成的摘要。如果摘要理解文檔出錯會檢索召回不匹配的素材。雖然最終生成使用原始素材多模態(tài)LLM有機會修正摘要錯誤但最壞情況摘要錯誤導致檢索拿到完全無關的原始素材答案必然錯誤。3.2 禁止摘要直接作答摘要經(jīng)過壓縮丟失大量細節(jié)。業(yè)務代碼必須嚴格實現(xiàn)回源邏輯禁止把命中摘要直接送入LLM。3.3 ID關聯(lián)一致性向量索引每一條向量記錄都必須綁定DocStore對應的素材唯一ID。入庫、更新、刪除文檔時向量索引與DocStore數(shù)據(jù)要同步維護避免出現(xiàn)ID失效、找不到原始素材。4 技術選型建議純文本、短文檔場景優(yōu)先傳統(tǒng)Chunk RAG。開發(fā)成本低足夠滿足業(yè)務需求。PDF報告、財報、技術手冊、大量圖表截圖場景選擇Multi?Vector多向量多模態(tài)RAG也就是本文流程圖這套鏈路。5 通俗類比總結傳統(tǒng)RAG把一本書撕成碎片碎片存入數(shù)據(jù)庫查詢搜到碎片直接拿碎片回答用戶。Multi?Vector多向量RAG為書中每段文字、每張圖表寫一張索引卡片摘要/描述卡片存入數(shù)據(jù)庫完整書籍保存在DocStore查詢匹配卡片編號再取出完整書頁交給大模型閱讀作答。結語多向量架構解決了傳統(tǒng)RAG處理富媒體文檔的短板但并非銀彈。它以更高預處理成本換取檢索質量提升工程落地要重點把控摘要質量、ID關聯(lián)、回源邏輯這幾個關鍵點。 Multi?Vector 多向量架構 vs 傳統(tǒng) Chunk 切片 RAG
前言在PDF財報、技術手冊這類富文檔場景文檔內部包含大量圖片、圖表、表格。傳統(tǒng)RAG直接對原文切塊向量化會出現(xiàn)圖表信息丟失、檢索召回不準、表格結構被切片破壞等問題。本文講解Multi?Vector多向量多模態(tài)RAG完整鏈路對比傳統(tǒng)Chunk RAG的差異、優(yōu)缺點與工程風險給出選型建議。1 傳統(tǒng)RAG原文Chunk直接向量化工作流程多格式文檔 → 文本解析 → 按固定長度切分原文Chunk → Chunk文本向量化存入向量庫用戶Query → 向量檢索匹配Chunk → 將命中Chunk送入LLM生成答案核心特點向量庫存儲的就是文檔原文切片檢索拿到切片直接用于回答。圖片圖表直接丟棄僅保留文本。優(yōu)缺點維度傳統(tǒng)Chunk RAG向量庫存儲原文切片Chunk素材存儲向量庫直接保存切片文本無獨立原始素材存儲圖片/圖表處理丟棄圖片圖表僅靠OCR結構丟失檢索依據(jù)原文片段原始語義輸入LLM內容檢索命中的Chunk片段優(yōu)勢實現(xiàn)簡單無需額外調用大模型做摘要不存在摘要失真劣勢長Chunk噪聲大檢索容易跑偏短Chunk語義不完整圖片圖表無法檢索表格容易被切壞切片邊界割裂上下文典型痛點財報里一張營收趨勢圖傳統(tǒng)RAG直接丟棄圖片。用戶詢問營收相關問題完全無法召回該圖表對應的信息。2 Multi?Vector多向量多模態(tài)RAG架構整體分為兩大階段文檔入庫預處理階段、用戶查詢檢索生成階段。2.1 入庫預處理Ingest多格式文檔輸入經(jīng)過Layout解析器LlamaParse / Docling做版面解析拆分成三大分支文本分支、表格分支、圖片分支。兩路存儲分離DocStore原始素材庫完整保存原文、原始表格、原始圖片保證素材100%保真不做壓縮修改。向量索引不存儲原始素材。存儲的是提煉后的語義載體文本摘要、圖片MLLM描述文本、表格結構化文本。文本分支原文存入DocStore生成文本摘要摘要向量化寫入向量索引。圖片分支原圖存入DocStore調用MLLM生成圖片描述文本描述向量化寫入向量索引。表格分支原始表格存入DocStore輸出表格結構化文本結構化文本向量化寫入向量索引。核心設計思想向量索引只負責檢索召回真實完整原始素材統(tǒng)一放在DocStore通過ID關聯(lián)。檢索匹配摘要回答回源原始素材。2.2 查詢檢索階段用戶輸入Query執(zhí)行多向量檢索查詢向量索引命中的對象是摘要/圖片描述/表格結構化文本。根據(jù)命中結果的ID回源DocStore拉取完整原始素材原文、原圖、原始表格。將原始素材交付給多模態(tài)LLM完成綜合生成輸出最終答案。??架構紅線絕對不能直接拿向量索引返回的摘要給LLM生成答案。摘要只是檢索的索引卡片存在信息壓縮甚至失真生成必須使用DocStore原始素材。優(yōu)缺點維度Multi?Vector多向量RAG向量庫存儲文本摘要、圖片MLLM描述、表格結構化文本壓縮語義原始素材存儲獨立DocStore保存完整原始素材向量庫只負責檢索圖片/圖表處理圖片通過MLLM描述參與檢索原圖回傳給多模態(tài)LLM表格保留原始結構檢索依據(jù)提煉后的摘要語義輸入LLM內容DocStore拉取的完整原始素材優(yōu)勢摘要語義聚焦召回質量高圖片圖表可以參與檢索表格不會被切片破壞原始素材與檢索索引解耦一份源數(shù)據(jù)可生成多路檢索向量劣勢預處理階段大量調用MLLMToken開銷大、耗時高存在摘要漂移風險需要維護向量索引DocStore兩套存儲ID關聯(lián)邏輯復雜3 核心工程風險點3.1 摘要漂移向量索引中存儲的是大模型生成的摘要。如果摘要理解文檔出錯會檢索召回不匹配的素材。雖然最終生成使用原始素材多模態(tài)LLM有機會修正摘要錯誤但最壞情況摘要錯誤導致檢索拿到完全無關的原始素材答案必然錯誤。3.2 禁止摘要直接作答摘要經(jīng)過壓縮丟失大量細節(jié)。業(yè)務代碼必須嚴格實現(xiàn)回源邏輯禁止把命中摘要直接送入LLM。3.3 ID關聯(lián)一致性向量索引每一條向量記錄都必須綁定DocStore對應的素材唯一ID。入庫、更新、刪除文檔時向量索引與DocStore數(shù)據(jù)要同步維護避免出現(xiàn)ID失效、找不到原始素材。4 技術選型建議純文本、短文檔場景優(yōu)先傳統(tǒng)Chunk RAG。開發(fā)成本低足夠滿足業(yè)務需求。PDF報告、財報、技術手冊、大量圖表截圖場景選擇Multi?Vector多向量多模態(tài)RAG也就是本文流程圖這套鏈路。5 通俗類比總結傳統(tǒng)RAG把一本書撕成碎片碎片存入數(shù)據(jù)庫查詢搜到碎片直接拿碎片回答用戶。Multi?Vector多向量RAG為書中每段文字、每張圖表寫一張索引卡片摘要/描述卡片存入數(shù)據(jù)庫完整書籍保存在DocStore查詢匹配卡片編號再取出完整書頁交給大模型閱讀作答。結語多向量架構解決了傳統(tǒng)RAG處理富媒體文檔的短板但并非銀彈。它以更高預處理成本換取檢索質量提升工程落地要重點把控摘要質量、ID關聯(lián)、回源邏輯這幾個關鍵點。