这篇是我整理的一份 RAG 笔记。我想顺着数据流,把一份文档怎样进入知识库、一个问题怎样找到相关材料,以及这些材料怎样支撑回答,连起来理解。
RAG 经常被画成“检索器加大模型”。沿着这条主线展开,还会遇到许多具体问题:文档怎么解析和分块,embedding 与向量库各负责什么,查询为什么需要改写,混合检索和重排怎样配合,最后又该怎样判断答案和引用是否可靠。
文章先建立完整流程,再逐步展开这些环节,最后结合评测和开源实现回看整个系统。如果你也想梳理这些机制,欢迎一起读下去,也欢迎分享你的理解和实践经验。
1 为什么需要 RAG:让模型依据外部知识回答
知识来源:模型知道的内容与任务需要的材料
模型可以依据参数中的知识回答问题,但任务需要的资料可能并不在其中:组织内部的文档、持续更新的产品说明、用户有权限访问的数据,以及需要逐条回到原文核对的规则。
即使模型生成了一个听起来合理的答案,也还需要知道它依据了什么。对于需要外部资料的任务,系统可以先检索相关内容,再将这些内容和问题一起交给模型。RAG,即 Retrieval-Augmented Generation,检索增强生成,将检索得到的材料引入生成过程。
Lewis 等人的 RAG 原始论文讨论了参数知识与外部非参数知识的结合。工程中的 RAG 可以使用不同的检索器、索引和生成接口;不必把论文中的具体训练与解码方案都搬进来,才能实现检索增强。
外部知识也因此有了独立的维护路径。资料更新后,可以重新处理对应内容与索引,使后续检索使用更新后的材料。一次普通检索不会把文档自动写进模型参数,模型仍是根据本次输入中的证据进行回答。
使用条件:与长上下文、微调怎样配合
如果只有几份简短材料,直接放进上下文就可能足够。资料很多、更新频繁,或者不同用户可见的范围不同时,先检索有助于控制每次需要处理的内容。
长上下文扩大了可输入的材料范围,检索负责选择哪些材料值得进入输入。二者可以组合;窗口足够长,也仍然需要考虑相关性、重复内容、费用与模型怎样利用证据。Lost in the Middle研究了相关信息的位置对回答的影响,提示我们应评价实际上下文的使用效果,而不只看窗口大小。
微调通过训练调整模型参数,可以改善任务行为、表达方式或特定能力。RAG 则为回答提供外部材料,也便于关联出处。一个系统可以同时使用经过微调的模型与检索流程,具体选择取决于问题需要什么。
RAG 提供了依据外部知识回答的机制,答案是否可靠还取决于后续各环节。资料可能过时,检索可能漏掉条件,生成也可能误用证据;需要沿整个流程分别处理。
2 整体流程:知识入库与在线问答怎样衔接
两条流水线:准备资料与使用资料
RAG 可以先按两条流水线理解。
知识入库链处理原始资料:读取文件或数据源,解析结构、清理噪声、形成内容块,生成需要的表示,再写入可检索的存储。在线问答链处理用户问题:准备检索请求,取得候选材料,必要时重排,组织上下文,再生成回答和引用。

自绘流程图:索引连接入库与问答两条链。查询改写、混合检索和重排按任务选用;生成阶段同时需要原始问题与整理后的证据。
所谓离线入库,表示这些准备工作不必随每次提问重做。它可以由批量任务完成,也可以在资料新增或修改后增量执行,并不局限于系统上线前。
Aymeric Roucher 的 Advanced RAG Cookbook以实际文档库展示了从分块到检索、生成的流程。读这类实现时,可以先辨认每个步骤的输入和输出,再判断其中的可选优化是否适合自己的资料。
中间对象:文档、内容块、候选与证据
这条流水线中流动的对象也在变化。
原始文档带着排版和来源,解析后变成可处理的结构;分块形成便于检索的单元。检索返回的是候选内容及其分数或排序,经过筛选和上下文组装后,才成为模型实际读到的证据。
这些对象需要保留关联。一个 chunk 应能回到所属文档及原文位置;一个候选应能取到正文或对应引用;回答中的来源标识,则需要映射到实际使用的证据。只保留一组向量,后面很难完成原文展示、索引更新与引用核对。
访问范围也需要沿数据流落实。入库时记录资料的权限信息,查询时根据服务端确认的身份约束检索,后续展开父块或读取原文时继续遵守同一边界。Azure AI Search 的文档级访问控制说明提供了一个具体实现,但不同存储系统支持的权限机制需要分别检查。
3 知识入库:解析、分块与向量索引
文档解析:先保住内容之间的关系
PDF、网页、Markdown 和表格中的信息,常常依赖结构才能正确理解。表格单元格需要对应表头,脚注可能限制一整段规则,标题则说明下面的内容属于哪个主题。
解析首先要把这些关系转成后续程序能够使用的表示。清洗可以去掉重复页眉、导航和无意义空白,但需要保留单位、否定词、条件和正文定位。OCR 或阅读顺序出错后,embedding 无法仅靠语义表示恢复已经丢失的原文关系。
文档解析可以使用 MinerU 这样的工具。它可以将 PDF 等文档转换为 Markdown 或 JSON,结合版面分析与内容识别处理文字、表格和公式,为后续清洗、分块提供输入。
DoclingDocument则是一种结构化文档表示:它组织正文、标题、表格和层级关系,并关联来源位置信息。下面的官方图展示了文档内容与结构表示的对应方式。

图源:The Docling Contributors,DoclingDocument,MIT 许可,原图未修改。左侧结构表示与右侧原文对应,展示标题、段落及父子关系。
解析完成后,值得先回看有代表性的中间结果:标题是否仍与正文关联,表格是否丢列,脚注是否仍能定位。文件成功导入,只证明处理过程结束,不能说明资料已经适合检索。
分块策略:检索单元与阅读单元怎样取舍
分块(chunking)把较长内容划成检索单元。块太小,定义可能与限制条件分离;块太大,相关内容容易与无关段落混在一起,取回后也会占用更多上下文。
不同策略可以组合,关键是明确它们在解决什么问题:
| 策略 | 怎样组织内容 | 需要关注的取舍 |
|---|---|---|
| 结构分块 | 沿标题、段落、表格等边界划分 | 有助于保留文档组织,但章节长度不一定适合模型输入 |
| 递归分块 | 先按较大边界切,再逐层拆开过长内容 | 需要选择合适分隔符与长度计算方式,表格或代码也可能被拆散 |
| 重叠窗口 | 相邻块保留一部分重复内容 | 缓解边界割裂,也增加存储、重复候选和上下文占用 |
| 语义分块 | 根据相邻句子表示的相似性寻找断点 | 依赖断句、模型和阈值,不能保证业务条件完整 |
| 父子关系 | 用较小节点定位,命中后按关系补充较完整的内容 | 检索单元与阅读单元可以不同,展开范围仍要受权限与预算约束 |
Docling 的分块说明展示了在文档结构之上按 tokenizer 限制细分和合并内容的方式。LlamaIndex 的 Node Parsers则提供句子窗口、语义切分及层级节点等组织方法。利用文档标题形成块,与检索后沿父子关系补上下文,是两个可以组合的设计。
长度还要按实际输入计算。字符数不等于 token 数,中文尤其不能直接把二者混用。若 embedding 输入在正文之外还拼入标题或其他上下文,这些内容也要计入模型的输入限制。分块大小和 overlap 没有适合所有语料的固定值,应回到将来需要回答的问题评价。
元数据:让内容能够被定位、过滤和更新
一个内容块除了正文,通常还需要保存稳定标识、原文定位、所属文档及访问范围。下面是用于解释信息关系的示意结构,并非某个框架的固定接口:
{
"chunk_id": "manual/setup/02",
"document_id": "manual",
"parent_id": "manual/setup",
"text": "这一块的正文……",
"source": {
"uri": "docs/manual",
"section": "安装与配置",
"page": 12
},
"access_scope": ["team-a"]
}这些字段服务于不同环节。文档标识帮助定位需要更新的块,章节和页码帮助读者回到原文,父节点关系用于补充阅读范围,访问范围则交给实际的权限约束机制使用。
去重时也要看这些关系。两份内容相同的文档,来源或权限可能不同;直接丢掉其中一份而不保留关联,可能让后续引用或访问判断失去依据。
Embedding 与向量库:表示、存储和查询各管什么
Embedding 模型将文本编码为向量,检索系统再利用向量之间的关系寻找候选。它提供一种表示方式,不能将相似度直接理解为事实可信度或答案正确概率。
查询和文档需要采用匹配的编码方式,处于兼容的检索空间。这可以是同一模型的不同输入方式,也可以是配套训练的查询编码器与文档编码器;只看向量维数相同,不足以判断它们能否比较。
向量库或数据库扩展负责保存向量、正文或可回读引用及元数据,并实现索引、过滤和查询。精确搜索、近似索引以及过滤条件怎样结合,会影响召回质量和耗时。近似检索还需要检查过滤后候选是否足够,不能只看未过滤时的检索表现。
| 方案 | 可以观察的组织方式 | 与 RAG 的边界 |
|---|---|---|
| pgvector | 在 PostgreSQL 中保存向量,结合关系数据与 SQL 查询 | 索引和查询计划仍需维护,扩展本身不负责文档解析与答案生成 |
| Qdrant | 向量、payload 过滤及多阶段查询 | 数据和候选组织由服务支持,业务权限与证据判断仍需应用落实 |
| Milvus | 本地与服务端等不同部署形态 | 部署方式影响运维与可用能力,不能只用向量条数推断容量 |
选择时应先看已有数据系统、查询方式、过滤需求和运维条件,再比较具体实现。数据库、embedding 模型和生成模型承担不同职责,换掉其中一个部分,不会自动修好其他环节的问题。
更新与迁移:让索引继续对应原文
资料更新时,应能找到相关旧块,重新解析、切分或编码,并替换或失效旧内容。删除文档也需要处理对应索引,避免已经撤下的材料继续参与回答。
更换 embedding 方案通常需要重新编码既有语料。Qdrant 的迁移说明展示了使用新 collection 或另一组向量逐步迁移的方式。无论采用哪种组织,查询都要使用兼容的表示;不能在未确认兼容性的情况下只更换查询编码器,让旧文档向量继续参与比较。
原文、解析结果与索引之间的标识关系,正是更新和迁移能够进行的基础。它也让后续排查可以回到具体资料,而不是只看到数据库里还有多少条向量。
4 查询与检索:改写、混合召回与重排
查询准备:把问题表达成合适的检索请求
用户的自然语言问题未必适合直接检索。对话中的“那这个限制呢”需要补全指代,多个概念混在一起的问题也可能需要不同检索表达。
查询改写可以结合已知上下文,生成更明确的请求,但应保留原始问题。它调整的是查找方式,不能擅自加入尚未证实的答案或未知条件。访问身份和权限范围也应来自服务端,而不是由改写模型决定。Query Rewriting in Retrieval-Augmented LLMs讨论了在检索前改进查询表达的作用。
多查询则为同一信息需求生成少量不同表述,或在确有必要时分别查找几个方面,再对候选去重与融合。查询更多意味着新增检索成本和噪声,需要看它是否补到了原来缺少的证据。
混合召回:词项与向量怎样提供互补候选
BM25 一类词项检索利用查询词、词项频率和文档长度等信号;稠密检索则比较查询与内容的向量表示。前者可能更容易保留错误码、参数名和专有术语,后者可以帮助处理不同措辞之间的关联。
实际效果仍受分词器、模型和语料影响。词项检索不保证任意字符串都能逐字匹配,向量检索也不保证语义相近的内容就适用于当前问题。混合检索将不同线索形成的候选放到一起,增加获得相关材料的机会。
各路检索应遵守同一访问约束和已知范围。如果问题已经确定对象或资料范围,可以在查询时过滤;未知条件则应澄清或保留差异,避免先猜一个条件再只查相应材料。
融合与重排:依据名次,还是重新阅读内容
来自不同检索器的原始分数,往往不是同一种量纲。RRF,Reciprocal Rank Fusion,倒数排名融合,依据每个列表中的名次计算贡献再相加:
其中 是第 个结果列表,公式对包含候选 的列表求和; 是融合常数, 是它在该列表中的名次。 与最终保留多少个候选是不同参数;实现采用的名次起点和细节也应保持一致。RRF 不需要把词项分数和向量相似度解释成同一种概率。RRF 原始论文
融合改变候选顺序,但并没有重新阅读每段内容。Cross-encoder 重排会将问题和候选共同送入模型,利用二者的交互计算相关度,再选择更合适的材料。由于逐对处理有成本,通常先召回候选,再对较小集合重排。

图源:Sentence Transformers,Retrieve & Re-Rank,Apache-2.0 许可,原图未修改。图中先用 Bi-encoder 召回候选,再用 Cross-encoder 重排。
这也说明了两种机制的边界:RRF 合并已有排名,cross-encoder 根据文本内容重新评分。二者可以组合,也可以按任务选择;根本没有进入候选集的资料,不会因为增加重排而出现。Qdrant 的多阶段查询提供了候选预取、融合和后续处理的具体接口。
有些方法在更早的入库阶段补充信息。Anthropic 的 Contextual Retrieval为内容块补充上下文后再建立检索表示,结合词项与向量检索,也可以进一步加入重排。这与问答时改写查询发生在不同位置,适合根据“丢失的是块的上下文,还是问题的检索表达”来判断是否需要。
5 证据与生成:从候选内容到可核对的引用
证据组装:让模型读到足以支持结论的内容
候选相关,未必意味着已经足以回答问题。多个重叠块可能重复同一条信息,真正限制结论的条件却在另一个段落。
组装证据时,需要去重、选择覆盖关键条件的内容,必要时补充父块或相邻材料,再在上下文预算内安排阅读顺序。原始问题、任务指令和输出也需要空间,不能把所有命中内容原样拼接。
压缩或摘要同样要保留决定结论的限定。若一条规则只对某种对象成立,删掉范围再交给模型,后续生成即使忠实,也可能得到不适用的答案。来源有冲突时,证据包应保留各自出处与条件,供模型说明差异。
引用关系:从原文定位到具体陈述
应用可以为实际使用的材料分配证据标识,并维护它与原文的映射。模型看到片段及标识,回答时将具体陈述连接到相应证据;读者再通过映射回到文档和位置。

自绘关系图:连线表达“这份证据用于支持哪条陈述”,不是执行顺序。一个陈述可以需要多份证据;缺少支持时,应补充查找、澄清或保留缺口。
这里至少要区分三件事:链接确实存在,链接指向实际取用的资料,以及资料真的支持对应陈述。只在回答末尾附一串链接,无法代替最后一项判断。
Gao 等人的 ALCE 研究将回答正确性与引用质量分开评价,也区分陈述是否获得充分引用支持、引用是否无关。引用能帮助核对,但不会自动把模型生成的内容变成事实。
生成边界:材料支持到哪里,回答就解释到哪里
生成阶段把问题和证据一起交给模型,并要求保留关键条件、对应来源及无法确认的部分。如果证据不足,可以继续检索、向用户澄清,或给出范围明确的回答。资料中没有描述的行为,不应仅凭常见做法补成确定规则。
对上下文忠实和现实事实正确也需要分开:模型可能准确复述一份错误或过时资料。资料来源、适用范围和内容冲突,仍需要在检索和证据处理中判断。
外部资料也可能包含与任务无关的操作指令。它们作为检索内容进入上下文,不应因此升级成宿主指令。引用与来源定位帮助保留材料边界,真正的权限和执行规则仍由系统落实。
6 评测与优化:沿数据流定位答案为什么出错
评价基准:先明确问题与证据
评价 RAG,需要一组能够回到原文的问题。每个样本可以记录问题、是否可回答、预期关键事实,以及支持这些事实的文档和证据范围。
标注优先关联原文段落或位置,再映射到 chunk。若直接把正确证据绑死为某个 chunk ID,改一次分块方案就可能改变标签含义,难以公平比较。
问题集应覆盖实际信息需求,包括精确词项、不同表述、多证据、来源冲突和资料不足。合成问题可以扩充覆盖,但还需要真实问题与人工审核样本,避免只评估系统自己生成、自己容易回答的问法。
分层指标:相关、正确、忠实与引用分别怎么看
LlamaIndex 的评测说明区分检索与回答评价。这种拆分有助于判断改动影响了哪一个环节:
| 观察位置 | 主要问题 | 指标或核对方式 |
|---|---|---|
| 原文到索引 | 所需材料是否完整进入索引? | 回看解析与分块,检查条件、结构和来源定位 |
| 候选召回 | 正确材料是否出现在前 k 个候选里? | Recall@k、Hit@k;需要定义相关材料与证据覆盖 |
| 候选排序 | 相关结果是否靠前? | MRR,必要时看 NDCG 等排序指标 |
| 重排与证据组装 | 正确候选是否进入最终上下文? | 检查重排、去重、范围展开和预算裁剪后的实际证据包 |
| 答案正确性 | 关键结论是否正确、适用? | 对照预期事实、原文与问题条件 |
| 忠实性 | 回答中的主张是否得到给定上下文支持? | 分解陈述并核对证据,不等同于独立事实验证 |
| 引用质量 | 关键陈述是否有充分且相关的引用? | 检查支持范围和无关引用 |
| 成本与延迟 | 质量提升付出了什么代价? | 分开记录建库更新与在线检索、重排、生成的开销 |
Recall@k 衡量前 k 个结果覆盖了多少已标注相关材料;Hit@k 只看是否至少命中一项相关材料,再对问题取平均。MRR 对每题首个相关结果的名次取倒数,未命中记为 0,再求平均。它关注第一个相关结果,不能仅靠它判断多份必要证据是否齐备。
比较指标时,需要固定相关对象是文档还是块,以及 k 和匹配规则。Recall 的分母如何定义、一个问题需要几份材料,也会影响分数的含义。Retrieval Evaluation 示例可以帮助理解指标输入,但业务问题仍需自己的证据标注。
RAGAS将忠实性等维度拆开,利用模型辅助评价。它对给定上下文的支持判断,不能代替外部事实正确性;不同评价维度所需的参考答案和标注也不相同。模型裁判适合辅助批量筛查,关键样本仍应回到原文和人工基准。
失败定位:先看中间结果,再决定改哪个环节
回答漏掉条件时,可以按数据流回看。
原文中有条件,解析结果里没有,先处理解析;解析完整但分块把条件割裂,检查切分与关联。索引里有正确内容,候选却没找到,再看查询、过滤、表示与召回。候选已经命中,但证据包没有,重点检查重排、去重和预算;证据包完整而回答省略限定,再看生成与引用处理。
这样可以把问题对应到具体中间产物,避免每次都先更换模型或框架。比较方案时,使用同一组问题观察一个有明确目的的改动,同时记录质量、耗时和成本,再决定是否保留。
7 实现观察:从流水线框架到图索引
LlamaIndex:连接节点、检索与回答合成
LlamaIndex 把文档处理成节点,再由检索器取回节点,经过可选后处理交给回答合成器。顺着这些对象,可以找到第三章的分块、第四章的检索与重排,以及第五章的证据合成分别在哪里实现。VectorStoreIndex
其 Ingestion Pipeline可以组合转换、元数据处理与 embedding。配置文档存储(docstore)后,还能利用文档标识和内容 hash 识别变化,再结合相应向量存储进行更新。稳定 ID 只是基础,还需要实际启用和连接文档管理,才能据此处理索引变化。
节点之间可以保留父子关系,检索器和后处理器也可以围绕它们取回或合并上下文。框架提供组合入口,具体分块、候选范围和合成方式,仍要依据资料与问题评价。
Haystack:用显式组件组织两条流水线
Haystack 的 Pipelines通过组件及其输入输出连接数据流。索引链可以组织转换、预处理、embedding 和文档写入;查询链则连接查询处理、检索、提示构造与生成。
这种组织使每一步的输入和输出更容易被单独查看,也便于表达分支和组合。出现质量问题时,可以检查检索组件返回了什么,或者生成组件最终收到哪些材料,再决定修改位置。
Evaluation也区分组件和端到端评价。一个组件运行成功,只说明它完成了约定操作;整条链是否能覆盖证据、生成正确引用,仍需要第六章那样的评价基准。
GraphRAG:用实体关系与社区摘要组织资料
Microsoft GraphRAG 在片段检索之外,增加了另一种资料组织方式:从文本中抽取实体和关系,形成图结构,再组织社区与摘要。对于需要跨材料关联、归纳整个语料的问题,这些中间表示可以提供不同于局部相似片段的上下文。

图源:Darren Edge 等,GraphRAG 原论文 Figure 1,CC BY 4.0。提取原论文完整图区,图内内容未修改。该图展示图索引与社区摘要参与全局回答的路径。
其 查询说明区分围绕实体和关系组织上下文的局部查询,以及利用社区报告进行归纳的全局查询。全局查询从社区摘要形成候选回答,再汇总与问题相关的内容,适合观察“先组织语料,再回答整体问题”的思路。
这些结构也会增加建图、摘要和查询的成本,抽取与摘要本身还可能出错。需要精确定位原文条款时,基础检索与引用链仍然重要,图中的关系不能替代原文证据。
官方仓库将其定位为研究示范,并注明项目以维护为主。它适合用来理解一种方法和组织方式,是否适合实际系统,还需结合问题类型、维护需求与资源投入判断。
阅读这些实现时,可以继续追踪文档、节点、候选和引用之间的关联:资料怎样变成可检索的对象,问题怎样选出材料,生成器最终读到了哪些证据。回答出错后,也能沿着同一条数据流回查,找到需要调整的环节。

