文档重排序

文档重排序根据查询相关性对检索到的文档重新排序，优化搜索结果。查询扩展通过添加相关词提升检索能力，提高召回率并解决歧义。这些技术结合在 RAG 系统中可以显著提升检索准确性和回复质量。

文档重排序是根据用户查询相关性，对检索到的文档重新排序的过程。在初步检索后，重排序会更精细地评估每个文档的相关性，确保最重要的文档优先展示。

什么是检索增强生成（RAG）？

检索增强生成（RAG）是一种将大语言模型（LLM）与信息检索系统结合的先进框架。在 RAG 中，用户提交查询后，系统会从庞大的知识库中检索相关文档，并将这些信息传递给 LLM，生成有据可依、上下文丰富的回答。这种方式通过事实数据为基础，提高了 AI 生成内容的准确性与相关性。

理解查询扩展

什么是查询扩展？

定义

查询扩展是信息检索中提升搜索查询效果的一种技术。它通过补充与原始查询语义相关的词语或短语，弥合用户意图与相关文档用语之间的差距，从而提升相关信息的检索效果。

工作原理

实际应用中，查询扩展可通过多种方法实现：

• 同义词扩展：加入查询词的同义词，以覆盖同一概念的不同表达方式。
• 相关词扩展：增加与查询词上下文相关但非直接同义的词汇。
• 基于 LLM 的扩展：利用大语言模型预测与原始查询相关的词或短语，生成扩展查询。

通过扩展查询，检索系统能够覆盖更多由于术语或表达差异而可能被遗漏的文档。

查询扩展在 RAG 系统中的重要性

提升召回率

召回率指的是检索系统找到所有相关文档的能力。查询扩展通过以下方式提升召回：

• 检索使用不同词语描述同一概念的文档。
• 捕获覆盖相关子主题或更广泛内容的文档。

应对查询歧义

用户常常提交简短或模糊的查询。查询扩展可以：

• 通过多种解释澄清用户意图。
• 纳入主题的多个方面，提供更全面的搜索。

增强文档匹配

通过增加相关词汇，系统更有可能匹配到使用不同词汇的文档，从而提升整体检索效果。

查询扩展方法

1. 伪相关反馈（PRF）

定义

伪相关反馈是一种自动查询扩展方法，系统假设初步检索排名靠前的文档是相关的，并从这些文档中提取重要词汇以优化原始查询。

工作流程

• 初步查询执行：执行用户原始查询，检索出排名靠前的文档。
• 词语提取：根据词频或重要性从这些文档中识别关键词汇。
• 查询优化：用这些关键词扩展原始查询。
• 二次检索：用扩展后的查询进行新一轮检索，获取更多相关文档。

优缺点

• 优点：无需用户干预即可提升召回率。
• 缺点：如初步结果中包含无关文档，扩展词汇可能产生误导，降低精确度。

2. 基于 LLM 的查询扩展

利用大语言模型

随着 AI 的进步，如 GPT-3、GPT-4 等 LLM 能通过理解上下文和语义生成更复杂的查询扩展。

工作方式

• 生成假设答案：LLM 为原始查询生成假设性答案。
• 上下文扩展：答案提供了更多上下文和相关词汇。
• 组合查询：将原始查询与 LLM 输出组合成扩展查询。

举例

原始查询：
“哪些最重要的因素促进了收入增长？”

LLM 生成的答案：
“在本财年，公司收入显著增长的关键因素包括成功的市场营销、产品多元化、客户满意度提升、战略定价和技术投资。”

扩展查询：
“原始查询：哪些最重要的因素促进了收入增长？
假设答案：[LLM 生成的答案]”

优势

• 深度理解：捕捉细致的关系和概念。
• 定制能力强：可针对特定领域或上下文定制扩展。

挑战

• 算力需求高：可能需要较大计算资源。
• 过度扩展风险：可能加入无关或过多词汇。

在 RAG 系统中实现查询扩展

步骤流程

1. 用户查询输入：系统接收用户原始查询。
2. 基于 LLM 的扩展：
   • 系统提示 LLM 生成假设答案或相关查询。
   • 示例提示：
     “请为以下查询提供详细答案或相关查询：[用户查询]”
3. 合并查询：
   • 将原始查询与扩展内容合并。
   • 保证扩展后的查询仍贴合用户意图。
4. 用于检索：
   • 利用扩展查询从知识库检索文档。
   • 可采用关键词检索、语义检索或两者结合。

在 RAG 系统中的优势

• 提升检索能力：获取更多相关文档，为 LLM 提供更丰富的上下文。
• 优化用户体验：用户可获得更准确、信息更全面的回答。

理解文档重排序

为何需要重排序

• 初步检索局限：初始检索方法通常基于粗略相似度，难以捕捉细致相关性。
• 去除噪声：查询扩展可能带来部分无关文档，重排序可过滤这些干扰。
• 优化 LLM 上下文：提供最相关文档有助于提升 LLM 回复质量。

文档重排序方法

1. Cross-Encoder 模型

概述

Cross-encoder 是一种神经网络模型，输入为查询与文档对，输出相关性得分。与分别编码查询和文档的 bi-encoder 不同，cross-encoder 对二者联合编码，能捕捉更丰富的交互信息。

工作方式

• 输入配对：将每个文档与查询配对。
• 联合编码：模型对配对输入进行编码，捕捉交互信息。
• 评分：为每个文档输出相关性得分。
• 排序：根据得分对文档排序。

优点

• 高精度：相关性评估更准确。
• 上下文理解强：能捕捉复杂的查询与文档关系。

挑战

• 计算量大：处理大规模文档集时算力消耗较高。

2. ColBERT（延迟交互模型）

定义

ColBERT（基于 BERT 的上下文延迟交互）是一种兼顾效率与有效性的检索模型。通过延迟交互机制，实现查询与文档词粒度的高效比较，计算资源消耗低。

工作流程

• 词级编码：分别用 BERT 对查询和文档进行词级编码。
• 延迟交互：在评分阶段用相似度度量比较查询和文档词元。
• 高效性：支持文档向量预计算，检索速度快。

优点

• 高效评分：比 cross-encoder 更快。
• 检索效果佳：保持较高的检索质量。

适用场景

• 适合算力有限的大规模检索任务。

3. FlashRank

概述

FlashRank 是一款轻量级、速度极快的重排序库，采用先进 cross-encoder 模型。易于集成进现有流程，几乎无额外负担地提升重排序表现。

特性

• 简单易用：API 简洁，集成快捷。
• 高速：优化实现，重排序响应快。
• 高准确度：采用高效模型，重排序效果佳。

示例用法

from flashrank import Ranker, RerankRequest

query = '哪些最重要的因素促进了收入增长？'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

优势

• 简化重排序流程：无需关心模型细节。
• 性能优化：速度与准确度兼顾。

在 RAG 系统中实现文档重排序

流程

1. 初步检索：用扩展查询获取候选文档集。
2. 重排序：用重排序模型（如 Cross-Encoder、ColBERT）评估每份文档的相关性。
3. 筛选：选取得分最高的文档供 LLM 使用。

注意事项

• 计算资源：重排序算力消耗较大，需平衡性能与成本。
• 模型选择：根据应用需求选择合适的模型，兼顾精度与效率。
• 流程集成：确保重排序无缝融入现有检索流程。

查询扩展与文档重排序在 RAG 系统中的结合

查询扩展与重排序的协同效应

互补技术

• 查询扩展拓宽检索范围，获取更多文档。
• 文档重排序优化这些结果，聚焦最相关内容。

结合的好处

• 提升召回与精度：兼顾检索文档的数量与质量。
• 更稳健的检索：弥补单一方法的局限。
• 优化 LLM 输出：提供更优上下文，生成更准确、信息量更大的回复。

协同工作流程

1. 用户查询输入：接收原始查询。
2. 查询扩展：用如 LLM 扩展等方法将查询扩展为更完整的搜索指令。
3. 初步检索：用扩展查询检索大量文档。
4. 文档重排序：用重排序模型评价并重新排列文档，聚焦原始查询相关性。
5. 上下文提供：将得分最高的文档作为上下文传递给 LLM。
6. 生成回复：LLM 利用最相关文档生成回复。

实践实施步骤

示例流程

• LLM 查询扩展：

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• 初步检索：

  documents = vector_db.retrieve_documents(expanded_query)
  

• 文档重排序：

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• 筛选顶级文档：

  top_documents = ranked_docs[:top_k]
  

• LLM 生成回复：

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

监控与优化

• 性能指标：定期用精度、召回率、相关性得分等衡量检索效果。
• 反馈机制：引入用户反馈持续优化查询扩展与重排序策略。
• 资源管理：通过缓存结果或限制重排序文档数量等方式提升算力利用率。

应用场景与示例

示例 1：提升客户支持 AI 聊天机器人

场景

企业利用 AI 聊天机器人处理关于产品和服务的客户咨询，客户表达方式多样、用词各异。

挑战

• 客户用语和术语多样。
• 为维持客户满意度需快速、准确回复。

实施方式

• 查询扩展：机器人将客户查询扩展为包含同义词和相关词的多样表达。
  例如，用户问“如何修理我的设备？”，查询被扩展为“维修设备”“排除故障”等表达。
• 文档重排序：检索到的帮助文章和 FAQ 通过重排序优先展示最相关的解决方案。cross-encoder 评估每篇文档与客户问题的相关性。

优势

• 回复更准确、更相关。
• 提升客户满意度，缩短支持响应时间。

示例 2：优化 AI 科研助手

场景

研究人员用 AI 助手查找相关学术论文、数据和洞见。

挑战

• 查询复杂、专业术语多。
• 学术文献量大，筛选困难。

实施方式

• 查询扩展：助手用 LLM 将查询扩展为包含相关概念和同义词的表达。
  如“量子纠缠应用”被扩展为“量子纠缠的用途”“量子计算中的纠缠”等。
• 文档重排序：学术论文基于 refined