Agentic RAG：智能检索增强生成的演进
了解 Agentic RAG 如何通过让 AI 智能体做出智能决策、推理复杂问题，并动态管理数据检索，彻底变革传统的检索增强生成，实现企业级应用。...
3 分钟阅读
AI Agents
RAG
+3
什么是LarQL?
LarQL — 也称为LQL — 是一种查询语言，旨在直接与大型语言模型(LLM)权重中编码的知识交互。它使用熟悉的SQL式语法(SELECT、INSERT、UPDATE、DELETE、DESCRIBE)应用于LLM在训练期间内部构建的结构化知识图，而不是关系数据库中的行。
传统工具将模型权重视为不透明的二进制blob，而LarQL将它们视为可查询的知识存储。从业人员可以检查模型对特定实体的了解，精确追踪模型如何到达给定推理，并应用目标知识补丁 — 所有这些都无需重新训练模型或修改基础权重文件。
核心概念
Vindex
Vindex(向量索引)是模型内部知识的提取、可查询的表示。它使用larql extract-index命令从模型权重生成，并保存为独立文件。提取后，可以在没有加载完整模型的情况下浏览和查询Vindex — 也无需GPU硬件。
Vindex编码了模型在实体、关系和层之间学到的关联，使得可以提出这样的问题:“这个模型认为Apple的总部是什么?“或"这个模型在第20层附近将哪些概念与GDPR相关联?”
补丁覆盖
LarQL的写入操作 — INSERT、UPDATE、DELETE — 不修改基础模型权重文件。相反，它们创建在推理时应用的.patch文件覆盖。这使知识编辑:
- 即时:无需重新编译或微调步骤
- 可逆:基础模型保持不变;补丁可以被移除或替换
- 轻量级:包含234个事实的补丁在16GB基础模型上需要约2.1MB
设置LarQL
要开始使用模型的知识，提取Vindex并打开交互式REPL:
larql extract-index path/to/your-model -o company-model.vindex --f16
larql repl
--f16标志以16位浮点精度提取索引。Gemma 3 4B等模型的生成的Vindex约为3GB。
浏览模型知识
这些命令对提取的Vindex进行操作，不需要GPU:
检查特定实体:
DESCRIBE "Apple Inc"
返回模型对实体拥有的所有知识，按层和特征组织:行业、产品、总部、founded_by、stock_ticker以及在训练期间学到的任何其他关系。
查询所有实体中的特定关系:
SELECT * FROM edges WHERE relation='headquarters' LIMIT 10
按距离查找概念关联:
SELECT * FROM edges WHERE entity='GDPR' NEAREST_TO Layer 20 LIMIT 5
找到与模型知识表示第20层附近的GDPR最密切相关的五个概念。
列出模型学到的所有关系类型:
SHOW relations
返回模型中存在的关系类型的完整列表。典型的中等大小模型编码超过1,000种关系类型。
加入我们的新闻通讯
免费获取最新提示、趋势和优惠。
推理和追踪
使用概率分数运行推理:
INFER 'The headquarters of Apple is located in' TOP 5
返回带置信度分数的前5个完成(例如:Cupertino 0.71、California 0.14等)。
逐层追踪推理:
TRACE 'The CEO of Tesla is' TOP 3
生成逐层分解，显示模型如何构建其输出 — 从初始语法检测到域识别、知识检索和输出提交。用于当模型产生意外或错误答案时的幻觉取证。
在层间行走概念:
WALK "climate change" LAYERS 10 TO 28
显示模型对概念的关联如何在层间进化 — 从早期层的具体文本共现到更深层的抽象语义关联。
使用补丁覆盖进行知识编辑
LarQL的写入操作创建.patch覆盖而不触及基础模型文件:
插入新事实:
INSERT INTO edges (entity, relation, target, confidence)
VALUES ('Acme Corp', 'CEO', 'Jane Smith', 0.95)
更新现有事实:
UPDATE edges
SET target = 'Jane Smith'
WHERE entity = 'Acme Corp' AND relation = 'CEO'
抑制事实:
DELETE FROM edges
WHERE entity = 'Acme Corp' AND relation = 'former_CEO'
检查活动补丁:
SHOW patches
列出所有活动补丁文件、其大小和事实计数。针对16GB基础模型的234事实补丁总计约2.1MB。
审计用例:部署前知识检查
使用LarQL进行完整的部署前验证工作流:
-- 1. 检查模型对您产品的了解
DESCRIBE "Acme Corp"
-- 2. 查找不正确的关联
SELECT * FROM edges WHERE entity='Acme Corp' AND relation='CEO'
-- 3. 验证没有竞争品牌混淆
SELECT * FROM edges WHERE entity='Acme Corp' NEAREST_TO Layer 20 LIMIT 10
-- 4. 部署前修补任何错误的事实
UPDATE edges SET target='Jane Smith' WHERE entity='Acme Corp' AND relation='CEO'
此工作流是部署前模型审计的基础:系统地验证模型的内部知识对您的域名准确，然后才向用户公开。
用例:来自模型权重的SEO智能
在数万亿Web文档上训练的语言模型已将其遇到的每个主题空间的语义结构内部化。与其抓取SERP或购买关键词数据，您可以通过探测模型的内部表示直接读取该结构 — 无需生成。
当您向LLM提交"联盟软件"之类的查询时，前馈层中的特定神经元以特征模式触发。这些激活编码了模型认为语义上相邻的内容:竞争者、相关技术、用例、评论站点。LarQL使这些关联可查询。
映射任何关键词的语义邻域:
-- 知识区域(第12–34层)中哪些概念围绕您的核心术语聚集?
WALK "联盟软件" LAYERS 12 TO 34
-- 在峰值知识深度找到最相关的实体
SELECT * FROM edges WHERE entity='联盟软件' NEAREST_TO Layer 22 LIMIT 20
-- 该域名的模型使用什么关系类型?
SHOW relations
获得的内容: 一个排名列表的语义相邻术语，反映模型(以及扩展，其训练的Web语料库)认为您的主题的自然邻域是什么 — 主题集群候选、集成关键词，以及传统关键词工具错过的长尾角度，因为它们测量流行度，而不是语义结构。
NEAREST_TO的置信度分数表示模型内部表示中的语义距离。具有高置信度分数的术语与您的查询在模型的知识中深深纠缠 — 它们是内容策略的自然共现目标。
用例:竞争发现和品牌共同定位
在Web规模数据上训练的模型已学会哪些品牌出现在相同的讨论中。这比反向链接重叠或SERP共现更信号丰富:它反映了模型的整合信念，即公司在同一空间中运营，由数百万篇文章、评论、比较页面和论坛线程构建。
-- 哪些品牌模型认为与您的共同定位?
SELECT * FROM edges WHERE entity='YourBrand' NEAREST_TO Layer 19 LIMIT 15
-- 验证这是品牌共同定位，而不是类别混淆
DESCRIBE "YourBrand"
-- 对特定竞争者进行相同检查
SELECT * FROM edges WHERE entity='CompetitorX' NEAREST_TO Layer 19 LIMIT 15
使用推理进行交叉验证:
-- 模型在直接完成中生成竞争者吗?
INFER 'YourBrand的主要替代品是' TOP 8
-- 蒙特卡洛检查:哪些品牌最常出现?
INFER 'YourBrand类似的公司包括' TOP 5
同时出现在内部FFN跟踪(NEAREST_TO)和生成完成(INFER)中的品牌拥有最高的信心。它们代表模型的综合竞争环境 — 直接可用于"vs"比较页面、迁移指南和替代登陆页面。
用例:品牌认知审计
在以客户为中心的角色中部署LLM之前 — 或启动活动之前 — 值得了解模型如何在内部表征您的品牌。这不同于模型说被问及时:它反映从训练数据构建的潜在关联，其中一些可能与您的预期定位相矛盾。
-- 模型知识中您品牌的完整表征
DESCRIBE "YourBrand"
-- 模型将您放在哪个类别中?
SELECT * FROM edges WHERE entity='YourBrand' AND relation='category'
-- 您与哪些技术相关联?
SELECT * FROM edges WHERE entity='YourBrand' AND relation='integrates_with'
-- 是否存在不希望的关联?
SELECT * FROM edges WHERE entity='YourBrand' NEAREST_TO Layer 20 LIMIT 30
逐层行走以查看关联如何演变:
-- 早期层:表面共现
-- 中间层(12–34):事实关联
-- 后期层:输出格式和风格
WALK "YourBrand" LAYERS 10 TO 35
如果模型将您的品牌放在错误的类别中、将其与不应该的竞争者关联、或反映过时的定位，这些差距可以使用知识覆盖机制直接修补 — 无需重新训练即可纠正模型的内部表示。
用例:部署前知识差距分析
在评估域特定部署的开源模型时，关键问题不是基准性能 — 而是:此模型对我们的域名了解得足够多以至于有用，并且它知道什么是错的吗?
LarQL支持在整个主题领域进行结构化的部署前知识扫描:
-- 步骤1:审计产品知识
DESCRIBE "YourProduct"
DESCRIBE "YourProduct v2"
-- 步骤2:检查类别和定位知识
SELECT * FROM edges WHERE entity='YourProduct' AND relation='category'
SELECT * FROM edges WHERE entity='YourProduct' AND relation='primary_use_case'
-- 步骤3:查找差距 — 没有关联的主题
SELECT * FROM edges WHERE entity='your_key_topic' NEAREST_TO Layer 20 LIMIT 5
-- 几乎没有或没有结果=知识差距
-- 步骤4:查找错误的事实
SELECT * FROM edges WHERE entity='YourCompany' AND relation='CEO'
SELECT * FROM edges WHERE entity='YourProduct' AND relation='pricing_model'
-- 步骤5:在上线前修补已确认的错误
UPDATE edges SET target='Current CEO Name' WHERE entity='YourCompany' AND relation='CEO'
此工作流取代了"部署并等待投诉"的方法。对Vindex使用LarQL进行4小时审计可以表明知识差距和事实错误，否则会到达真实用户 — 并在同一天修补它们，无需GPU。
用例:幻觉根本原因分析
当部署的LLM产生错误或有害的答案时，标准响应是更新系统提示或添加护栏。但提示补丁治疗症状。LarQL支持权重级别的诊断:为什么模型相信这一点?
-- 再现导致错误答案的推理路径
TRACE 'Acme Corp的CEO是' TOP 3
-- 找到检索错误事实的层
-- (TRACE输出中的层号显示承诺的答案结晶的位置)
-- 检查模型实际为该实体/关系存储的内容
SELECT * FROM edges WHERE entity='Acme Corp' AND relation='CEO'
-- 验证没有多义词混淆(同一神经元编码两件事)
SELECT * FROM edges WHERE entity='Acme Corp' NEAREST_TO Layer 23 LIMIT 10
-- 应用目标修复
UPDATE edges SET target='Jane Smith' WHERE entity='Acme Corp' AND relation='CEO'
TRACE输出显示层间的概率分布 — 从初始语法检测，通过中间层的知识检索，到输出提交。当模型引起的事件需要监管或法律文件时，这是法医分析的主要工具:它证明其中 错误的事实进入了推理路径以及为什么模型对此充满信心。
性能参考(Apple Silicon)
| 操作 | 时间 |
|---|---|
| 每层的门KNN查找 | 0.008 ms |
| 34层的完整WALK | 0.3 ms |
| 完整推理(带注意力) | 517 ms |
| 补丁应用 | 即时(文件覆盖) |
| Vindex大小 — Gemma 3 4B、f16 | ~3 GB |
Vindex浏览和SELECT查询完全在CPU上运行。INFER和TRACE需要加载模型。
与LLM知识服务的关系
LarQL是LLM知识生命周期中每项服务的基础技术:
- 部署前审计:
DESCRIBE,SELECT, 和NEAREST_TO在上线前扫描域名中的模型知识 - 知识维护: 补丁覆盖(
INSERT,UPDATE,DELETE)无需重新训练即可直接将更正应用于部署的权重 - 合规和审计跟踪:
SHOW patches为模型中更改的每个事实提供可审计的记录 - SEO智能:
WALK和NEAREST_TO公开任何主题空间中模型的内部语义图 - 竞争者和品牌分析:
NEAREST_TO与INFER交叉验证在权重级别公开模型的共同定位信念 - 幻觉法医学:
TRACE逐层分解推理路径，精确识别检索和提交错误答案的位置
