AI聊天机器人安全审计：期望内容及准备工作

为什么AI聊天机器人安全审计与众不同

拥有成熟安全计划的组织了解Web应用程序渗透测试——他们进行过漏洞扫描、委托过渗透测试并响应过发现的问题。AI聊天机器人安全审计在结构上相似，但涵盖的攻击面根本不同。

Web应用程序渗透测试检查OWASP Top 10 Web漏洞：注入缺陷、身份验证破坏、XSS、不安全的直接对象引用。这些对于AI聊天机器人周围的基础设施仍然相关。但聊天机器人本身——LLM接口——是一个具有自身漏洞类别的新攻击面。

如果您正在委托您的第一次AI聊天机器人安全审计，本指南将引导您了解每个阶段的预期内容、如何准备以及如何有效使用发现的问题。

第一阶段：预参与和范围界定

范围界定电话会议

良好的AI安全审计始于测试开始前的范围界定电话会议。在此次会议期间，审计团队应询问：

关于聊天机器人架构：

• 您使用的是哪个LLM提供商和模型？
• 系统提示词包含什么内容？（高层描述，而非完整文本）
• 聊天机器人可以访问哪些数据源？
• 聊天机器人使用哪些工具或API集成？
• 聊天机器人可以自主执行哪些操作？

关于部署：

• 部署在哪里？（Web小部件、API、移动应用、内部工具）
• 预期用户是谁？（匿名公众、经过身份验证的客户、内部员工）
• 聊天机器人可以访问的最敏感数据是什么？

关于测试环境：

• 是否有可用的预发布环境？
• 将提供哪些测试账户或访问权限？
• 是否有必须排除在测试之外的系统？

关于风险承受能力：

• 对于您的组织来说，什么构成严重发现？
• 是否有适用的监管或合规框架？

根据此次讨论，工作说明书定义了确切的范围、时间表和交付成果。

准备文档

为支持审计，您应准备：

• **架构图：**聊天机器人如何连接到数据源、API和LLM提供商
• **系统提示词文档：**理想情况下是完整的系统提示词，或至少是其范围和方法的描述
• **集成清单：**聊天机器人可以调用的每个外部服务，包括身份验证详细信息
• **数据访问清单：**聊天机器人可以检索的数据库、知识库或文档
• **以前的安全发现：**如果您之前进行过评估，请分享发现的问题（包括尚未修复的项目）

审计团队拥有的背景信息越多，测试就越有效。这不是您想要隐瞒的测试——目标是找到真正的漏洞，而不是"通过"评估。

准备好发展您的业务了吗？

今天开始免费试用，几天内即可看到结果。

申请演示 登录

第二阶段：侦察和攻击面映射

在主动测试开始之前，审计人员会映射攻击面。对于标准部署，此阶段通常需要半天时间。

映射的内容

**输入向量：**数据进入聊天机器人的每种方式。这包括：

• 直接用户消息
• 文件上传（如果支持）
• URL或参考输入
• API参数
• 批处理端点
• 管理界面

**数据访问范围：**聊天机器人可以读取的每个数据源：

• RAG知识库内容和摄取路径
• 数据库表或API端点
• 用户会话数据和对话历史
• 系统提示词内容
• 第三方服务响应

**输出路径：**聊天机器人的响应去向：

• 面向用户的直接聊天响应
• API响应
• 下游系统触发器
• 通知或电子邮件生成

**工具和集成清单：**聊天机器人可以执行的每个操作：

• API调用及其参数
• 数据库写入操作
• 电子邮件或消息操作
• 文件创建或修改
• 外部服务调用

映射揭示的内容

完整的攻击面映射通常会揭示出即使是对自己系统非常了解的组织也会感到惊讶的内容。此阶段的常见发现：

• 在开发过程中添加并被遗忘的集成
• 比预期更广泛的数据访问（“我们给了它访问产品表的权限，但它也可以查询客户表”）
• 包含不应存在的敏感信息的系统提示词内容
• 设计期间未考虑的间接注入面

第三阶段：主动攻击测试

主动测试是审计人员模拟真实攻击的阶段。对于全面的审计，这涵盖所有OWASP LLM Top 10 类别。以下是主要类别的测试情况：

提示词注入测试

测试内容：

• 直接覆盖命令（数十种变体，而不仅仅是"忽略之前的指令"）
• 角色扮演和人格攻击（DAN变体、角色体现）
• 针对特定聊天机器人上下文设计的多轮升级序列
• 权威欺骗和上下文操纵
• 令牌走私 和基于编码的绕过尝试

发现示例： “使用多轮操纵序列，测试人员能够导致聊天机器人提供其定义范围之外的信息。测试人员首先确定模型会参与假设场景，然后逐渐升级以获取[特定受限信息]。这代表中等严重性发现（OWASP LLM01）。”

RAG和间接注入测试

测试内容：

• 知识库中的恶意内容能否影响聊天机器人行为？
• 聊天机器人是否将检索到的内容视为指令？
• 知识库摄取路径是否受到保护以防止未经授权的添加？
• 用户上传的文档是否在可能发生注入的上下文中处理？

发现示例： “RAG管道处理了包含嵌入式指令的文档。当用户查询文档涵盖的主题时，聊天机器人遵循嵌入式指令执行[特定行为]。这是高严重性发现（OWASP LLM01），因为它可能影响所有查询相关主题的用户。”

系统提示词提取测试

测试内容：

• 直接提取请求（逐字重复、摘要、完成）
• 间接引出（约束探测、参考提取）
• 基于注入的提取
• 通过多次查询系统地映射约束

发现示例： “测试人员能够使用两步间接引出法提取完整的系统提示词：首先确定模型会确认/否认有关其指令的信息，然后系统地确认特定语言。提取的信息包括：[暴露内容的描述]。”

数据渗出测试

测试内容：

• 直接请求聊天机器人可以访问的数据
• 跨用户数据访问（如果是多租户）
• 通过间接注入提取
• 通过工具调用的代理渗出

发现示例： “测试人员能够请求并接收测试用户账户不应访问的[数据类型]。这代表严重发现（OWASP LLM06），根据GDPR具有直接的监管影响。”

API和基础设施测试

测试内容：

• 身份验证机制安全性
• 授权边界
• 速率限制和滥用预防
• 工具使用授权

加入我们的新闻通讯

免费获取最新提示、趋势和优惠。

电子邮件地址

订阅

第四阶段：报告

良好报告包含的内容

**执行摘要：**一到两页，为非技术利益相关者编写。回答：测试了什么、最重要的发现是什么、整体风险状况如何以及应优先考虑什么？无技术术语。

**攻击面映射：**带有注释漏洞位置的聊天机器人架构可视化图表。这成为修复工作的参考。

**发现登记册：**每个已识别的漏洞包括：

• 标题和发现ID
• 严重性：严重/高/中/低/信息性
• CVSS等效分数
• OWASP LLM Top 10 类别映射
• 详细的技术描述
• 概念验证（演示漏洞的可重现攻击）
• 业务影响描述
• 修复建议及工作量估算

**修复优先级矩阵：**考虑严重性和实施工作量，首先应解决哪些发现。

理解严重性评级

**严重：**直接的、高影响的利用，攻击者所需技能最少。通常包括：不受限制的数据访问、凭据渗出或具有重大现实后果的操作。立即修复。

**高：**需要中等攻击者技能的重大漏洞。通常包括：受限信息披露、部分数据访问或需要多步攻击的安全绕过。在下次生产部署之前修复。

**中：**有意义的漏洞，但影响有限或需要大量攻击者技能。通常包括：部分系统提示词提取、受限数据访问或无重大影响的行为偏差。在下一个冲刺中修复。

**低：**可利用性或影响有限的次要漏洞。通常包括：泄露有限信息的信息披露、轻微的行为偏差。在待办事项中处理。

**信息性：**最佳实践建议或观察结果，这些不是可利用的漏洞，但代表安全改进机会。

第五阶段：修复和重新测试

优先修复

大多数首次AI安全审计会揭示比可以同时修复的更多问题。优先级应考虑：

• **严重性：**严重和高发现优先
• **可利用性：**即使严重性较低，易于利用的问题也会获得优先权
• **影响：**涉及用户PII或凭据的问题获得优先权
• **修复难易度：**在开发长期解决方案时降低风险的快速胜利

常见修复模式

**系统提示词加固：**添加明确的反注入和反披露指令。实施相对快速；对提示词注入和提取风险有重大影响。

**权限缩减：**删除不是严格必要的数据访问或工具功能。通常会揭示在开发过程中累积的过度配置。

**RAG管道内容验证：**向知识库摄取添加内容扫描。需要开发工作，但可阻止整个注入路径。

**输出监控实施：**向输出添加自动内容审核。可以使用第三方API快速实施。

重新测试验证

修复后，重新测试确认修复有效且未引入新问题。良好的重新测试：

• 重新执行每个已修复发现的特定概念验证
• 确认发现真正得到解决，而不仅仅是表面修补
• 检查修复更改引入的任何回归
• 发布正式的重新测试报告，确认哪些发现已关闭

结论：使安全审计成为常规

对于在生产环境中部署AI聊天机器人的组织，安全审计应成为常规——而不是由事件触发的例外事件。此处描述的AI聊天机器人安全审计 流程是一个可管理的、结构化的参与，具有明确的输入、定义的输出和可操作的结果。

替代方案——通过真实攻击者的利用来发现漏洞——在各个维度上都要昂贵得多：财务、运营和声誉。

准备好委托您的第一次AI聊天机器人安全审计了吗？联系我们的团队 进行免费的范围界定电话会议。