OWASP LLM 十大风险
OWASP LLM 十大风险是行业标准列表，涵盖基于大型语言模型构建的应用程序的10个最关键的安全和安全风险，包括提示注入、不安全的输出处理、训练数据投毒、模型拒绝服务以及另外6个类别。...
1 分钟阅读
OWASP LLM Top 10
AI Security
+3
LLM安全是保护基于大语言模型构建的应用程序免受传统软件安全中不存在的一类独特威胁的专门学科。随着组织大规模部署人工智能聊天机器人、自主代理和LLM驱动的工作流程，理解和解决LLM特定漏洞成为关键的运营要求。
为什么LLM需要新的安全方法
传统应用安全假设代码（指令）和数据（用户输入）之间有明确的边界。输入验证、参数化查询和输出编码通过在结构上强制执行此边界来工作。
大语言模型打破了这一边界。它们将所有内容——开发人员指令、用户消息、检索到的文档、工具输出——作为统一的自然语言令牌流进行处理。模型无法可靠地区分系统提示和设计成看起来像系统提示的恶意用户输入。这一基本属性创造了传统软件中没有等效物的攻击面。
此外，LLM是具有能力的、使用工具的代理。易受攻击的聊天机器人不仅仅是内容风险——它可以成为泄露数据、执行未经授权的API调用和操纵连接系统的攻击载体。
OWASP LLM十大风险
开放式Web应用程序安全项目（OWASP）发布了LLM十大风险——关键LLM安全风险的行业标准参考：
LLM01 — 提示注入： 恶意输入或检索到的内容覆盖LLM指令。参见提示注入 。
LLM02 — 不安全的输出处理： LLM生成的内容在下游系统（Web渲染、代码执行、SQL查询）中使用时未经验证，从而导致XSS、SQL注入和其他次要攻击。
LLM03 — 训练数据投毒： 注入训练数据集的恶意数据导致模型行为退化或引入后门。
LLM04 — 模型拒绝服务： 计算开销大的输入导致过度资源消耗，降低服务可用性。
LLM05 — 供应链漏洞： 受损的预训练模型、插件或训练数据在部署前引入漏洞。
LLM06 — 敏感信息泄露： LLM从训练数据、系统提示或检索到的文档中泄露机密数据。参见数据泄露（人工智能上下文） 。
LLM07 — 不安全的插件设计： 连接到LLM的插件或工具缺乏适当的授权，导致权限提升攻击。
LLM08 — 过度代理： 被授予过多权限或能力的LLM在被操纵时可能造成重大损害。
LLM09 — 过度依赖： 组织未能批判性地评估LLM输出，导致错误或虚构信息影响决策。
LLM10 — 模型盗窃： 未经授权访问或复制专有LLM权重或能力。
核心LLM安全控制措施
权限分离和最小权限
最具影响力的单一控制措施：限制您的LLM可以访问和执行的操作。客户服务聊天机器人不需要访问人力资源数据库、支付处理系统或管理员API。应用最小权限原则可以显著限制成功攻击的影响范围。
系统提示安全
系统提示定义聊天机器人行为，通常包含业务敏感指令。安全考虑包括：
- 不要在系统提示中包含秘密、API密钥或凭据
- 设计能够抵抗覆盖尝试的提示
- 明确指示模型不要泄露提示内容
- 将提示保密性测试作为定期安全评估的一部分（参见系统提示提取 ）
输入和输出验证
虽然没有过滤器是万无一失的，但验证输入可以减少攻击面：
- 标记并阻止用户输入中的常见注入模式和类似指令的措辞
- 在将模型输出传递给下游系统之前进行验证
- 使用结构化输出格式（JSON模式）来约束模型响应
RAG管道安全
检索增强生成引入了新的攻击面。安全的RAG部署需要：
- 严格控制谁可以向索引知识库添加内容
- 索引前的内容验证
- 将所有检索到的内容视为潜在不可信
- 监控RAG投毒 尝试
运行时护栏
分层运行时护栏提供超越模型级对齐的纵深防御：
- 对输入和输出进行内容审核过滤
- 行为异常检测
- 速率限制和滥用预防
- 用于取证分析的审计日志
定期安全测试
LLM攻击技术快速演变。应定期进行人工智能渗透测试 和人工智能红队演练 ——至少在重大变更前和每年作为基线评估。
相关术语
- 提示注入 — 最关键的LLM漏洞
- OWASP LLM十大风险 — 全面的LLM安全风险框架
- 人工智能红队演练 — 系统化的对抗性安全测试
- RAG投毒 — 知识库污染攻击
- 人工智能渗透测试 — 人工智能系统的结构化安全评估