企业 AI 提示注入防护怎么验收：从内容识别到业务后果控制

先区分资料的内容与资料的指挥权

提示注入的关键不只是出现了某句危险口令，而是来源不具备指挥权的内容改变了助手的目标或操作。用户要求比较供应商报价，报价附件却要求优先推荐自己，或要求把其他供应商资料发给某个地址。附件可以提供价格证据，不能自行获得修改评审规则和指定接收方的权力。

OWASP 将来自网页、文件等外部来源的此类影响列为间接提示注入，并指出 RAG 与微调不能完全消除这类问题。[1] “进入了内部知识库”也不等于内容可信：客户邮件、供应商附件和员工转存材料的来源仍然不同。能被当前用户读取，只证明访问条件成立，不证明它可以替用户下指令。

原有的企业智能体工具授权文章讨论谁可以执行什么操作。本篇补充另一个边界：即使工具调用没有超出账号权限，执行理由也可能已被污染。被允许保存采购建议的助手，如果让供应商附件改写评分规则，仍可能生成有害建议；仅靠权限拒绝测试发现不了这种失败。

沿处理链找出内容被升级为决定的地方

建议为每条工作流画出四个位置：来源入口、加工结果、决定依据和输出去向。入口列明正文、OCR、附件、搜索摘要和工具返回；加工列明摘要、结构化抽取和长期记忆；决定依据列明任务规则与候选证据；输出列明答复、草稿、外发和状态变更。每条连接都回答：谁提供内容，谁有权改变下一步？

一份来源不明的附件经过摘要，不会自动变成可信指令。若摘要被另一个智能体当作主管要求，风险只是从原文搬到了中间产物。本文建议让衍生内容保留来源及可信级别，由可信程序维护这些标记；不能因为模型输出了“已审核”或“高可信”就提升权限。

还要找到共同上下文中的敏感数据。一个只需读取公开报价的处理步骤，不应同时持有完整客户名单或邮件凭证。减少可接触的数据能缩小失败后果，但不能防止报价被误读。因此需要分别检查保密性、答案完整性及业务动作，不把“不泄密”当成全部安全。

此处的可信级别是系统对来源用途的约束，不是给每句话打一个真假概率。供应商文件可以是其报价的权威来源，却不是内部采购政策的权威来源；同一来源能支撑某个事实，不代表它能决定整个流程。

组合防护层，并写清每层的失效条件

第一层保留来源边界，明确外部资料仅作证据；输入识别器可标记可疑内容并缩小自动处理范围。微软 Spotlighting 论文研究了通过标记与变换帮助模型识别来源的方法，但其主要注入评估采用合成文档中的关键词诱导及当时的 GPT 系列模型。[2] 这支持测试来源标记，不支持把论文结果当成今天任意业务链的安全保证。

第二层约束处理路径。可以把资料抽取放进没有外发能力、只接收所需字段的步骤，再把结果交给评审环节。结构化输出有助于检查字段，但“符合 JSON 格式”不能证明价格、对象或推荐理由真实。重要字段仍要绑定原文证据，未知值保持未知，异常不能由模型悄悄补齐。

第三层由程序和业务系统检查后果：目的地、敏感字段、对象范围、可写字段和具体批准。需要人的判断时，审批页面应显示拟执行差异和证据，而不是只问是否继续。可信程序也可能配置错误，所以这些边界同样需要独立反例测试。

微软的防护指引主张结合概率性与确定性措施，并列出延迟、误报和维护成本等代价。[4] 多加一个评审模型不会自动形成独立防线：如果它读取同一段诱导材料、依赖同一错误摘要，也可能共同失误。应说明每层新增了哪项不同的约束，而不是按防护组件数量验收。

构造比价场景：允许保存草稿，仍要防止错误推荐

以下为构造场景。采购人员要求助手比较三家供应商，按已确认的规格、交期和含税总价生成内部建议，不自动下单。某报价附件夹带改变评审顺序的文字。此时核心损害可能是不恰当推荐，而不是越权下单；一个完全禁止写入的演示，也不能证明采购建议没有被操纵。

可将比较字段和评分规则置于经过业务确认的配置中，附件只提供候选事实。抽取结果逐项带来源页与原文位置，缺规格或交期就标缺失；不允许附件自行新增评分项。需要解释建议时，逐项对照固定规则与证据，检查是否凭空排除了竞争报价。

如果用户后来明确要求发给内部采购群，接收方来自真实用户委托和可信通讯录，而不是附件中的地址。发送前展示实际内容及接收方；若内容包含原本不应发送的资料，即使接收方属于允许域名也要阻断。域名白名单只检查去向的一部分，不能替代内容与用途约束。

该方案会增加抽取、证据检查和必要人工复核的成本，也会降低开放式临场发挥。对采购这种规则相对明确、后果可核查的任务，代价可能值得；对无需操作的公开资料摘要，可以采用更轻的限制。这是基于后果的设计建议，不是统一合规标准。

用合法任务与对抗任务共同验收

验收集应包含同一业务任务的干净版本和插入干扰后的版本，保持其余事实不变。干扰覆盖正文、附件、OCR 与工具返回，并改变位置、措辞、语言和多步传播路径。只测一条常见口令，得到的是对那条口令的表现，不能推及全部来源。

先定义成功与损害，再运行测试。采购例中，合法成功包括字段正确、缺项标明、推荐符合既定规则；损害包括规则被改变、证据被伪造、未经批准的数据流动或状态变更。观察实际输出、工具参数和下游回执，不能因为助手说“已忽略恶意指令”就判安全。

至少并列报告合法任务完成率、合法内容误拦率、对抗任务实际损害率、人工复核负担及端到端延迟。每项注明分母、攻击者可控制的范围、尝试预算和未覆盖渠道。重复尝试同一环境与每次更换独立任务的统计口径不同，不宜直接比较百分比。

防护效果还应拆成三本账：检测器识别了哪些已标注攻击，执行边界拦住了哪些拟议危险动作，最后实际出现了哪些业务损害。漏检但被下游阻断，与已经报警却仍发生外发，是不同故障。各层统计用可对齐的任务身份串联，不能假设防线彼此独立后相乘，算出一个未经验证的“综合安全率”。

Anthropic 的浏览器评估明确使用内部自适应攻击者，并说明每个环境允许一百次尝试，且低攻击成功率仍有残余风险。[3] 企业可以借鉴公布攻击预算和边界的做法，但不能把该产品、模型与实验条件下的比率搬来充当自身风险概率。

调整防护后，重新跑干净任务和未参与调参的对抗样本。没有发现损害只证明本轮覆盖范围内未观察到，并非不存在漏洞。高后果工作流若仍无法确认数据去向或实际副作用，应缩小到可审阅输出，并明确哪些环节尚不能自动执行。

把防护投入变成可持续的运行决定

采购或上线评审可以要求五份证据：来源与处理链清单；每层控制及失效条件；合法任务和对抗任务的成对结果；阻断、复核和延迟成本；发生问题后的停用与恢复方案。供应商仅展示过滤器识别率或若干拒绝截图，不能据此证明业务链已受控。

投入优先级应沿真实暴露与后果排序。低频读取公开资料可以先保留来源、限制外联并抽检；大量处理客户附件且能发送消息的助手，需要更完整的数据流约束、回执和演练。若规则尚未稳定、审核成本超过自动化收益，先保留人工提交往往更容易验证价值。

处置流程也要覆盖衍生副本：隔离问题来源后，检查它是否已经进入摘要、缓存或记忆，暂停受影响的后续动作，并根据真实回执确认哪些结果需要修订。删除原附件并不保证此前形成的建议已经撤回；模型、解析器、提示配置或工具权限变化后，都要回放相关测试。

本文建议把上线结论写成限定声明：哪些来源、任务、动作和数据去向已经验证，哪些依靠人工，哪些尚未覆盖。这样，团队才能在增加自动化收益时，看清同时增加的暴露范围，而不是用一个“已防提示注入”的标签替代持续验收。