跳到主要内容

企业合规

企业合规是把 Agent 系统纳入组织级风险管理：明确用途、数据、权限、供应商、评测、人工监督、事件响应和责任归属。它不等于“写一份 AI 政策”，而是把 NIST AI RMF、ISO/IEC 42001、隐私、安全、行业监管和内部控制落到工程流程。

核对日期：2026-05-09。

9.7 合规验收补充​

验收项通过标准
风险台账每个高风险 Agent 有 owner、风险等级、缓解措施和接受人
供应商模型、插件、MCP Server、云服务都有数据处理和安全评估记录
用户权利删除、导出、申诉、人工复核流程明确
变更复评模型、prompt、工具、数据源变更触发重新评测
事故材料审计、通知、回滚和复盘模板可直接使用

1. 定义与边界​

Agent 合规需要覆盖三个层次：

层次重点
系统合规数据保护、身份权限、安全控制、日志、应急、供应商。
AI 风险管理有效性、可靠性、透明度、偏见、可解释性、人类监督。
业务合规行业监管、客户合同、跨境、保留期、审计和问责。

合规不是上线后的文档补丁。高风险 Agent 应在设计阶段完成风险分级和控制映射。

2. 权威框架​

框架适用方式
NIST AI RMF用 Govern、Map、Measure、Manage 组织 AI 风险管理流程。
NIST AI 600-1 GenAI Profile针对生成式 AI 的风险分类和控制建议。
ISO/IEC 42001建立 AI 管理体系，适合组织级制度、角色和持续改进。
EU AI Act对欧盟相关高风险 AI 用途、透明度和治理义务做映射。
OWASP LLM Top 10作为 LLM/Agent 应用安全风险清单。
云厂商安全基线映射身份、网络、日志、密钥、数据保护和运行安全。

3. 风险分级​

建议按以下因素分级：

因素低风险高风险
数据公开资料PII、商业机密、受监管数据
工具只读、无外部副作用写入、删除、发外部消息、交易
用户内部小范围试点大规模客户或公众用户
业务影响建议性辅助自动决策、合同、财务、安全操作
可逆性容易回滚不可逆或外部可见
监管无特殊要求金融、医疗、教育、就业、公共服务

4. 控制映射​

风险工程控制治理控制
Prompt Injection上下文隔离、策略引擎、工具审批红队、回归集、发布门禁
数据外泄数据分类、DLP、最小上下文、日志脱敏隐私评估、供应商数据条款
过度自主工具分级、权限最小化、人类审批用途审批、风险接受记录
不可解释trace、审计日志、版本化用户申诉、内部审计
模型质量漂移离线评测、线上监控、回滚变更管理、定期复核
供应链风险连接器审查、MCP allowlist、依赖扫描供应商评估、合同控制

5. 生产流程​

5.1 上线前​

  1. 用途说明：Agent 做什么、不做什么、目标用户是谁。
  2. 数据清单：输入、输出、训练或日志保留、第三方流转、数据分类。
  3. 工具清单：工具权限、外部副作用、审批规则、owner。
  4. 风险评估：按数据、工具、用户、业务影响、监管分级。
  5. 安全评测：提示注入、数据外泄、越权、投毒、沙箱、审批绕过。
  6. 合规评审：隐私、法务、安全、业务 owner 签字或记录风险接受。

5.2 上线后​

  • 定期复评模型、Prompt、工具、数据源和供应商。
  • 对高风险事件建立工单、SLA 和复盘流程。
  • 用户反馈、投诉和申诉进入治理流程。
  • 权限、日志、数据保留和删除请求定期抽检。
  • 对重大变更重新评估风险，而不是只走代码发布。

6. 常见反模式​

反模式问题
把所有 Agent 都按同一风险处理低风险过度治理，高风险控制不足。
合规只审 UI，不审工具和数据流Agent 的真实风险在后端数据和副作用。
没有系统 owner事故时无人能解释和关闭系统。
第三方模型和插件未做数据条款评估可能违反客户合同、隐私或数据驻留要求。
模型升级不重新评测行为改变可能影响安全和业务合规。

7. 评测与演练​

检查证据
风险分级存在风险评估表、owner、审批记录。
数据流清晰数据清单、DLP 策略、供应商条款。
人类监督有效审批日志、抽检记录、拒绝原因。
安全评测通过红队报告、回归集结果、修复记录。
事故可响应演练记录、告警、回放、回滚和通知流程。

指标：

  • 高风险 Agent 完成风险评估比例。
  • 供应商安全评估覆盖率。
  • 模型/工具重大变更重新评测比例。
  • 数据删除请求按时完成率。
  • 安全与合规问题修复 SLA。

8. 权威资料​

9. 二次精修：合规到工程控制的映射​

9.1 NIST AI RMF 落地表​

RMF 动作Agent 工程动作证据
Govern明确负责人、风险接受流程、供应商评审、变更管理RACI、风险台账、评审记录
Map识别场景、用户、数据、工具、副作用和受影响群体资产清单、数据流图、威胁模型
Measure评测任务成功率、安全失败率、偏差、隐私和鲁棒性Eval 报告、红队报告、在线监控
Manage限权、审批、沙箱、告警、事故响应和持续改进策略配置、Runbook、复盘

9.2 常见监管关注点​

关注点Agent 风险控制
数据最小化把整库数据放入上下文或日志字段级裁剪、检索 ACL、日志脱敏
可解释与可追溯无法解释 Agent 为什么执行动作trace、审计、版本化策略
第三方处理模型供应商、插件、MCP Server 接触数据DPA、供应商评估、数据处理区域
人类监督Agent 自动执行高风险决定HITL、审批、申诉和人工兜底
安全性prompt injection、外泄、越权和供应链红队、最小权限、沙箱、DLP

9.3 合规包目录建议​

compliance-pack/
  ai-system-card.md
  data-flow-diagram.md
  risk-register.xlsx
  model-and-tool-inventory.md
  eval-report/
  red-team-report/
  incident-runbook.md
  vendor-assessment/
  policy-versions/
  user-notice-and-human-review.md

9.4 上线评审流程​

9.5 不适用与反模式​

做法问题
把合规当成上线后的文档补齐高风险设计一旦上线，很难补救
只评估模型供应商，不评估工具和插件Agent 风险常出在工具副作用和数据连接器
所有场景套同一审批低风险拖慢效率，高风险仍可能不足
不记录风险接受人事故后责任与整改边界不清

9.6 复评触发器​

  • 模型、框架、MCP Server、工具 schema 或系统 prompt 发生重大变化。
  • 数据范围从公开/内部扩展到客户、财务、身份、医疗、代码仓库等敏感数据。
  • Agent 从只读变成写操作，或从内部用户开放到外部客户。
  • 线上出现外泄、越权、错误自动化操作、歧视性结果或重大投诉。

核对日期：2026-05-09。