AI 安全治理落地手册：风险台账 + 运行时管控 + 检测脚本，一份可以直接抄的实操模板

治理框架讲了，落地怎么干？

之前那篇 AI 智能体安全治理实战（治理框架 3.0）写完，阅读量不错，但后台私信里问得最多的不是框架本身，而是：“框架我懂了，回去怎么落地？领导要的是能执行的东西，不是概念。”

这确实是国内企业 AI 安全最尴尬的现状：政策文件出了一堆（生成式 AI 管理办法、数据安全法、个保法、各类 AI 安全治理指南），安全团队也明白要做事，但落到"周一上班干什么"这个粒度，就卡壳了。缺的不是方向，是可执行的模板。

这篇文章就把治理拆成三件能直接干的事：风险台账怎么建、运行时管控怎么做、检测脚本怎么写。照着抄，明天就能开工。

治理落地三步走

#mermaid-svg-aVjpgwCgwnyokmqN{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-aVjpgwCgwnyokmqN .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-aVjpgwCgwnyokmqN .error-icon{fill:#552222;}#mermaid-svg-aVjpgwCgwnyokmqN .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-aVjpgwCgwnyokmqN .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-aVjpgwCgwnyokmqN .marker{fill:#333333;stroke:#333333;}#mermaid-svg-aVjpgwCgwnyokmqN .marker.cross{stroke:#333333;}#mermaid-svg-aVjpgwCgwnyokmqN svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-aVjpgwCgwnyokmqN p{margin:0;}#mermaid-svg-aVjpgwCgwnyokmqN .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-aVjpgwCgwnyokmqN .cluster-label text{fill:#333;}#mermaid-svg-aVjpgwCgwnyokmqN .cluster-label span{color:#333;}#mermaid-svg-aVjpgwCgwnyokmqN .cluster-label span p{background-color:transparent;}#mermaid-svg-aVjpgwCgwnyokmqN .label text,#mermaid-svg-aVjpgwCgwnyokmqN span{fill:#333;color:#333;}#mermaid-svg-aVjpgwCgwnyokmqN .node rect,#mermaid-svg-aVjpgwCgwnyokmqN .node circle,#mermaid-svg-aVjpgwCgwnyokmqN .node ellipse,#mermaid-svg-aVjpgwCgwnyokmqN .node polygon,#mermaid-svg-aVjpgwCgwnyokmqN .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-aVjpgwCgwnyokmqN .rough-node .label text,#mermaid-svg-aVjpgwCgwnyokmqN .node .label text,#mermaid-svg-aVjpgwCgwnyokmqN .image-shape .label,#mermaid-svg-aVjpgwCgwnyokmqN .icon-shape .label{text-anchor:middle;}#mermaid-svg-aVjpgwCgwnyokmqN .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-aVjpgwCgwnyokmqN .rough-node .label,#mermaid-svg-aVjpgwCgwnyokmqN .node .label,#mermaid-svg-aVjpgwCgwnyokmqN .image-shape .label,#mermaid-svg-aVjpgwCgwnyokmqN .icon-shape .label{text-align:center;}#mermaid-svg-aVjpgwCgwnyokmqN .node.clickable{cursor:pointer;}#mermaid-svg-aVjpgwCgwnyokmqN .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-aVjpgwCgwnyokmqN .arrowheadPath{fill:#333333;}#mermaid-svg-aVjpgwCgwnyokmqN .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-aVjpgwCgwnyokmqN .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-aVjpgwCgwnyokmqN .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-aVjpgwCgwnyokmqN .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-aVjpgwCgwnyokmqN .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-aVjpgwCgwnyokmqN .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-aVjpgwCgwnyokmqN .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-aVjpgwCgwnyokmqN .cluster text{fill:#333;}#mermaid-svg-aVjpgwCgwnyokmqN .cluster span{color:#333;}#mermaid-svg-aVjpgwCgwnyokmqN div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-aVjpgwCgwnyokmqN .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-aVjpgwCgwnyokmqN rect.text{fill:none;stroke-width:0;}#mermaid-svg-aVjpgwCgwnyokmqN .icon-shape,#mermaid-svg-aVjpgwCgwnyokmqN .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-aVjpgwCgwnyokmqN .icon-shape p,#mermaid-svg-aVjpgwCgwnyokmqN .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-aVjpgwCgwnyokmqN .icon-shape .label rect,#mermaid-svg-aVjpgwCgwnyokmqN .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-aVjpgwCgwnyokmqN .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-aVjpgwCgwnyokmqN .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-aVjpgwCgwnyokmqN :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

检测闭环

监控告警

事件响应

定期复评

审计报告

运行时管控

模型访问控制

输入输出过滤

Agent 权限隔离

数据分级

风险台账

资产清单

风险识别

风险定级

责任人

第一步 建风险台账

第二步 上运行时管控

第三步 接检测与闭环

第一步：风险台账——把"风险"变成一张表

治理落地第一件事：先盘清楚自己有什么。很多安全团队跳过这一步直接上工具，结果管控了 A，忽略了 B，台账就是用来避免这种"盲人摸象"的。

3.1 资产清单

台账的底子是资产清单。AI 资产不像传统 IT 资产那么好盘，它分散在各个业务线：

建表逻辑：每个资产一行，字段包含负责人、部署位置、数据流向、依赖关系。用表格或 CMDB 都行，关键是有人认领。

3.2 风险识别与定级

AI 安全风险不能套传统"机密性/完整性/可用性"三件套了事，要按 AI 特有风险域识别。一份够用的分类：

定级建议用"影响 × 概率"矩阵，别把每个风险都标成"严重"，会失去优先级。

3.3 风险台账模板（直接抄）

# AI 安全风险台账

## 资产概览
| 资产ID | 名称 | 类型 | 负责人 | 部署位置 | 状态 |
|—|—|—|—|—|—|
| A-001 | 客服Agent | Agent应用 | 张三 | 生产环境 | 运行中 |
| A-002 | 内部代码助手 | Agent应用 | 李四 | 生产环境 | 运行中 |
| M-001 | 微调LLM(代码) | 模型 | 王五 | 内网GPU集群 | 运行中 |
| D-001 | RAG知识库 | 数据资产 | 赵六 | 生产环境 | 运行中 |

## 风险登记
| 风险ID | 关联资产 | 风险描述 | 风险域 | 等级 | 缓解措施 | 责任人 | 状态 |
|—|—|—|—|—|—|—|—|
| R-001 | A-001 | 客服Agent工具调用未做权限隔离，可能被提示词注入诱导 | 提示词注入 | 高 | 上线工具白名单+人工审批 | 张三 | 整改中 |
| R-002 | D-001 | 知识库摄入无内容校验，存在投毒风险 | 供应链 | 中 | 摄入校验+信任分级 | 赵六 | 待整改 |
| R-003 | M-001 | 模型API未做输入输出审计 | 数据泄露 | 高 | 接入审计网关 | 王五 | 已上线 |

台账的维护节奏：新增资产必登记，季度全量复评。

第二步：运行时管控——四道闸门

台账是"知道风险在哪"，运行时管控是"把风险关住"。四道闸门从请求到响应全链路拦截：

#mermaid-svg-Y8KliKeuCMaAXynk{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Y8KliKeuCMaAXynk .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Y8KliKeuCMaAXynk .error-icon{fill:#552222;}#mermaid-svg-Y8KliKeuCMaAXynk .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Y8KliKeuCMaAXynk .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Y8KliKeuCMaAXynk .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Y8KliKeuCMaAXynk .marker.cross{stroke:#333333;}#mermaid-svg-Y8KliKeuCMaAXynk svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Y8KliKeuCMaAXynk p{margin:0;}#mermaid-svg-Y8KliKeuCMaAXynk .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-Y8KliKeuCMaAXynk .cluster-label text{fill:#333;}#mermaid-svg-Y8KliKeuCMaAXynk .cluster-label span{color:#333;}#mermaid-svg-Y8KliKeuCMaAXynk .cluster-label span p{background-color:transparent;}#mermaid-svg-Y8KliKeuCMaAXynk .label text,#mermaid-svg-Y8KliKeuCMaAXynk span{fill:#333;color:#333;}#mermaid-svg-Y8KliKeuCMaAXynk .node rect,#mermaid-svg-Y8KliKeuCMaAXynk .node circle,#mermaid-svg-Y8KliKeuCMaAXynk .node ellipse,#mermaid-svg-Y8KliKeuCMaAXynk .node polygon,#mermaid-svg-Y8KliKeuCMaAXynk .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Y8KliKeuCMaAXynk .rough-node .label text,#mermaid-svg-Y8KliKeuCMaAXynk .node .label text,#mermaid-svg-Y8KliKeuCMaAXynk .image-shape .label,#mermaid-svg-Y8KliKeuCMaAXynk .icon-shape .label{text-anchor:middle;}#mermaid-svg-Y8KliKeuCMaAXynk .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Y8KliKeuCMaAXynk .rough-node .label,#mermaid-svg-Y8KliKeuCMaAXynk .node .label,#mermaid-svg-Y8KliKeuCMaAXynk .image-shape .label,#mermaid-svg-Y8KliKeuCMaAXynk .icon-shape .label{text-align:center;}#mermaid-svg-Y8KliKeuCMaAXynk .node.clickable{cursor:pointer;}#mermaid-svg-Y8KliKeuCMaAXynk .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Y8KliKeuCMaAXynk .arrowheadPath{fill:#333333;}#mermaid-svg-Y8KliKeuCMaAXynk .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Y8KliKeuCMaAXynk .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Y8KliKeuCMaAXynk .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Y8KliKeuCMaAXynk .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Y8KliKeuCMaAXynk .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Y8KliKeuCMaAXynk .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Y8KliKeuCMaAXynk .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Y8KliKeuCMaAXynk .cluster text{fill:#333;}#mermaid-svg-Y8KliKeuCMaAXynk .cluster span{color:#333;}#mermaid-svg-Y8KliKeuCMaAXynk div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Y8KliKeuCMaAXynk .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Y8KliKeuCMaAXynk rect.text{fill:none;stroke-width:0;}#mermaid-svg-Y8KliKeuCMaAXynk .icon-shape,#mermaid-svg-Y8KliKeuCMaAXynk .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Y8KliKeuCMaAXynk .icon-shape p,#mermaid-svg-Y8KliKeuCMaAXynk .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Y8KliKeuCMaAXynk .icon-shape .label rect,#mermaid-svg-Y8KliKeuCMaAXynk .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Y8KliKeuCMaAXynk .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Y8KliKeuCMaAXynk .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Y8KliKeuCMaAXynk :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

运行时管控四道闸门

用户请求

闸门1 接入与身份

闸门2 输入安全

闸门3 模型与数据

闸门4 输出安全

用户响应

闸门 1：接入与身份——谁在用，用什么权限

• 所有 AI 服务统一走网关，不做"裸 API"。
• 按身份分级：普通员工/管理员/外部用户，权限不同。
• Agent 的工具调用有独立授权，不是"Agent 有啥工具就有啥权限"。

闸门 2：输入安全——请求先过安检

• 提示词注入特征检测。
• 敏感数据识别（PII、密钥、内部资料）。
• 频率/配额控制（防滥用）。

闸门 3：模型与数据——模型只能碰该碰的

• 模型服务侧：禁止任意文件读取/网络访问（如果模型本身支持工具）。
• RAG 侧：检索权限过滤、信任分级（上篇写过，这里不展开）。
• 数据分级：涉密数据不给低权限模型/外部模型处理。

闸门 4：输出安全——回答别泄密

• 输出敏感信息检测（密钥、手机号、内部路径）。
• 内容安全过滤（违规内容）。
• 来源标注（RAG 回答必须可溯源）。

第三步：检测脚本——直接能跑的监控

光有闸门没有监控等于没装摄像头。下面是三组可以直接跑的检测脚本，分别覆盖：输入注入、输出泄露、Agent 行为审计。

4.1 提示词注入检测（输入侧）

#!/usr/bin/env python3
# prompt_injection_detect.py – 提示词注入实时检测
# 用法: 作为网关中间件调用，输入用户请求文本，输出风险等级

import re
import sys

# 注入模式库（可按业务扩充）
INJECTION_PATTERNS = [
# 指令覆盖
r"(?i)\\b(ignore|disregard|forget|override|skip)\\b.{0,40}\\b(previous|prior|above|all|instruction|prompt|system|developer)\\b",
# 角色切换/越狱
r"(?i)\\b(you are now|act as|pretend|roleplay|do anything now|jailbreak)\\b",
# 提示泄露
r"(?i)\\b(reveal|show|print|output|repeat|leak)\\b.{0,30}\\b(system prompt|prompt|instructions|secret|password|key)\\b",
# 标记混淆
r"(?i)(</?system>|</?user>|</?assistant>|<im_start>|<im_end>|<\\|)",
# 分离/编码绕过
r"(?i)\\b(base64|hex encode|rot13|decode)\\b.{0,20}\\b(prompt|instruction|text)\\b",
]

def detect(text: str) –> dict:
hits = []
for pat in INJECTION_PATTERNS:
for m in re.finditer(pat, text):
hits.append({
"pattern": pat[:60],
"matched": m.group(0)[:80],
})
return {
"risk": "high" if len(hits) >= 2 else ("low" if hits else "none"),
"hits": hits,
"text_length": len(text),
}

if __name__ == "__main__":
text = sys.stdin.read() if not sys.stdin.isatty() else input("输入待检测文本: ")
result = detect(text)
print(f"风险等级: {result['risk']}")
for h in result["hits"][:10]:
print(f" 命中: {h['matched']}")

4.2 输出敏感信息检测（输出侧）

#!/usr/bin/env python3
# output_leak_detect.py – 模型输出敏感信息检测
# 用法: 将模型输出接入本脚本，命中即触发告警/屏蔽

import re

SECRET_PATTERNS = {
"云厂商密钥": [r"AKIA[0-9A-Z]{16}", r"sk-[A-Za-z0-9]{20,}", r"ghp_[A-Za-z0-9]{36,}"],
"私钥": [r"—–BEGIN (RSA|EC|OPENSSH|PRIVATE) KEY—–"],
"密码/口令": [r"(?i)(password|passwd|pwd|口令|密码)\\s*[=::]\\s*\\S+"],
"身份证": [r"\\b\\d{17}[\\dXx]\\b"],
"手机号": [r"\\b1[3-9]\\d{9}\\b"],
"银行卡": [r"\\b\\d{16,19}\\b"],
"内部路径": [r"(?i)(/etc/passwd|C:\\\\Windows|内网|VPN地址|10\\.\\d+\\.\\d+\\.\\d+)"],
}

def check_output(text: str) –> list:
findings = []
for category, pats in SECRET_PATTERNS.items():
for pat in pats:
for m in re.finditer(pat, text):
findings.append({
"category": category,
"matched": m.group(0)[:30] + ("…" if len(m.group(0)) > 30 else ""),
"position": m.start(),
})
return findings

if __name__ == "__main__":
import sys
text = sys.stdin.read()
results = check_output(text)
if results:
print("[ALERT] 输出检测到敏感信息:")
for r in results:
print(f" [{r['category']}] {r['matched']} @ {r['position']}")
else:
print("[OK] 未检测到敏感信息")

4.3 Agent 行为审计（运行时）

#!/usr/bin/env python3
# agent_audit.py – Agent 工具调用行为审计与异常告警
# 收集 Agent 的工具调用日志，检测异常行为模式

import json
import datetime
from collections import defaultdict

class AgentAuditor:
def __init__(self):
self.events = []
self.rules = [
self._rule_high_freq,
self._rule_sensitive_tool,
self._rule_unusual_time,
self._rule_escalation,
]

def record(self, agent_id, tool, args, result_status, user):
self.events.append({
"ts": datetime.datetime.now().isoformat(),
"agent_id": agent_id,
"tool": tool,
"args": args,
"status": result_status,
"user": user,
})

def _rule_high_freq(self, ev):
"""单 Agent 高频调用（如 1 分钟内超过阈值）"""
# 简化版：同 agent 短时间大量调用
return None

def _rule_sensitive_tool(self, ev):
"""调用敏感工具（文件读写/命令执行/数据库）"""
sensitive = ["shell_exec", "file_write", "db_query", "send_email", "approve"]
if ev["tool"] in sensitive:
return f"[异常] Agent {ev['agent_id']} 调用敏感工具 {ev['tool']}"
return None

def _rule_unusual_time(self, ev):
"""非工作时间操作"""
hour = datetime.datetime.fromisoformat(ev["ts"]).hour
if hour < 6 or hour >= 23:
return f"[提示] Agent {ev['agent_id']} 在 {hour} 点调用工具"
return None

def _rule_escalation(self, ev):
"""权限提升类工具"""
if "elevate" in ev["tool"] or "admin" in ev["args"]:
return f"[严重] Agent {ev['agent_id']} 尝试权限提升: {ev['tool']} {ev['args']}"
return None

def audit(self) –> list:
alerts = []
for ev in self.events:
for rule in self.rules:
result = rule(ev)
if result:
alerts.append(result)
return alerts

# 示例接入
auditor = AgentAuditor()
# auditor.record("agent-001", "db_query", {"sql": "SELECT * FROM users"}, "ok", "u-001")
# alerts = auditor.audit()
# for a in alerts: print(a)

治理闭环：台账不是摆设

台账建了、管控上了、脚本跑了，治理还没结束。闭环是三件事：

5.1 事件响应流程

检测到异常后怎么处理？给一套简化的响应矩阵：

5.2 定期复评

• 月度：台账抽查、告警趋势分析。
• 季度：风险全量复评、管控规则有效性测试。
• 年度：治理体系整体评审（对照最新监管要求）。

5.3 审计报告模板

# AI 安全治理季度报告

## 一、台账状态
– 资产总数 / 新增 / 下线
– 风险总数 / 高 / 中 / 低
– 整改进度：X/X 完成

## 二、运行时管控
– 请求总量 / 拦截总量 / 拦截率
– 告警 TOP5 及处置情况
– 规则命中分析

## 三、事件统计
– 事件总数 / 严重 / 高 / 中 / 低
– 平均响应时间
– 典型案例复盘

## 四、下季度计划
– 待整改风险清单
– 管控规则优化方向

落地的现实建议

最后给几条过来人的建议，帮大家少踩坑：

治理不是安全团队的单人表演，是全员参与的工程。台账让人知道"风险在哪"，管控让风险"关得住"，检测让风险"看得见"，闭环让风险"不断降"。这套东西跑起来，领导要的"落地"就有了。

五、风险台账实操：字段设计、定级方法与盘点步骤

前面说了台账是骨架，这里给可直接抄的字段和操作方法。

5.1 台账字段设计

字段别贪多，12 个够用。多了没人维护，台账就废了。

5.2 风险定级：别拍脑袋，用打分表

风险等级 = 发生可能性 × 影响程度。给一个可复制的打分维度：

四项乘积 ≥ 16 定"高"，8-15 定"中"，≤ 7 定"低"。打分表的意义不是精确，而是让定级有依据、可讨论、能追溯——领导问"为什么这个算高"，你能给出理由。

5.3 资产盘点：三周跑完

第 1 周最常见的遗漏：员工私自接入的外部 AI 工具（个人 ChatGPT、AI 插件、浏览器助手）。这类"影子 AI"不在你的资产清单里，风险却真实存在。盘点时务必把"外部 AI 服务"单独建一个表。

六、运行时管控深化：模型访问控制与输入输出过滤

前面模板给了管控框架，这里补关键实现细节。

6.1 模型访问控制：不只是"谁能调"

关键认知：模型访问控制的目的不是"防员工乱用"，而是"让每一次调用可归属、可审计、可拦截"。权限给谁不重要，重要的是每个调用都能追溯到"哪个业务、哪个服务、哪个用户"。

6.2 输入输出过滤：规则要分层

# 输出 PII 检测示例
import re

PII_PATTERNS = {
"phone": r"1[3-9]\\d{9}",
"id_card": r"\\d{17}[\\dXx]",
"email": r"[\\w.+-]+@[\\w-]+\\.[\\w.]+",
}

def detect_pii(text: str) –> list[str]:
hits = []
for name, pattern in PII_PATTERNS.items():
if re.search(pattern, text):
hits.append(name)
return hits

过滤的取舍：规则宁可误报也不漏报，但误报要有"放行通道"。人工复核通道是必需的，否则业务被卡死会强行绕过系统。

6.3 Agent 权限隔离：给 Agent 发"最小身份证"

Agent 执行操作时不能拿全量权限，按"最小权限 + 按需提权"设计：

Agent 权限隔离最常踩的坑：Agent 复用人的 OAuth 令牌。人能看到的东西 Agent 全能看到，一旦 Agent 被提示词注入，等于人的权限被白嫖。独立服务账号 + 范围最小化是底线。

七、检测脚本深化：不止一个脚本，是一套检测点

前面给了基础检测脚本，这里把检测点铺开。治理的检测不是"写一个脚本"，而是覆盖几个关键风险点。

7.1 提示词注入检测

# 提示词注入特征检测
INJECTION_PATTERNS = [
"ignore previous instructions",
"ignore all instructions",
"system prompt",
"you are now",
"act as",
"忘了你是",
"忽略之前的指令",
"不要遵守",
]

def check_injection(text: str) –> bool:
lower = text.lower()
return any(p in lower for p in INJECTION_PATTERNS)

提示词注入检测的两个注意点：一是关键词匹配只是第一层，真正的注入可能用编码/换行/多语言绕过，所以必须配合行为层检测（比如 Agent 突然尝试访问不该访问的资源）；二是检测要放在"输入进入模型前"和"输出触发操作前"两个位置，后者更关键。

7.2 异常调用检测

# 检测异常模型调用：频率、时段、上下文突变
from collections import defaultdict

def detect_abnormal_calls(logs: list[dict], threshold: int = 50) –> list[str]:
"""logs: [{user, model, ts, input_len, output_len}]"""
by_user = defaultdict(list)
for log in logs:
by_user[log["user"]].append(log)
alerts = []
for user, items in by_user.items():
if len(items) > threshold:
alerts.append(f"用户 {user} 调用频率异常: {len(items)} 次")
# 深夜调用放大
night = [i for i in items if i["ts"].hour < 6]
if len(night) > threshold * 0.3:
alerts.append(f"用户 {user} 深夜调用异常: {len(night)} 次")
return alerts

这类检测的价值在于发现"账号被滥用"和"Agent 被劫持"——正常业务调用模式稳定，异常往往意味着出事了。

7.3 检测接入 SIEM 的正确姿势

脚本的价值是"能跑"，平台的价值是"能持续跑"。治理团队的核心工作是把脚本升级成常态化监控，而不是每次都手动跑。

八、实战案例：一次 AI 安全事件的完整处置

背景：某公司上线了内部知识库问答 Agent，接入公司文档和业务系统。

事件：安全团队收到告警——某个业务线的 Agent 在凌晨 3 点开始高频调用模型，且调用了自己权限外的数据接口。

处置过程：

复盘要点：

九、治理模式对比：自建 vs 平台 vs 混合

起步建议：试点期自建，验证价值后再评估平台。别一上来就买大平台，治理没跑起来买啥都是空转。

十、常见坑与 FAQ

Q1：台账建了没人维护怎么办？
台账要"活"：和变更流程绑定（新 AI 资产上线必须登记），和季度评审绑定（每季度过一遍状态）。没人维护的台账不是台账，是废纸。给业务负责人发"认领确认"邮件，把维护责任写进岗位职责。

Q2：输入过滤会不会把正常业务也拦了？
会误报。所以必须配"放行通道"（人工复核 + 白名单），并把误报率纳入监控。规则宁严勿松，但要给业务一条合法绕过的路，否则业务会走非法绕过的路。

Q3：Agent 复用人的账号有什么实际危害？
危害在"权限放大"：人的权限是给人设计的，Agent 拿到后会被注入/被滥用，等于把人的全部权限暴露给攻击者。而且复用账号无法审计——出事了不知道是哪条 Agent 会话干的。独立服务账号是底线。

Q4：治理框架和合规审计（等保、个保法）什么关系？
治理是"内功"，合规是"考试"。合规审计会查你有没有治理机制（台账、管控、检测、事件响应），治理做扎实了，合规是水到渠成。别为了过审做表面文章，审计专家能看出来。

Q5：小公司没专职安全团队，AI 治理还做吗？
做，但降级做：台账用表格维护（20 个资产以内）、管控先做最关键的（权限隔离 + 日志记录）、检测用最小脚本。治理的复杂度要和资产规模匹配，小公司不需要大平台的复杂度。

Q6：模型供应商自己的安全（模型幻觉、内容安全）算不算治理范围？
算。治理范围包括模型本身的风险：幻觉导致错误决策、内容违规、数据训练泄露。但优先级低于"权限/数据"风险——先管住数据和权限，再评估模型质量风险。

Q7：检测脚本跑出来的告警没人处置怎么办？
告警没人处置比没有告警更糟——它会让人对告警脱敏。对策：①告警分级，只把真正重要的推到人面前；②定响应 SLA（严重 1 小时、高危 4 小时）；③告警处置纳入考核。让"告警必响"成为制度，而不是靠自觉。

Q8：治理做多久能看到效果？
第一个月就能看到"台账完整度"和"拦截率"的变化；一个季度能看到事件响应能力的提升；半年到一年才能看到风险事件数量的实质下降。治理是滚雪球，前期的动作慢，但后劲大。

十一、治理组织与流程：AI 安全不是安全团队一个人的事

治理要落地，先有"谁负责什么"的共识。给一个可用的组织与职责方案：

11.1 治理委员会架构

11.2 治理流程闭环

## 治理流程五步闭环
第 1 步 识别：新 AI 场景/模型上线前做风险评估（登记台账）
第 2 步 定级：按风险等级定管控策略（高/中/低）
第 3 步 管控：部署运行时管控（访问控制/输入输出过滤/告警）
第 4 步 监测：持续监测运行情况（异常、事件）
第 5 步 复盘：定期复盘，更新台账与策略

核心认知：AI 安全治理的难点不在技术，在"流程有人走"。委员会不干活，台账就是摆设。每个 AI 场景上线前都要过一遍五步闭环，而不是"上线了再说"。

十二、数据分级与 AI 数据流：数据是 AI 风险的第一入口

AI 系统吃的就是数据，数据分级直接决定风险等级：

12.1 数据分级与 AI 访问策略

12.2 AI 数据流的关键管控点

一句话：数据分级没做好，AI 治理就是"看着门开着不知道往哪关"。数据分级是 AI 安全的第一块基石。

十三、模型供应链治理：模型卡、评估与上线审批

企业用的模型（开源/商业 API/自研）也是"供应链"，要像管软件一样管模型：

13.1 模型引入的评估维度

13.2 模型卡（Model Card）落地

给每个引入的模型建"模型卡"，作为治理档案：

## 模型卡模板（简化版）
模型名称：
供应商/来源：
版本：
训练数据概况：
能力边界：
已知风险（越狱/幻觉/偏见）：
数据流向（是否出境）：
许可与合规：
上线审批状态：
责任人：

上线审批：高风险场景（涉及敏感数据、对外服务）必须过审批，低风险场景（内部辅助、无敏感数据）可快速通道。模型版本升级也要重新评估，不能"升了再说"。

十四、合规映射：治理要求对应哪些法规

治理不是凭空造规则，背后是硬性合规要求。常见映射如下：

实操提示：治理台账里的每个"风险等级"尽量对齐合规要求里的"定级标准"，这样治理动作既是安全措施也是合规证据。一次投入，两个产出。

十五、治理成熟度评估：你们到底到哪一步了

给一个简易成熟度模型，方便自我评估：

# 成熟度自评示例
def maturity_score(checks: dict) –> str:
score = sum(checks.values())
if score < 5:
return "L1 无序：先建台账定责任人"
if score < 10:
return "L2 建立：跑通治理闭环"
if score < 15:
return "L3 常态化：自动化与 SLA"
return "L4+ 优化：主动治理"

别急着跳级。大部分企业卡在 L1→L2（建台账没人认领、流程走不通），先把基础打牢，再谈高级能力。

十六、追加 FAQ

Q9：AI 治理要新建一个团队吗？
不用。把职责挂到现有组织：安全团队管检测管控、法务管合规、业务线出业务代表、数据团队管分级。治理委员会可以是"虚拟团队"，关键是流程有人走，不是组织多庞大。

Q10：开源模型和商业 API，治理要求一样吗？
不一样。开源模型要管"来源与许可、自部署的数据安全"；商业 API 要管"数据流向（是否出境）、合同条款、供应商安全能力"。两类模型的风险点不同，治理动作各有所重。

Q11：治理流程会不会拖慢 AI 上线速度？
会，但可控。给"低风险场景"开快速通道（模板化登记、自动审批），高风险场景才走完整评估。治理的目标不是"卡业务"，是"让高风险场景慢一点、让低风险场景快起来"。

Q12：模型幻觉导致的错误决策，算安全事件吗？
算，但要分级。幻觉导致"错误建议"是质量问题；幻觉导致"泄露敏感信息"或"执行危险操作"才是安全事件。台账里要区分"质量事件"和"安全事件"，处置流程不同。

Q13：员工私下用外部 AI 工具处理工作数据，怎么管？
技术层面：数据防泄漏（DLP）监控敏感数据外发；管理层面：明确"哪些数据能进外部 AI"的边界 + 员工培训；产品层面：提供内部合规 AI 工具，让"合规路径"比"不合规路径"好用。堵不如疏。

Q14：治理成熟度到 L4 之后还要做什么？
把治理从"安全部门的事"变成"业务默认动作"：新业务规划时自动带 AI 风险评估、供应商评估默认含 AI 安全条款、安全指标进业务汇报。治理的最高境界是"不显眼但无处不在"。

十七、治理指标与度量：不量化，治理就是"说了等于没说"

治理要持续，必须能量化"有没有变好"。给一套可用的指标体系：

17.1 治理核心指标

17.2 指标怎么用

## 月度治理看板示例
台账覆盖率：92%（上月 85%） 目标 100%
管控覆盖率：88%（上月 80%） 目标 100%
高风险存量：3 个（上月 6 个） 目标 0
平均响应时长：2.1h（上月 4.5h） 目标 <1h
告警有效率：67%（上月 52%） 目标 >80%

认知：指标的意义不是"好看"，是"暴露问题"。覆盖率上不去，就说明"台账流程没跑通"；响应时长降不下来，就说明"响应机制有问题"。每月看板 + 指标复盘，治理才有抓手。

十八、追加 FAQ

Q15：治理指标数据从哪来？
从现有系统捞：台账（登记系统/工单）、管控（策略引擎/访问控制日志）、事件（告警平台/SIEM）。一开始不用建新系统，Excel/看板工具都能先跑起来。重点是"口径一致"（每月统计口径固定），而不是"系统多高级"。

Q16：业务部门不配合登记台账怎么办？
把登记变成"上线前置条件"：AI 场景没登记、没定级，就不能上线/不接入内部模型。再给业务"好处"：登记后能更快拿到合规模型和资源，让登记变成"高效路径"而非"麻烦"。强制 + 激励结合，流程才推得动。

Q17：治理工作怎么向管理层汇报？
用"风险语言"而非"技术语言"：不说"我们上了 XX 检测模型"，说"高风险场景从 6 个降到 3 个、潜在数据泄露风险下降 XX%“。管理层关心的是"风险是否可控、投入是否有效”，指标看板就是最好的汇报材料。

Q18：AI 安全事件（如数据泄露）发生后，治理流程怎么迭代？
复盘闭环：事件原因 -> 台账/管控缺口 -> 更新规则/流程 -> 全员同步 -> 下次演练覆盖。治理是"事件驱动迭代"的：每次事件都是流程升级的机会。别把事件当"坏事结束"，要当"体系补洞"的输入。

Q19：多业务线的 AI 治理，怎么统一？
用"统一框架 + 分级授权"：框架（风险分级、台账模板、管控基线）全公司统一，具体场景的台账登记、日常管控由各业务线自己跑，安全团队抽查监督。统一的是"标准"，灵活的是"执行"，别搞成"全公司都等安全团队审批"。

Q20：AI 治理做到什么程度算"到位"？
没有终点的"到位"，但有阶段标志：L3（常态化）算基本及格——台账覆盖、管控自动、告警有响应；再往上（L4/L5）是优化和引领。判断标准很简单：不出事不是到位，出了事能快速定位、处置、复盘、预防，才算"治理有效"。

十九、治理工具与自动化：从"人肉台账"到"平台化"

治理初期的台账、管控靠人肉能跑，规模大了必须平台化。给一套工具演进路线：

19.1 工具演进路线

## 治理工具演进
阶段 1 人肉期：Excel 台账 + 邮件审批（规模小，够用）
阶段 2 半自动：工单系统 + 策略脚本（台账线上化）
阶段 3 平台化：治理平台 + 自动发现 + 自动管控（全链路）
阶段 4 智能化：风险预测 + 自适应策略（治理自动化）

19.2 平台化后的能力清单

# 一个治理 API 的设计示意：登记 -> 定级 -> 下发管控
def register_ai_scene(scene_info):
risk_level = assess_risk(scene_info) # 自动定级
controls = mapping_controls(risk_level) # 匹配管控模板
save_registry(scene_info, risk_level) # 入台账
deploy_controls(controls) # 下发管控
return {"scene_id": scene_info.id, "risk_level": risk_level}

要点：平台化不是"上个大系统"，是"把重复动作变成自动化"。每一步自动化都能释放人力去干"判断和处置"，而不是"抄表"。

二十、追加 FAQ

Q21：治理平台和现有安全平台（SOC/SIEM）什么关系？
互补：SOC/SIEM 管"运行时安全事件"，治理平台管"AI 资产与风险台账"。最佳实践：治理平台管"有哪些 AI 场景、什么风险、什么管控"，SIEM 消费治理平台的台账做关联分析（出事后知道影响哪些场景）。别重复造轮子，接口打通就行。

Q22：小团队没有专职治理人员，怎么起步？
一个人也能起步：①把"AI 场景登记表"做成在线表单，业务填、安全审；②风险定级先做"两档制"（高/普通），别一开始就五档；③管控先抓"接入模型"这一个入口（所有 AI 场景必须经统一入口接入）。小团队做治理，抓"入口 + 台账 + 高风险管理"三条线足够起步。

二十一、治理落地 90 天计划：从"想干"到"干起来"

很多人不是不想治理，是不知道"从哪开始"。给一个 90 天起步计划：

21.1 90 天路线图

## AI 治理 90 天起步
第 1-30 天 摸底：盘点 AI 场景、建台账、初步定级
第 31-60 天 建基线：定风险分级标准、管控模板、告警规则
第 61-90 天 落地：高风险场景上管控、跑通事件流程、月度看板

21.2 每个阶段的交付物

21.3 90 天内的"避坑"提醒

要点：治理最大的敌人是"等完美方案"。90 天计划的意义是"先跑起来"，哪怕流程粗糙——跑起来才有数据、有反馈、有迭代。

二十二、追加 FAQ

Q23：治理的"标准"从哪来？
参考三个来源：监管要求（法律法规、行业规范）、业界框架（AI 安全/治理框架、最佳实践）、企业自身（业务特点、风险偏好）。别照搬，要"裁剪 + 本地化"：监管要求是底线，业界框架是参考，企业自身是落点。

Q24：AI 治理投入怎么向老板"算账"？
算"风险账"而不是"成本账"：高风险场景数据泄露一次的损失（罚款/业务/声誉）> 治理投入。量化示例：治理前高风险场景 6 个、治理后 2 个、潜在损失减少 X 万。老板要听"投入换来什么"，不是"我们建了什么系统"。

二十三、治理模板速用包：台账、定级、管控一张表打通

前面给了框架，这里把"登记 -> 定级 -> 管控"串成一套可直接抄用的模板：

23.1 台账表结构

## AI 场景台账（示例列）
场景名称 | 负责人 | 数据涉及 | 模型类型 | 使用方式(内部/外部) | 风险等级 | 管控状态 | 上线时间

23.2 风险定级参考

23.3 管控模板库

## 管控模板（按风险等级套用）
高：数据脱敏 + 访问审计 + 输出审核 + 人工复核 + 应急预案
中：权限控制 + 操作日志 + 定期评审
低：登记备案 + 年度抽查

用法：台账登记时同步定级，定级后自动匹配管控模板。一张表 + 三档规则，就能把"登记、定级、管控"串起来——不需要一开始就上平台，Excel 就能起步。

二十四、追加 FAQ

Q25：治理模板能直接用吗？还是需要定制？
先直接用，跑 1-2 个月后再定制：模板给的是"通用框架"，你的行业（金融/医疗/制造）会有特有要求，跑一段时间你就知道哪里要改。别一开始就大改模板——没有实践数据前，改动都是猜。

Q26：台账登记后发现"场景太多、管不过来"怎么办？
按"风险排序"管理：高风险必管、中风险排期、低风险登记即可。90% 的精力放在 20% 的高风险场景上。别试图"全管"——治理是"风险导向"的，不是"数量导向"的。

二十五、附录：首份月度治理报告怎么"有话可说"

很多团队台账也建了、管控也上了，但月度报告写不出来。给一个"有料"的报告骨架：

25.1 报告骨架

## 月度治理报告骨架
一、覆盖情况：台账场景数 / 已管控数 / 覆盖率
二、高风险动态：新增/关闭的高风险场景及原因
三、事件处置：本月事件数、处置结果、平均响应时长
四、告警分析：主要告警类型、误报率、规则优化项
五、下月计划：要补的台账、要加的管控、要调的规则

25.2 让报告"有数字"的两个技巧

要点：报告不是"给领导看"的形式，是治理的"仪表盘"——写不出数字，说明流程还没真正跑起来。

二十六、追加 FAQ

Q27：治理报告应该给谁看？频率多久？
分两层：执行层（安全/技术团队）看"运营数据"（事件、告警、覆盖率），月度即可；管理层看"风险与投入"（高风险场景变化、投入产出），季度或半年。给不同的人讲不同的话——执行层听细节，管理层听结论。

互动问题：