生活化AI可观测性体系设计总览：日志、指标与告警
一、AI系统的可观测性挑战：非确定性与黑箱的双重叠加
传统Web应用的可观测性聚焦于"是否正常运行"——API返回码、响应延迟、错误率。AI系统在此基础上增加了两个独特挑战：非确定性（同一个Prompt在不同时刻可能产生不同质量的回答，这些"软故障"不通过HTTP状态码暴露）和黑箱性（LLM的推理过程不可直接观测，需要从输入输出中间接推断行为模式）。
生活化AI产品的可观测性需要回答四类问题：产品是否正常运行（传统监控——延迟、错误率）、AI回答质量如何（新维度——用户满意度、内容安全率、格式合规率）、成本是否健康（Token消耗趋势、模型路由效率）、用户体验是否退化（功能使用率变化、对话轮数趋势、留存曲线异动）。
二、可观测性四层金字塔
金字塔从下到上，指标从"技术视角"渐变为"产品视角"。L1是传统运维指标（基础设施健康），L2是AI系统特有的性能指标（模型延迟、Token成本），L3是AI质量指标（回答质量、安全合规——这些不能从HTTP状态码推断），L4是业务指标（用户行为和满意度——最终证明系统价值的层级）。
三、结构化日志的实现
"""
AI系统结构化日志：requestId全链路追踪
设计意图：每条用户请求生成唯一requestId，
在API调用、AI推理、数据库查询的每一层都携带该ID，
实现从用户点击到AI回答的端到端追踪
"""
import uuid
import json
import time
from functools import wraps
class AILogger:
"""AI系统结构化日志"""
@staticmethod
def log_ai_request(request_id: str, event: str, data: dict):
"""记录AI请求事件"""
log_entry = {
'timestamp': time.time(),
'request_id': request_id,
'event': event,
'user_id': data.get('user_id', 'anonymous'),
'feature': data.get('feature_type', 'unknown'),
# AI特有字段
'model': data.get('model', 'unknown'),
'tokens_input': data.get('tokens_input', 0),
'tokens_output': data.get('tokens_output', 0),
'latency_ms': data.get('latency_ms', 0),
'fallback_used': data.get('fallback_used', False),
'cache_hit': data.get('cache_hit', False),
# 质量相关
'response_truncated': data.get('response_truncated', False),
'safety_filtered': data.get('safety_filtered', False),
}
# 输出JSON格式日志，便于日志系统（如Datadog/ELK）解析
print(json.dumps(log_entry, ensure_ascii=False))
# 装饰器：自动为每个请求生成requestId并注入上下文
def with_request_id(func):
@wraps(func)
async def wrapper(*args, **kwargs):
request_id = str(uuid.uuid4())
# 注入到上下文（可通过contextvars在异步调用链中传播）
token = contextvars.ContextVar('request_id')
token.set(request_id)
start = time.time()
try:
result = await func(*args, **kwargs)
AILogger.log_ai_request(request_id, 'request_complete', {
'latency_ms': (time.time() – start) * 1000,
'success': True,
})
return result
except Exception as e:
AILogger.log_ai_request(request_id, 'request_error', {
'latency_ms': (time.time() – start) * 1000,
'error': str(e),
})
raise
return wrapper
四、AI可观测性的边界：过度监控与用户隐私
监控的粒度需要在"足够发现问题和优化系统"与"保护用户隐私"之间取得平衡。AI对话的原始内容不应该全量记录到日志中——即使是内部日志系统也构成隐私风险。而是记录对话的统计特征（长度、轮数、情感标签分布）而非原文，仅在特定的安全事件（如内容过滤触发）中保留必要的上下文片段。
另外，告警阈值的设定需要经过校准。初期设置的"AI回答不可用率>5%告警"引入了大量噪音（因为是阈值设置过低），团队逐渐对告警脱敏。正确的做法是从历史数据的P99值反推阈值，让告警真正代表异常。
五、总结
AI可观测性体系的核心设计：
资料说明
本文中的协议、版本、性能、成本和行业趋势应以可核验的一手资料为准。未标注统计口径的比例、时间表和预测仅作工程讨论，不应视为行业事实。可参考 0731 资料来源索引，并在发布前将具体来源贴到对应断言之后。
