面对非确定性输出的测试用例设计：AI 功能验收的统计学方法

面对非确定性输出的测试用例设计：AI 功能验收的统计学方法

传统软件工程的验收标准是确定性的：输入参数 $x$，断言预期结果 $f(x) == y$。如果结果不等于 $y$，就是 Bug。

但在基于大语言模型（LLM）的 AI 产品中，这种确定性断言彻底失效了。即使将 temperature 设为 0，由于底层 GPU 浮点数并行累加的非结合性以及推理算子的动态调度，输出依然可能存在微小扰动；而在实际业务场景中，为了保证回答的灵活性，temperature 通常设置在 0.3~0.7 之间。

AI 产品经理在验收功能时经常陷入两难：

• 研发提交了一个新 Prompt 或微调了模型，PM 随手测了 5 个 Case 觉得效果不错就草率上线，结果生产环境中 15% 的长尾 Case 出现严重幻觉或格式崩溃；
• 测试人员抓着某一次生成的同义词替换（例如把“确认订单”说成了“核对订单”）提 Bug，研发认为这是模型发散特性，双方陷入无休止的“薛定谔之 Bug”扯皮。

要管理大模型的非确定性，AI 产品经理必须从传统确定性断言转向基于统计学置信区间的验收体系。

1. AI 功能验收的三层断言漏斗

我们将 AI 输出的验收拆分为三个独立维度，层层递进：

┌────────────────────────────────────────────────────────┐
│ 1. 结构与格式断言 (Structural Invariance) │
│ – JSON Schema 强校验、关键字段存在性、类型强约束 │
│ – 目标：通过率必须达到 100% │
├────────────────────────────────────────────────────────┤
│ 2. 语义与事实断言 (Semantic & Factual Invariance) │
│ – 语义向量相似度 (Embedding Cosine)、ROUGE-L、关键词 │
│ – 目标：均值 >= 0.85，方差 <= 0.05 │
├────────────────────────────────────────────────────────┤
│ 3. 统计学假设检验 (Statistical Significance) │
│ – 重复采样 N 次 (Monte Carlo)、Bootstrap 置信区间 │
│ – 目标：在 95% 置信度下，指标下界达标 │
└────────────────────────────────────────────────────────┘

2. 基于 Bootstrap 统计抽样的自动化验收框架

单次测试通过没有任何统计学意义。对于关键测试集，每个测试 Case 必须进行多次独立推理采样（$N \\ge 30$），并通过 Bootstrap 方法计算置信区间（Confidence Interval）。

以下是可用于 CI/CD 流水线和 PM 验收的 Python 统计检验框架：

import numpy as np
from pydantic import BaseModel, Field, ValidationError
from typing import List, Dict, Callable
import json

class OrderExtractionSchema(BaseModel):
user_name: str
items: List[str] = Field(min_items=1)
total_amount: float
confirmed: bool

def bootstrap_confidence_interval(data: List[float], n_bootstraps: int = 2000, alpha: float = 0.05):
"""通过 Bootstrap 自助法计算 95% 置信区间"""
boot_means = []
n = len(data)
for _ in range(n_bootstraps):
sample = np.random.choice(data, size=n, replace=True)
boot_means.append(np.mean(sample))

lower_bound = np.percentile(boot_means, (alpha / 2) * 100)
upper_bound = np.percentile(boot_means, (1 – alpha / 2) * 100)
return np.mean(data), lower_bound, upper_bound

class AIEvaluationPipeline:
def __init__(self, target_inference_fn: Callable[[str], str]):
self.inference_fn = target_inference_fn

def evaluate_test_case(self, input_prompt: str, n_runs: int = 30) -> Dict:
schema_pass_records = []
key_term_hits = []

for _ in range(n_runs):
raw_output = self.inference_fn(input_prompt)

# 1. 结构断言：JSON Schema 强校验
try:
parsed_json = json.loads(raw_output)
OrderExtractionSchema(**parsed_json)
schema_pass_records.append(1.0)
except (json.JSONDecodeError, ValidationError):
schema_pass_records.append(0.0)

# 2. 事实关键词命中率（例如核对商品提取完整度）
has_all_keywords = int("MacBook" in raw_output and "保修" in raw_output)
key_term_hits.append(float(has_all_keywords))

# 3. 统计学指标计算
schema_mean, s_low, s_high = bootstrap_confidence_interval(schema_pass_records)
term_mean, t_low, t_high = bootstrap_confidence_interval(key_term_hits)

return {
"runs": n_runs,
"schema_pass_rate": {
"mean": schema_mean,
"ci_95": (round(s_low, 3), round(s_high, 3))
},
"fact_accuracy_rate": {
"mean": term_mean,
"ci_95": (round(t_low, 3), round(t_high, 3))
},
"release_ready": s_low >= 0.98 and t_low >= 0.90
}

3. 评测集构建与 PM 验收标准清单

在制定 PRD 时，AI PM 应当把“功能验收”以数学化契约的形式定义清楚：

4. 落地建议：构建持续回归的“金标准集”