智能难度评估系统：AI 如何给一道算法题打分

智能难度评估系统：AI 如何给一道算法题打分

一、深度引言与场景痛点：难度标注为什么总是不准？

在题库建设过程中，我遇到了一个反复出现的问题：标注的难度与实际体验不一致。有些被标为"简单"的题，用户提交 10 次才过；有些"困难"题反而一次 AC。这背后有两个原因：

首先，出题人对自己出的题有"知识诅咒"——他们知道答案，所以无法客观评估题目的难度。其次，难度本身是多维度的：一道可能涉及 BFS 的题（知识难度），但如果数据范围很小（实现难度），整体体验可能是"中等"而不是"困难"。

既然如此，能不能用 AI 来自动评估一道题的难度？让模型从多个维度打分，综合给出难度等级。本文将记录这个系统的设计和实践。

二、底层机制与原理深度剖析

难度评估的多维模型

我将一道算法题的难度拆解为 4 个维度：

各维度的具体衡量标准

三、生产级代码实现与最佳实践

# AI 难度评估引擎 —— 多维度打分 + 加权融合
import json
from openai import OpenAI

class DifficultyEvaluator:
"""使用 LLM 对算法题进行多维度难度评估"""

EVALUATION_PROMPT = """你是一位算法竞赛评审专家。请根据以下题目信息，从 4 个维度评估难度（1-5 分制）。

评估标准：
1. 算法复杂度（35%权重）：核心算法的时间/空间复杂度
– 1分：O(n) 遍历即可
– 3分：O(n log n) 排序/堆
– 5分：O(2^n) 回溯，或需要高级剪枝优化

2. 知识前置（25%权重）：需要掌握的算法知识
– 1分：数组/字符串/哈希表基础操作
– 3分：动态规划 / 二分查找 / BFS/DFS
– 5分：多种算法组合 / 罕见数据结构（线段树、AC自动机）

3. 实现难度（25%权重）：代码实现的复杂度
– 1分：20 行以内，逻辑简单
– 3分：50 行左右，需要仔细设计循环/递归逻辑
– 5分：100 行以上，多层嵌套，复杂的索引管理

4. 边界处理（15%权重）：边界条件和特殊情况的复杂度
– 1分：输入范围小，几乎无边界考虑
– 3分：需要处理 3-5 个边界情况
– 5分：边界条件多达 10+，容易遗漏导致 WA

返回严格 JSON 格式：
{
"algorithm_complexity": {"score": int, "reason": "string"},
"prerequisite_knowledge": {"score": int, "reason": "string"},
"implementation_difficulty": {"score": int, "reason": "string"},
"edge_case_complexity": {"score": int, "reason": "string"},
"overall_difficulty": "EASY|MEDIUM|HARD",
"key_findings": ["发现1", "发现2"],
"similar_leetcode_problems": ["LeetCode 题号"]
}"""

def __init__(self, api_key: str, model: str = "gpt-4"):
self.client = OpenAI(api_key=api_key)
self.model = model

def evaluate(self, problem: dict, solution: str = None) -> dict:
"""评估一道题的难度

Args:
problem: 题目的完整 JSON（包含描述、测试用例等）
solution: 可选的标准参考答案，帮助更准确评估

Returns:
包含各维度评分和综合难度的评估报告
"""
# 构建评估输入 —— 提供足够的信息让模型做出准确判断
evaluation_input = {
"problem_title": problem.get("title"),
"problem_description": problem.get("description"),
"test_case_count": len(problem.get("testCases", [])),
"sample_input": problem.get("testCases", [{}])[0].get("input", ""),
"constraints": problem.get("constraints", {}),
"reference_solution": solution or "未提供"
}

response = self.client.chat.completions.create(
model=self.model,
messages=[
{"role": "system", "content": self.EVALUATION_PROMPT},
{"role": "user", "content": json.dumps(
evaluation_input, ensure_ascii=False, indent=2
)}
],
temperature=0.3, # 低温度，追求评估一致性
response_format={"type": "json_object"}
)

result = json.loads(response.choices[0].message.content)

# 加权计算综合得分
weights = {
"algorithm_complexity": 0.35,
"prerequisite_knowledge": 0.25,
"implementation_difficulty": 0.25,
"edge_case_complexity": 0.15
}

weighted_score = sum(
result[key]["score"] * weight
for key, weight in weights.items()
)

result["weighted_score"] = round(weighted_score, 2)
result["calculated_difficulty"] = self._score_to_difficulty(
weighted_score
)

# 如果模型判断与加权计算不一致，记录差异以便分析
if result["calculated_difficulty"] != result["overall_difficulty"]:
result["discrepancy_note"] = (
f"加权计算为 {result['calculated_difficulty']}，"
f"模型判定为 {result['overall_difficulty']}"
)

return result

def _score_to_difficulty(self, score: float) -> str:
if score <= 2.0:
return "EASY"
elif score <= 3.5:
return "MEDIUM"
else:
return "HARD"

def benchmark_accuracy(
self, problems: list[dict], human_labels: list[str]
) -> dict:
"""对比 AI 评估与人工标注的一致性

Returns:
准确率、混淆矩阵等评估指标
"""
correct = 0
confusion = {"EASY": {}, "MEDIUM": {}, "HARD": {}}

for problem, human_label in zip(problems, human_labels):
ai_result = self.evaluate(problem)
ai_label = ai_result["calculated_difficulty"]

if ai_label == human_label:
correct += 1

# 构建混淆矩阵
confusion[human_label][ai_label] = (
confusion[human_label].get(ai_label, 0) + 1
)

return {
"accuracy": round(correct / len(problems), 4),
"total": len(problems),
"correct": correct,
"confusion_matrix": confusion
}

四、边界分析与架构权衡

单一维度无法决定难度

一个常见的误区是：只看时间复杂度就定难度。但实际中：

• 一道 O(n²) 的题如果 n ≤ 100，对于刷题者来说并不困难
• 一道 O(n) 的题如果涉及复杂的字符串解析+状态机，实现起来可能很难

多维度评估的必要性就在这里：不是单个维度定生死，而是多个维度的加权融合。

评估一致性问题

同一道题，用同一个模型，temperature=0 时，两次评估结果应完全一致。但实践中，即使 temperature 设为 0，由于浮点数计算误差和模型内部随机性，偶尔仍有微小差异。

解决方案：关键题目的评估至少跑 3 次，取多数投票结果。

参考数据的作用

在实验中发现，给模型提供标准参考答案后，评估准确率提升约 12%。因为参考答案直接暴露了算法的真实复杂度——有些题看起来"一个遍历就够了"，但实际上需要用单调栈或双指针才能通过所有测试用例。

五、总结

AI 难度评估不是一个"精准打分"的数学问题，而是一个"近似人类判断"的工程问题。核心价值不是给出一个绝对准确的分数，而是提供一致的、可解释的多维度参考。

这个系统的实际用途是：

这里有一个有趣的观察：AI 对"算法复杂度"和"知识前置"的判断通常很准，但在"边界条件"维度容易低估。这可能是因为模型看题是"一眼看穿"的，而人类做题需要逐步推理，更容易被边界条件绊住。