教育题库系统的 AI 改造：从人工出题到 LLM 自动生成与难度校准
一、项目背景与问题定义
教育行业的在线题库建设是一项极其消耗人力成本的工程。以我们合作的一家 K12 在线教育平台为例，其题库建设团队约有 40 名学科编辑，每月新增题目约 3000 道，每道题从命题、审核到录入系统的平均耗时约 45 分钟。随着业务从小学数学拓展到全学段全学科，题库规模需要从 50 万道扩充到 200 万道，按现有模式计算需要 5 年以上且人力成本逾千万。
核心痛点可以归纳为三个层面。第一，命题效率瓶颈：人工命题依赖教师的学科经验和创造力，产能线性增长无法匹配业务指数级需求。第二，难度标定主观性强：同一道题目在不同教师眼中难度评级差异可达 2 个等级，导致组卷时难度分布失控。第三，知识点覆盖不均衡：人工命题倾向于高频考点，冷门知识点长期欠题，影响个性化学习路径的质量。
二、LLM 命题引擎的架构设计
我们设计的 LLM 命题引擎采用分层架构：意图识别层 → 提示词构建层 → 模型调用层 → 结果校验层。意图识别层负责解析用户的命题需求，将自然语言描述的结构化指令映射为内部命题参数，如学科、学段、题型、知识点、难度等级等。提示词构建层是核心创新点，我们开发了一套"模板 + 约束"的双层提示词体系。
第一层是科目模板库，为每个学科预置了 5~10 套命题指令模板，涵盖题干生成规则、选项设计原则、解题步骤要求等。例如数学选择题模板中明确规定"干扰项必须来自常见错误解法"，语文阅读理解模板要求"设问点必须对应文中具体段落"。第二层是动态约束注入，根据当前题库的知识点覆盖率、难度分布、题型分布等统计指标，动态注入命题约束条件。
/**
* LLM命题服务——题目生成与校准
*/
@Service
public class QuestionGenerationService {
private static final int MAX_RETRY = 3;
@Resource
private LLMClient llmClient;
@Resource
private DifficultyCalibrator calibrator;
/**
* 根据命题请求生成题目，含自动难度校准
*/
public Question generate(GenerationRequest request) {
String prompt = buildPrompt(request);
Question question = null;
for (int attempt = 1; attempt <= MAX_RETRY; attempt++) {
try {
String rawJson = llmClient.chat(prompt);
question = parseQuestion(rawJson);
// 校验知识点标签的合法性
validateKnowledgeTags(question, request.getSubject());
break;
} catch (ParseException e) {
log.warn("第{}次生成失败，重试中: {}", attempt, e.getMessage());
if (attempt == MAX_RETRY) {
throw new GenerationException("LLM生成题目失败，已重试" + MAX_RETRY + "次", e);
}
}
}
// 难度校准：如果估算难度与目标偏差过大，启动校准流程
double estimatedDifficulty = calibrator.estimate(question);
if (Math.abs(estimatedDifficulty – request.getTargetDifficulty()) > 0.15) {
log.info("题目难度偏差过大，启动校准。预估={}, 目标={}",
estimatedDifficulty, request.getTargetDifficulty());
question.setDifficulty(calibrator.calibrate(question, request.getTargetDifficulty()));
} else {
question.setDifficulty(estimatedDifficulty);
}
question.setGeneratedBy("LLM");
question.setGenerateTime(LocalDateTime.now());
return question;
}
private String buildPrompt(GenerationRequest request) {
// 从模板库加载科目级提示词模板，注入动态约束
Template template = templateLoader.load(request.getSubject(), request.getQuestionType());
Map<String, String> constraints = buildDynamicConstraints(request);
return template.render(constraints);
}
private void validateKnowledgeTags(Question question, String subject)
throws ValidationException {
// 校验知识点标签是否属于该学科的知识图谱
Set<String> validTags = knowledgeGraphService.getTagsBySubject(subject);
for (String tag : question.getKnowledgeTags()) {
if (!validTags.contains(tag)) {
throw new ValidationException("非法知识点标签: " + tag);
}
}
}
}
三、难度校准的技术方案
难度校准是整套系统中技术含量最高的模块。我们不能简单依赖 LLM 输出的难度数值，因为 LLM 对教育领域的难度感知存在偏差。我们构建了一个多维度难度评估模型，从五个维度量化题目难度：
最终难度系数通过加权融合计算。为了确保校准精度，我们引入了人机对比验证机制，每次版本迭代时将 200 道题同时交给 LLM 和 3 位老师评分，计算皮尔逊相关系数。当前版本的相关系数已达到 0.87，超过单一人评与组评均值的相关性（0.82）。
/**
* 多维度难度评估器
*/
@Component
public class DifficultyCalibrator {
private static final double[] DIMENSION_WEIGHTS = {0.25, 0.25, 0.20, 0.15, 0.15};
public double estimate(Question question) {
double[] scores = new double[5];
// 维度1：Bloom认知层次（0~1归一化）
scores[0] = evaluateBloomLevel(question);
// 维度2：解题步骤复杂度
scores[1] = evaluateStepComplexity(question);
// 维度3：前置知识冗余度
scores[2] = evaluateKnowledgeRedundancy(question);
// 维度4：干扰项迷惑性
scores[3] = evaluateDistractorDeceptiveness(question);
// 维度5：历史通过率预测
scores[4] = predictHistoricalPassRate(question);
double weightedSum = 0;
for (int i = 0; i < scores.length; i++) {
weightedSum += scores[i] * DIMENSION_WEIGHTS[i];
}
return Math.round(weightedSum * 100.0) / 100.0;
}
private double evaluateDistractorDeceptiveness(Question question) {
if (!"CHOICE".equals(question.getType())) {
return 0.5; // 非选择题给中等值
}
double minDistance = Double.MAX_VALUE;
for (String distractor : question.getDistractors()) {
double distance = semanticDistance(distractor, question.getCorrectAnswer());
minDistance = Math.min(minDistance, distance);
}
// 干扰项越接近正确答案，迷惑性越高
return 1.0 – Math.min(minDistance, 1.0);
}
}
四、生产环境的关键优化
在实际部署中，我们遇到了几个关键挑战并逐一解决。延迟控制是最优先的指标：一道题的生成从 LLM 首次响应到完成校验平均耗时 8.2 秒，对于批量命题场景（一次提交 50 道题）意味着串行耗时超过 6 分钟。我们引入了流水线并行架构，将生成、校验、入库三阶段解耦，通过 Disruptor 环形队列实现流水线化处理，批量命题吞吐量提升至原来的 3.7 倍。
成本控制方面，我们根据不同题型的生成难度实施差异化模型策略：简单填空题使用 Qwen-2.5-7B 本地部署版本，中等难度选择题使用 Qwen-2.5-72B API，高难度综合题使用 DeepSeek-V3 API。通过路由策略，在保证质量的前提下将单题平均成本从 0.12 元降至 0.04 元。
五、效果评估与经验总结
系统上线 6 个月后的核心数据如下：命题效率从 45 分钟/题降至 12 秒/题（含审核），产能大幅提升；难度标定准确率从 72% 提升至 91%，组卷质量显著改善；冷门知识点覆盖率从 34% 提升至 87%。人工编辑的角色从"命题者"转变为"审核者"与"校准者"。
最重要的经验有三点。其一，LLM 不能作为黑盒直接交付结果，生成 → 校验 → 校准的闭环是保证质量的必要条件。其二，难度评估不能依赖单一维度，多维融合模型的效果远超端到端的 LLM 判断。其三，分层模型策略是控制成本的有效手段，并非所有题目都需要最强的模型。
教育 AI 的价值不在于替代教师，而在于将教师从重复劳动中解放出来，让他们专注于教学设计这一更具创造性的工作。
作者：李然（程序员鸭梨），Java 架构师，专注 AI 后端架构与企业级应用实践。
