五、结构与编排改进建议
5.1 改版后的章节架构
建议把现有的「十章平铺」结构重组为「四部分 · 十六模块」，按「立论 → 数据 → 机制 → 落地」的论证推进顺序排列，并把当前缺失的模块作为一等公民纳入骨架。
图 6 改版后的《实验分析报告》章节架构 （四部分 · 十六模块）
5.2 四层信息架构：让不同读者各取所需
当前报告对所有读者呈现同一份内容。建议按「结论层 / 证据层 / 机制层 / 底座层」组织信息，使决策者 3 分钟能拿到结论，工程师 15 分钟能拿到证据，研究者 1 小时能理解机制，复现者能拿到全部底座。
图 7 四层信息架构设计 （L1 决策者 / L2 工程师 / L3 研究者 / L4 复现者）
5.3 导航体系补全清单
|
导航元素 |
现状 |
建议 |
|
目录 |
无 |
HTML 增加固定侧边锚点导航；docx / PDF 版增加自动目录 |
|
图目录 / 表目录 |
仅在附录有「图表索引」表 |
升格为正式的图目录与表目录，标注页码 / 锚点 |
|
章节编号 |
已有数字编号 |
保持不变，但需与图表编号解耦（当前图号与章号不同步） |
|
页眉 / 页脚 |
页脚仅有数据来源与方法 |
增加文档标题、版本号、页码、生成日期 |
|
交叉引用 |
正文中有「见第 X 章」式引用 |
补充「见图 N」「见表 N」的显式交叉引用并加锚点 |
|
术语表 |
无 |
增加术语与缩写表（CV、pp、N/A、Bootstrap 等） |
|
变更记录 |
无 |
增加修订记录表（版本 / 日期 / 修改内容 / 修改人） |
5.4 章节篇幅配比建议
当前报告存在「论证章重复、底座章单薄」的问题。建议按下表调整篇幅配比：
|
板块 |
现状篇幅占比 |
建议占比 |
调整说明 |
|
执行摘要 |
约 8% |
约 6% |
略减，但增加区间估计与测试集规模两项信息 |
|
立论与可复现性 |
约 8% |
约 15% |
显著增加：补测试集、评分标准、环境快照 |
|
数据与结果 |
约 20% |
约 22% |
基本持平，补充错误类型分析 |
|
机制与归因 |
约 22% |
约 26% |
略增：新增消融实验小节，抵消与第 2 章的重叠 |
|
结论与落地 |
约 30% |
约 24% |
略减：删去与第 2 章重复的表格，补流程图 |
|
附录（数据 / 代码） |
约 12% |
约 7% |
占比下降但绝对量上升，因正文总量增加 |
|
建议同时把「研究局限」前移到「优化建议」之前 当前顺序是「结论 → 建议 → 局限」，读者读完建议后才看到局限，容易产生「建议已被削弱」的观感。建议改为「结论 → 局限 → 建议」，即先如实交代证据边界，再在边界内给出建议 —— 这样建议反而更有说服力。 |
六、视觉与排版设计改进建议
6.1 字体与字号体系
|
层级 |
建议字体 |
字号 |
行距 |
间距（段前 / 段后） |
|
报告主标题 |
微软雅黑 Bold |
22 pt |
1.25 |
— / 8 pt |
|
一级标题（章） |
微软雅黑 Bold |
16.5 pt |
1.3 |
20 / 10 pt |
|
二级标题（节） |
微软雅黑 Bold |
13.5 pt |
1.3 |
16 / 7 pt |
|
三级标题 |
微软雅黑 Bold |
11.5 pt |
1.3 |
12 / 5 pt |
|
正文 |
微软雅黑 Regular |
10.5 pt |
1.55 |
0 / 7 pt |
|
表格文字 |
微软雅黑 Regular |
9.0 – 9.5 pt |
1.3 |
— |
|
图注 / 脚注 |
微软雅黑 Regular |
8.9 pt |
1.4 |
4 / 12 pt |
6.2 配色与语义规范
当前色板（蓝 / 绿 / 红 / 橙 / 紫）整体协调，建议在此基础上把颜色与语义正式绑定，形成规范表，避免同一颜色在不同图中表达不同含义。
|
语义 |
建议颜色 |
使用场景 |
禁止用法 |
|
最优 / 提升 / 可用 |
绿 |
最优单元格、正向增益、低风险评级 |
不得用于表示「下降」 |
|
最差 / 失效 / 高风险 |
红 |
归零单元格、负向增益、高风险评级 |
不得用于表示「警戒以外的中性信息」 |
|
主指标 / 基线参照 |
蓝 |
主标题、基线相关标注、中性强调 |
— |
|
高干预 / 需警惕 |
橙 |
流程机制、过度校正相关图示 |
— |
|
机制类 / 假设 |
紫 |
策略敏感型模型、待验证机制 |
— |
|
中性 / 缺失 |
灰 |
缺失值、N/A、不可用数据 |
不得用灰色表示「有效但较低」 |
6.4 打印与无障碍
- 打印友好：提供灰阶可辨识版本（用纹理 / 边框差异替代纯色区分）；关键图表避免依赖底色区分高低。
七、可复现性与可信度提升建议
7.1 建议的交付包结构
7.2 元数据与版本信息
|
应记录的元数据 |
为什么重要 |
|
报告版本号 |
后续修订可追溯 |
|
生成日期 |
判断结论是否因模型迭代而过时 |
|
模型版本快照 |
模型迭代后结论可能失效，必须锚定版本 |
|
调用参数 |
影响输出随机性与检索行为 |
|
实验时间窗 |
排除版本漂移与外部检索源变化 |
|
判定者信息 |
准确率口径的可信来源 |
|
代码仓库 |
保证分析可复现 |
7.3 报告自检清单（发布前逐项核对）
|
# |
自检项 |
通过标准 |
|
1 |
全部图表可正常显示 |
在无网络的干净环境中打开 HTML，8 / 8 张图可见 |
|
2 |
图表编号与正文顺序一致 |
按图号顺序检索，出现位置单调递增 |
|
3 |
每个数值都能追溯到原始数据 |
任意表格数值可在 data/ 中找到来源 |
|
4 |
核心结论均含区间估计 |
表 2 / 表 3 / 结论章均出现 95% CI |
|
5 |
缺失值未被当作 0 处理 |
所有图中缺失项有独立视觉标记 |
|
6 |
强措辞均有条件限定 |
「唯一」「证伪」「证明」等词均带适用范围 |
|
7 |
局限章位于建议章之前 |
目录顺序为 结论 → 局限 → 建议 |
|
8 |
版本号与日期已标注 |
页脚 / 封面可见版本与生成日期 |
|
9 |
术语表覆盖全部缩写 |
CV、pp、N/A、CI、Bootstrap 等均有定义 |
八、实施路线图与预期收益
8.1 八周四阶段路线图
图 8 改进实施路线图 （P0 紧急修复 / P1 可信度补强 / P2 内容深化 / P3 呈现升级）
|
阶段 |
周期 |
核心任务 |
阶段产出物 |
验收标准 |
|
P0 紧急修复 |
第 1 周 |
内嵌 8 张图表资源；重排图表编号；补充目录与图目录；统一数值口径 |
实验分析报告 v1.1（图可正常显示） |
干净环境下 8/8 张图可见，图号与正文顺序一致 |
|
P1 可信度补强 |
第 2–3 周 |
补测 Kimi 二次验证；补做 Bootstrap 区间估计与效应量；补写测试集与评分标准；补充环境版本快照 |
分析脚本 analysis.py + 修订后的表 2 / 表 3 / 结论章 |
每个核心结论均附 95% CI；测试集与判定口径可查 |
|
P2 内容深化 |
第 4–6 周 |
逐环节消融实验；多指标扩展（Recall / 幻觉率 / 时延 / 成本）；错误类型学分析；关键单元格重复 3 次 |
新增第 4.4 节「消融实验」；新增错误类型分析与多指标对照表 |
文心 X1 崩塌环节可定位到具体步骤；每格题量 ≥ 20 |
|
P3 呈现升级 |
第 7–8 周 |
交互式图表与筛选；代码与数据附录；打印版与无障碍适配 |
自包含交付包 |
第三方按 README 可在 1 小时内复现全部结果 |
8.2 预期收益：改进后能回答哪些现在回答不了的问题
|
现在回答不了的问题 |
改进后如何回答 |
对应改进项 |
|
加叉验证的 82.0% 到底有多可靠？ |
给出 95% 置信区间 [62%, 100%]，并说明其下限仍高于其他策略 |
区间估计（P1） |
|
prompt 工程「无效」这个结论会不会是样本太小？ |
CI 跨 0 且区间极窄，可判定为「确认无独立效果」而非「证据不足」 |
区间估计 + 效应量（P1） |
|
文心 X1 到底是在哪一步崩塌的？ |
消融实验定位到具体环节，把三条并列假设收敛为一条结论 |
消融实验（P2） |
|
模型答错的都是哪些类型的错？ |
给出错误类型构成图，区分「漏检」与「编造 DOI」等不同失效模式 |
错误类型分析（P2） |
|
为提升 57.3pp 准确率多花多少成本值不值？ |
给出准确率—成本帕累托前沿，量化边际收益 |
多指标扩展（P2） |
|
换一批题、再测一次，结论还成立吗？ |
重复实验报告方差 + 功效分析给出所需题量 |
重复实验 + 功效规划（P2） |
|
这份报告别人能自己复现吗？ |
提供数据、代码、环境快照与一键复现脚本 |
可复现交付包（P3） |
8.3 一句话总结
|
改进的本质 这份报告当前的水平是「一份讲得很好的结果分析」，改进的目标是把它变成「一份可被质疑、可被复现、可被延续的机制研究」。二者之间的差距并不在于数据量或实验规模，而在于三件事：给每个结论配上不确定性、给每个机制配上消融验证、给每个读者配上可复现的底座。 |
附录 42 项改进建议速查表
|
层面 |
改进项数 |
核心项 |
建议完成阶段 |
|
内容完整度 |
9 项 |
测试集与评分标准、区间估计、题级数据附录、消融实验 |
P0–P2 |
|
统计分析 |
5 项 |
Bootstrap 区间、效应量、多重比较校正、分层建模、功效规划 |
P1–P2 |
|
图表体系 |
8 项 |
资源内嵌、编号重排、误差棒语义、缺失值呈现、4 类新增图 |
P0–P3 |
|
结构编排 |
7 项 |
四部分重排、四层信息架构、目录体系、篇幅配比、局限前移 |
P0–P1 |
|
视觉设计 |
7 项 |
字体体系、配色语义规范、表格规范、打印与无障碍 |
P1–P3 |
|
可复现性 |
6 项 |
自包含交付包、元数据、题级数据、代码、自检清单 |
P1–P3 |
