基准测试工具之你不知道的两三事 | 14. 一份可复用的基准测试方案模板

走到这里，我们已经讨论了写入、读写混合、乱序、接口、正确性、单机与集群，也知道一轮结果应该怎样保存。真正开始测试时，仍然可能面对一个现实问题：这些原则怎样组织成一份可以执行的方案？

一份好的测试方案不是参数清单，而是一份实验契约。它提前规定要回答的问题、唯一变量、固定条件、正确性门禁、运行矩阵和结论边界。这样，无论执行者是谁，最后得到的结果都在回答同一个问题。

这一篇给出一份可以直接复制和裁剪的基准测试方案模板。模板中的数值和结果全部使用“待填”，应根据真实业务和实际运行填写。

1. 一份完整方案由什么组成

#mermaid-svg-ogSreu87ATvWNgTl{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ogSreu87ATvWNgTl .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ogSreu87ATvWNgTl .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ogSreu87ATvWNgTl .error-icon{fill:#552222;}#mermaid-svg-ogSreu87ATvWNgTl .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ogSreu87ATvWNgTl .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ogSreu87ATvWNgTl .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ogSreu87ATvWNgTl .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ogSreu87ATvWNgTl .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ogSreu87ATvWNgTl .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ogSreu87ATvWNgTl .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ogSreu87ATvWNgTl .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ogSreu87ATvWNgTl .marker.cross{stroke:#333333;}#mermaid-svg-ogSreu87ATvWNgTl svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ogSreu87ATvWNgTl p{margin:0;}#mermaid-svg-ogSreu87ATvWNgTl .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-ogSreu87ATvWNgTl .cluster-label text{fill:#333;}#mermaid-svg-ogSreu87ATvWNgTl .cluster-label span{color:#333;}#mermaid-svg-ogSreu87ATvWNgTl .cluster-label span p{background-color:transparent;}#mermaid-svg-ogSreu87ATvWNgTl .label text,#mermaid-svg-ogSreu87ATvWNgTl span{fill:#333;color:#333;}#mermaid-svg-ogSreu87ATvWNgTl .node rect,#mermaid-svg-ogSreu87ATvWNgTl .node circle,#mermaid-svg-ogSreu87ATvWNgTl .node ellipse,#mermaid-svg-ogSreu87ATvWNgTl .node polygon,#mermaid-svg-ogSreu87ATvWNgTl .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ogSreu87ATvWNgTl .rough-node .label text,#mermaid-svg-ogSreu87ATvWNgTl .node .label text,#mermaid-svg-ogSreu87ATvWNgTl .image-shape .label,#mermaid-svg-ogSreu87ATvWNgTl .icon-shape .label{text-anchor:middle;}#mermaid-svg-ogSreu87ATvWNgTl .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ogSreu87ATvWNgTl .rough-node .label,#mermaid-svg-ogSreu87ATvWNgTl .node .label,#mermaid-svg-ogSreu87ATvWNgTl .image-shape .label,#mermaid-svg-ogSreu87ATvWNgTl .icon-shape .label{text-align:center;}#mermaid-svg-ogSreu87ATvWNgTl .node.clickable{cursor:pointer;}#mermaid-svg-ogSreu87ATvWNgTl .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-ogSreu87ATvWNgTl .arrowheadPath{fill:#333333;}#mermaid-svg-ogSreu87ATvWNgTl .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ogSreu87ATvWNgTl .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ogSreu87ATvWNgTl .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ogSreu87ATvWNgTl .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-ogSreu87ATvWNgTl .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ogSreu87ATvWNgTl .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-ogSreu87ATvWNgTl .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ogSreu87ATvWNgTl .cluster text{fill:#333;}#mermaid-svg-ogSreu87ATvWNgTl .cluster span{color:#333;}#mermaid-svg-ogSreu87ATvWNgTl div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ogSreu87ATvWNgTl .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ogSreu87ATvWNgTl rect.text{fill:none;stroke-width:0;}#mermaid-svg-ogSreu87ATvWNgTl .icon-shape,#mermaid-svg-ogSreu87ATvWNgTl .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ogSreu87ATvWNgTl .icon-shape p,#mermaid-svg-ogSreu87ATvWNgTl .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-ogSreu87ATvWNgTl .icon-shape .label rect,#mermaid-svg-ogSreu87ATvWNgTl .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ogSreu87ATvWNgTl .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ogSreu87ATvWNgTl .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ogSreu87ATvWNgTl :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

业务问题

硬门槛与指标

环境与数据模型

工作负载与变量

运行矩阵

预热、正式运行与重复

正确性门禁

归档与结论边界

其中最容易被省略的是“硬门槛”和“结论边界”。如果没有预先规定什么情况下结果无效，测试者很容易在看到数据后临时调整判断标准；如果没有边界，又容易把一个纯写结论扩展成对整个数据库的评价。

2. 测试方案基本信息

复制下面的表格，先建立方案身份。

测试目的应写成可验证的问题，而不是“测试一下性能”。例如：

• 在固定写入负载下，新版本是否相对基线出现稳定退化？
• 在正确性通过的前提下，哪一种写入接口更满足当前 P99 目标？
• 数据库从单机扩展到三节点后，能否承载按计划增加的总负载？

3. 测试问题、假设和结论边界

假设不是结论。它可以帮助选择指标，但不能决定怎样解释结果。若实际数据不支持假设，应保留原始结果并修改判断，而不是调整配置直到出现想要的数字。

4. 硬门槛与判断标准

测试前先规定哪些结果没有资格参与比较。

门槛应来自业务约束、SLA 或测试目标，不能在看到结果后为了保留某个候选临时放宽。

5. 环境清单

5.1 压测客户端

5.2 数据库服务端

5.3 环境控制

6. 数据模型和数据规模

这里记录的是逻辑数据，而不是只记录最终磁盘占用。同样的数据点数，如果设备基数、测点类型和时间分布不同，写入与查询路径也可能完全不同。

7. 工作负载定义

操作比例只描述“抽到哪类操作的概率或比例”，还需要把每类查询的范围、设备数、测点数和数据冷热程度写清楚。否则，同样的读写比例仍可能产生完全不同的压力。

8. 变量与固定项

这张表是公平比较的核心。

不同数据库的内部参数不可能逐字相同。公平的重点，是外部业务语义、可用资源和测试过程一致，并公开不可避免的内部差异。

9. 运行矩阵

不要边跑边决定下一轮叫什么。提前给每个场景和重复轮次编号。

不是每次评估都要运行整张表。应根据核心问题删除无关场景，但不能在运行结束后只保留对某个候选有利的场景。

10. IoT Benchmark 配置骨架

下面的片段只展示方案中常用的配置入口，不提供通用推荐值。使用时应以当前版本的 config.properties 为准，并把“待填”替换为有效取值。

# 被测对象
DB_SWITCH=待填
BENCHMARK_WORK_MODE=待填

# 数据模型与规模
DEVICE_NUMBER=待填
SENSOR_NUMBER=待填

# 操作与发压
OPERATION_PROPORTION=待填
DATA_CLIENT_NUMBER=待填
DEVICE_NUM_PER_WRITE=待填
BATCH_SIZE_PER_WRITE=待填
OP_MIN_INTERVAL=待填
INTERVAL_BETWEEN_WRITE_BATCH=待填

# 多实例测试；单实例时关闭
BENCHMARK_CLUSTER=false
BENCHMARK_INDEX=0

# 结果与日志
TEST_DATA_PERSISTENCE=CSV
CSV_OUTPUT=true
REMARK=待填_请勿使用特殊字符
IS_QUIET_MODE=false
LOG_PRINT_INTERVAL=待填
RESULT_PRINT_INTERVAL=待填

实际执行前应保存一份完整配置，而不是只保存这段参数摘要。完整配置可以防止某个默认值在版本间变化却未被注意。

11. 标准运行流程

#mermaid-svg-PJfeOwD34lpzh6V6{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-PJfeOwD34lpzh6V6 .error-icon{fill:#552222;}#mermaid-svg-PJfeOwD34lpzh6V6 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-PJfeOwD34lpzh6V6 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-PJfeOwD34lpzh6V6 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-PJfeOwD34lpzh6V6 .marker.cross{stroke:#333333;}#mermaid-svg-PJfeOwD34lpzh6V6 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-PJfeOwD34lpzh6V6 p{margin:0;}#mermaid-svg-PJfeOwD34lpzh6V6 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster-label text{fill:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster-label span{color:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster-label span p{background-color:transparent;}#mermaid-svg-PJfeOwD34lpzh6V6 .label text,#mermaid-svg-PJfeOwD34lpzh6V6 span{fill:#333;color:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 .node rect,#mermaid-svg-PJfeOwD34lpzh6V6 .node circle,#mermaid-svg-PJfeOwD34lpzh6V6 .node ellipse,#mermaid-svg-PJfeOwD34lpzh6V6 .node polygon,#mermaid-svg-PJfeOwD34lpzh6V6 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-PJfeOwD34lpzh6V6 .rough-node .label text,#mermaid-svg-PJfeOwD34lpzh6V6 .node .label text,#mermaid-svg-PJfeOwD34lpzh6V6 .image-shape .label,#mermaid-svg-PJfeOwD34lpzh6V6 .icon-shape .label{text-anchor:middle;}#mermaid-svg-PJfeOwD34lpzh6V6 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-PJfeOwD34lpzh6V6 .rough-node .label,#mermaid-svg-PJfeOwD34lpzh6V6 .node .label,#mermaid-svg-PJfeOwD34lpzh6V6 .image-shape .label,#mermaid-svg-PJfeOwD34lpzh6V6 .icon-shape .label{text-align:center;}#mermaid-svg-PJfeOwD34lpzh6V6 .node.clickable{cursor:pointer;}#mermaid-svg-PJfeOwD34lpzh6V6 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-PJfeOwD34lpzh6V6 .arrowheadPath{fill:#333333;}#mermaid-svg-PJfeOwD34lpzh6V6 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-PJfeOwD34lpzh6V6 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-PJfeOwD34lpzh6V6 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-PJfeOwD34lpzh6V6 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-PJfeOwD34lpzh6V6 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-PJfeOwD34lpzh6V6 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster text{fill:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 .cluster span{color:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-PJfeOwD34lpzh6V6 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-PJfeOwD34lpzh6V6 rect.text{fill:none;stroke-width:0;}#mermaid-svg-PJfeOwD34lpzh6V6 .icon-shape,#mermaid-svg-PJfeOwD34lpzh6V6 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-PJfeOwD34lpzh6V6 .icon-shape p,#mermaid-svg-PJfeOwD34lpzh6V6 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-PJfeOwD34lpzh6V6 .icon-shape .label rect,#mermaid-svg-PJfeOwD34lpzh6V6 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-PJfeOwD34lpzh6V6 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-PJfeOwD34lpzh6V6 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-PJfeOwD34lpzh6V6 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

否

是

冻结方案、版本和完整配置

检查空库或恢复固定快照

启动监控并记录时间

执行预热

执行正式运行

保存日志、CSV 和资源数据

执行正确性验证

门禁通过？

结果标记无效并定位原因

进入下一重复轮次

汇总范围并写结论边界

执行约定应明确：

12. 正确性门禁记录

只有门禁通过的轮次才进入性能统计。若工具汇总显示失败数为 0，但验证日志存在值差异，仍应判定正确性未通过。

13. 指标与结果表

13.1 客户端结果

13.2 资源结果

13.3 多轮汇总

多轮汇总优先报告范围和波动，不用“最好的一次”代替稳定能力。如果轮次之间差异很大，应先解释原因，再决定是否增加重复次数。

14. 归档清单

测试结束前逐项勾选：

• 已保存本轮实际使用的完整 Benchmark 配置；
• 已记录 Benchmark、驱动和数据库不可变版本标识；
• 已保存与结论相关的服务端配置；
• 已保存完整客户端和服务端日志；
• 已保存最终 CSV 与过程测量结果；
• 已保存客户端和每个服务端节点的原始监控数据；
• 已保存正确性验证日志与预期量核对；
• 已记录预热、正式运行、异常和人工操作时间；
• 已为输入数据和关键文件生成校验值；
• 已写明结果有效性、异常和不覆盖范围。

15. 结论模板

最终结论可以按下面四句话组织：

在【环境、版本、部署】和【数据、工作负载】条件下，
本轮以【唯一变量】比较了【候选对象】。
通过正确性门禁的多轮结果表明：【吞吐、P99、失败与资源的实际范围】。
因此当前证据支持【选择、回归或调优判断】，但不覆盖【未测试场景】。

如果证据不足，也可以明确写：“当前轮次波动较大，尚不能形成稳定排名；需在固定某项条件后补测。”不下结论本身也是一种有效结论。

16. 小结

一份可复用的 IoT Benchmark 测试方案，应把业务问题翻译为硬门槛、环境、数据模型、工作负载、唯一变量和运行矩阵，再用正确性门禁、指标表和归档清单约束执行过程。

模板不是为了让所有测试长得一样，而是确保每个数字都有来源、每个比较都有控制变量、每个结论都有边界。

系列文章