为什么工业智能要使用 CRISP-DM 方法？

本文阅读对象：制造企业初级工程师，OT，DT，IT均可。

本文达成目标：理解如何使用CRISP-DM方法将工业数据实现工业智能。

图片来源：https://www.sv-europe.com/crisp-dm-methodology/

0 省流版

在工业制造和能源行业中，数据挖掘并不是“把数据导入算法，然后等待结果”。真正困难的地方通常不在于选择哪一种算法模型，而在于：业务问题是否定义正确、数据是否可信、模型是否能够落地、结果是否能被工程师理解，以及上线后能否持续发挥作用。

例如，在火力发电厂中，工程师希望降低供电煤耗。这个目标看起来很明确，但实际工作中会遇到很多问题：

● “降低煤耗”具体是降低单位供电煤耗，还是降低总燃煤量？

● 机组负荷、环境温度、煤质、给水温度变化后，煤耗如何公平比较？

● DCS 中的传感器数据是否存在漂移、缺失或异常？

● 模型发现某个风门开度与煤耗相关，这种相关关系是否具有因果意义？

● 模型预测出的节能建议，是否能够被运行人员接受？

● 模型上线后，煤质和设备状态发生变化，模型是否仍然有效？

CRISP-DM，即“跨行业数据挖掘标准流程”，为这类问题提供了一套从业务目标到模型运行的完整工作方法。它将数据挖掘划分为六个阶段：

1. 业务理解（Business Understanding）

2. 数据理解（Data Understanding）

3. 数据准备（Data Preparation）

4. 建模（Modeling）

5. 评估（Evaluation）

6. 部署（Deployment）

它的价值不只是“规范流程”，更重要的是帮助工业团队建立一种正确的认识：数据挖掘项目本质上是业务、工艺、数据和软件工程的交叉项目。

工业数据挖掘使用 CRISP-DM，根本原因在于工业项目不能只追求算法精度，而要追求从问题定义、数据质量、模型效果到现场应用的完整闭环。

以能源行业为例，一个成功的能耗优化项目至少要做到：

明确业务目标     ➡️  理解设备和数据    ➡️    构造可靠样本    ➡️    选择合适模型     ➡️   验证技术和业务价值  ➡️      安全部署并持续监控 

对于初级工程师，可以记住以下五条原则：

1. 先理解工艺和业务，再选择算法；

2. 不要把原始数据直接当作可靠数据；

3. 不能只看模型准确率，要看现场是否可用；

4. 工业模型必须考虑安全、约束和人工确认；

5. 模型上线不是终点，持续监控和迭代同样重要。

CRISP-DM 的真正价值，不是规定“每一步必须使用什么工具”，而是帮助团队以系统化方式回答三个问题：

● 我们到底要解决什么问题？

● 数据和模型是否足以解决这个问题？

● 解决方案能否安全、稳定、持续地创造工业价值？

这也是工业数据挖掘从“数据分析实验”走向“生产系统能力”的关键。

1 CRISP-DM 是什么？

CRISP-DM 最初用于指导商业数据挖掘项目，但其思想非常适合工业制造、能源管理、设备运维和质量分析。

它不是一条只能单向执行的流水线，而是一个可以反复迭代的闭环。需要注意，六个阶段之间并非严格的单向关系。例如，在建模阶段发现数据不足，可能要返回数据准备阶段；在评估阶段发现模型虽然准确率高，但无法满足生产要求，可能需要重新定义业务目标。

图片来源：https://www.sv-europe.com/crisp-dm-methodology/

2 为什么工业数据挖掘尤其需要 CRISP-DM？

2.1 工业问题通常比算法问题更复杂

工业现场的目标不是简单地预测一个数值，而是要同时满足安全、质量、成本、产能和环保等约束。

以燃气轮机发电为例，企业可能希望提高发电效率。但燃气轮机效率同时受到以下因素影响：

● 环境温度和湿度；

● 进气压力；

● 燃气热值；

● 压气机和燃烧室状态；

● 机组负荷；

● 冷却空气流量；

● 设备积灰；

● 运行控制策略。

如果只用一个算法去拟合“燃料流量—发电功率”的关系，可能得到一个数学上准确、工程上无用的模型。CRISP-DM 要求工程师先明确业务目标，再理解数据和工艺，从而减少“算法解决错问题”的风险。

2.2 工业数据不等于可直接使用的数据

制造系统中的数据来源非常多：

工业数据还具有一些特殊特征：

● 时间序列性强；

● 数据量大，但有效样本未必多；

● 异常值可能是真实故障，也可能是仪表故障；

● 不同系统的时间戳可能不一致；

● 设备工况不断变化，数据分布会漂移；

● 许多关键变量不是连续测量，而是通过人工记录获得。

因此，数据准备通常会占据整个项目的大部分时间。CRISP-DM 把数据理解和数据准备独立出来，能够提醒团队：清洗、对齐、校验和构造变量不是附属工作，而是模型质量的基础。

2.3 工业模型必须能够落地

在互联网推荐系统中，模型预测结果可能直接影响用户点击；而在能源和制造现场，模型输出往往会影响：设备启停、锅炉燃烧调整、生产节拍、维护计划、原料配比、 能耗考核、安全生产。

模型不仅要“预测得准”，还要满足以下要求：

1. 结果可解释；

2. 计算延迟可接受；

3. 输入数据能够稳定获得；

4. 建议符合工艺约束；

5. 出错时不会引发严重后果；

6. 运行人员能够理解和使用；

7. 上线后能够监控和回溯。

CRISP-DM 的评估阶段强调，不能只看准确率、均方误差或 F1 值，还要评价模型是否满足业务目标和实际运行条件。

2.4 工业项目涉及多个角色

一个完整的工业数据挖掘项目，通常需要以下人员共同参与：

● 工艺工程师：理解设备和生产机理；

● 运行工程师：了解现场操作和异常工况；

● 自动化工程师：负责 DCS、PLC、SCADA 数据；

● 数据工程师：负责数据接口和数据仓库；

● 算法工程师：负责特征、模型和验证；

● IT 工程师：负责系统部署；

● 管理人员：定义成本、产量和安全目标。

如果没有统一流程，各方很容易产生误解。例如，算法工程师认为模型已经完成，工艺工程师却认为输入变量不符合实际操作习惯；管理者期待节能收益，运行人员却不知道何时采纳模型建议。

CRISP-DM 可以作为团队协作的共同语言，使每个阶段都有明确的产出物。

3 六个阶段如何应用于能源行业？

下面以“火力发电机组供电煤耗优化”为例进行说明。

3.1 阶段一：业务理解

业务理解是最重要、也最容易被忽视的阶段。

3.1.1 从模糊目标转化为可计算目标

“节能降耗”不是一个足够明确的数据挖掘目标。需要把它转化为可测量指标，例如：

● 单位供电煤耗降低多少？

● 在什么负荷区间优化？

● 优化对象是锅炉、汽轮机还是全厂系统？

● 是否允许改变运行边界？

● 是否必须保证氮氧化物排放不超标？

● 目标是实时指导，还是用于离线分析？

可以将业务目标定义为：

在保证机组安全、负荷满足调度要求、环保排放达标的前提下，预测并优化不同运行工况下的单位供电煤耗，使平均供电煤耗降低 1% 以上。

这个目标包含了对象、约束、指标和预期收益，比“用人工智能降低煤耗”更加可执行。

3.1.2 明确项目范围

工业项目必须控制范围。初期可以只选择：

● 一台机组；

● 最近两年的历史数据；

● 额定负荷的 50%—100% 区间；

● 锅炉燃烧相关变量；

● 供电煤耗作为主要目标。

如果一开始就把全厂所有设备、所有历史数据和所有优化目标都纳入项目，项目很容易失控。

3.1.3 形成项目章程

业务理解阶段应形成以下文档：

3.2 阶段二：数据理解

数据理解不是简单地统计数据条数，而是要回答三个问题：

1. 有哪些数据？

2. 数据是否可信？

3. 数据是否能够支持业务目标？

3.2.1 建立数据目录

例如，火电机组数据可以分为以下几类：

3.2.2 检查数据质量

典型检查项目包括：

● 缺失率；

● 重复记录；

● 时间连续性；

● 量程越界；

● 长时间不变；

● 突然跳变；

● 传感器之间的逻辑关系；

● 单位和量纲；

● 夏令时或系统时钟变化；

● 检修期间的数据是否应排除。

例如，炉膛氧量长时间保持完全相同，可能不是设备运行稳定，而是传感器卡死。如果将这类数据直接用于训练，模型会学习到错误关系。

3.2.3 区分异常工况

工业数据中的异常不应全部删除。异常通常包括三类：

这是工业数据处理中一个重要原则：先判断异常的业务含义，再决定如何处理。

3.3 阶段三：数据准备

数据准备将原始数据转换成可以用于分析和建模的数据集。

3.3.1 时间对齐

不同系统的采样周期可能不同：

● DCS：1 秒或 5 秒；

● 能耗系统：1 分钟；

● 化验系统：每小时或每天；

● 维修系统：按事件记录。

假设模型以 15 分钟为预测周期，就需要将数据统一到 15 分钟粒度。不同变量应采用不同聚合方法：

不能对所有变量简单求平均。例如，设备跳闸信号更适合统计发生次数和持续时间，而不是计算平均值。

3.3.2 构造特征

原始变量不一定是最有价值的特征。可以根据工艺知识构造：

● 负荷变化率；

● 主汽温度偏差；

● 炉膛氧量偏差；

● 风煤比；

● 给水温度与设计值的差异；

● 过去 15 分钟、30 分钟、1 小时的均值；

● 过去一小时的波动幅度；

● 磨煤机运行台数；

● 环境温度与负荷的组合变量。

时间序列模型还要特别注意“未来信息泄漏”。例如，预测 10:15 的煤耗时，不能使用 10:15 之后才产生的数据。

3.3.3 划分训练集和测试集

工业时间序列不能随意随机打乱。更合理的方式是按时间划分：

2022年1月 – 2023年6月：训练集 2023年7月 – 2023年9月：验证集 2023年10月 – 2023年12月：测试集 这样才能模拟真实使用场景：模型利用过去数据预测未来数据。

3.4 阶段四：建模

工业建模应从简单、可解释的模型开始，而不是一开始就追求复杂算法。

3.4.1 常用模型选择

初级工程师常见的误区是认为“模型越复杂越先进”。实际上，工业项目更重要的是综合性能：

模型价值 = 预测准确性          + 工艺可解释性          + 数据可获得性          + 系统稳定性          + 现场可执行性 

3.4.2 建立基准模型

在使用复杂算法前，应先建立基准模型，例如：

● 使用当前运行规则；

● 使用上一时刻煤耗作为预测值；

● 使用同负荷区间的历史平均值；

● 使用线性回归模型。

如果复杂模型只比简单基准好一点点，却增加了大量部署和维护成本，通常不值得采用。

3.4.3 结合机理和数据

能源系统不是完全的黑箱。可以将热力学、设备约束和控制逻辑融入模型：

● 限制主汽温度的合理范围；

● 排除检修和启停工况；

● 将负荷作为重要条件变量；

● 将燃料热值作为修正因素；

● 对优化变量设置上下限；

● 对变化速度设置限制。

较好的方法通常不是“只使用机理”或“只使用数据”，而是将机理知识和数据驱动模型结合起来。

3.5 阶段五：评估

评估阶段要回答的不是“模型分数高不高”，而是：

这个模型是否真的能够帮助企业解决问题？

3.5.1 技术指标

对于连续值预测，可采用：

● MAE：平均绝对误差；

● RMSE：均方根误差；

● MAPE：平均绝对百分比误差；

● R²：决定系数。

例如：

对于故障预警，还应关注：

● 误报率；

● 漏报率；

● 提前预警时间；

● 精确率；

● 召回率；

● 不同故障类型下的表现。

3.5.2 业务评估

假设一个模型的 MAE 很低，但它只在稳定高负荷工况下有效，而现场最关心的是低负荷和负荷波动工况，那么这个模型仍然不能算成功。

业务评估可以从以下方面开展：

● 是否达到预期节能比例；

● 是否增加了排放风险；

● 是否影响产品质量或产量；

● 是否减少了人工分析时间；

● 是否降低非计划停机；

● 运行人员是否愿意使用；

● 模型建议是否能够转化为操作动作。

3.5.3 现场试运行

部署前最好采用“影子模式”：

真实生产系统 ──> 模型接收数据 ──> 生成建议        

         │                                                   │        

         └──── 现场操作不受模型控制 ─┘ 

在影子模式下，模型只给出预测和建议，不直接控制设备。工程师可以观察：

● 数据是否实时到达；

● 模型是否频繁报警；

● 建议是否符合工艺经验；

● 不同工况下是否出现异常；

● 运行人员是否能理解结果。

确认模型稳定后，再考虑半自动或闭环控制。

3.6 阶段六：部署

部署不是把模型文件复制到服务器，而是将模型嵌入实际业务流程。

3.6.1 常见部署方式

方式一：报表分析

模型每天或每班次生成分析报表，适合节能诊断和管理决策。

方式二：实时监控

在监控画面中显示：

● 当前预测煤耗；

● 实际煤耗；

● 关键变量偏差；

● 风险等级；

● 可能原因；

● 建议操作方向。

方式三：预警系统

当预测未来一段时间可能出现效率下降或设备异常时，向运行人员发出预警。

方式四：辅助控制

模型提出设定值建议，由运行人员确认后执行。这种方式比直接自动控制更适合初期应用。

3.6.2 监控模型是否失效

工业模型上线后可能逐渐失效，原因包括：

● 设备大修或改造；

● 煤质发生变化；

● 季节和环境变化；

● 仪表更换；

● 控制策略调整；

● 生产负荷结构变化；

● 新的设备组合出现。

因此需要监控：

必要时应重新训练模型或调整特征。

4 CRISP-DM 对初级工业工程师的实际帮助

4.1 帮助避免“先找数据、后想问题”

很多项目一开始就问：“我们数据库里有什么数据？”更好的顺序是：

1. 先明确要解决的生产问题；

2. 再确定评价指标；

3. 再分析需要什么数据；

4. 最后决定使用什么算法。

这能够避免收集大量与目标无关的数据。

4.2 帮助建立工程化思维

工业数据挖掘不是一次性分析，而是完整系统工程。工程师需要关注：

● 数据从哪里来；

● 数据是否持续更新；

● 模型如何调用；

● 结果谁来使用；

● 异常时如何处理；

● 如何审计和追溯；

● 模型如何更新。

CRISP-DM 将这些问题分布在不同阶段，使项目更加有条理。

4.3 帮助正确认识模型误差

任何模型都有误差。工业现场更重要的是了解：

● 哪些工况下误差较大；

● 哪些变量导致模型不稳定；

● 预测置信度有多高；

● 是否超出了模型训练范围；

● 当模型不可靠时，是否可以退回人工规则。

一个成熟系统应允许模型说：“当前数据超出经验范围，建议人工确认”，而不是强行给出看似精确的结果。

4.4 帮助加强安全意识

能源行业属于高安全风险行业。模型建议不能绕过安全联锁、操作规程和管理制度。

CRISP-DM 可以帮助团队在业务理解和评估阶段明确：

● 模型是辅助决策还是自动控制；

● 哪些变量不可突破；

● 哪些异常必须由人工确认；

● 系统故障时采用什么安全策略；

● 模型结果是否需要保留审计记录。

5 一个完整项目的交付物示例

以“锅炉燃烧优化项目”为例，各阶段可形成以下成果：

这些交付物能够保证项目可复现、可交接、可审计，而不是只留下一个“模型准确率 95%”的演示结果。

6 使用 CRISP-DM 时应注意的局限

CRISP-DM 很有价值，但它不是万能的，也不是必须机械执行的标准模板。

6.1 不能替代工艺知识

模型无法自动理解所有设备机理。工程师仍然需要知道：

● 某个变量是否具有物理意义；

● 某个异常是否是真实故障；

● 某项操作是否安全；

● 某种相关关系是否可能是控制系统造成的。

6.2 不能保证数据质量

CRISP-DM 能够帮助发现数据问题，但无法自动解决传感器老化、点位缺失和系统接口不稳定等问题。企业还需要建立数据治理制度。

6.3 不能替代试验验证

历史数据中的相关关系不一定能指导未来操作。对节能控制和设备优化而言，必要时还需要开展小范围、可控的现场试验。

6.4 需要结合工业特点进行扩展

能源行业通常还需要补充：

● 机理模型；

● 安全风险评估；

● 变更管理；

● 实时数据流处理；

● 模型漂移监控；

● 权限和审计；

● 人机协同策略。

因此，实际项目可以把 CRISP-DM 与数据治理、MLOps、功能安全和设备管理流程结合起来。

希望IT、DT和OT的初级工程师能用CRISP-DM将工业数据实现工业智能。

推荐阅读田春华博士等著《工业数据分析工程：基于CRISP-DM的形式化方法》