以前做边缘 AI，要么用昂贵的 GPU，功耗高发热大;要么用性能不够的 ARM 板，跑个简单的模型都卡。现在好了，Intel 和 AMD 都推出了自带 NPU 的处理器，功耗只有几十瓦，算力却能达到几十 TOPS，特别适合边缘 AI 推理。
而支持 NPU 的工控机，就是为这些边缘 AI 推理应用设计的。它内置 NPU 神经网络处理单元，专门用于 AI 推理，能效比非常高，是边缘 AI 推理的理想选择。
一、为什么边缘 AI 推理需要支持 NPU 的工控机?
我做了 17 年工控，亲眼见证了边缘 AI 的发展。说实话，以前的边缘 AI 方案都不太理想。
用 GPU 吧，功耗太高，发热太大，不适合嵌入式应用。而且成本也很高。
用 ARM 板吧，性能不够，只能跑一些非常简单的模型。稍微复杂一点的模型就跑不动了。
直到 NPU 的出现，才真正解决了边缘 AI 推理的问题。NPU 是专门为 AI 推理设计的处理器，能效比比 CPU 高 10 倍以上，比 GPU 高 3-5 倍。
现在的主流处理器，比如 Intel Core Ultra 系列、AMD Ryzen AI 系列，都内置了 NPU。算力从几 TOPS 到几十 TOPS 不等，可以满足大多数边缘 AI 推理应用的需求。
二、支持 NPU 工控机的核心优势
1. 高能效比
这是 NPU 最大的优势。同样的 AI 推理任务，NPU 的功耗只有 CPU 的 1/10，GPU 的 1/5。非常适合电池供电和对功耗敏感的边缘应用。
比如我们的 UT100NU 工控机，搭载 Intel Ultra5 125H 处理器，内置 NPU 算力达 34TOPS，而整机功耗只有 28W。
2. 低延迟
NPU 专门用于 AI 推理，推理延迟非常低。可以满足实时性要求高的边缘 AI 应用，比如工业检测、机器人导航、自动驾驶等。
3. 高集成度
NPU 和 CPU、GPU 集成在同一块芯片上，不需要额外的扩展卡。这样可以大大减小设备的体积和重量，提高系统的集成度和可靠性。
UT100NU 的尺寸只有 120x120mm，却集成了强大的 AI 算力和丰富的接口。可以轻松地安装在各种小型设备里面。
4. 易于开发
现在的 NPU 都支持主流的 AI 框架，比如 TensorFlow、PyTorch、ONNX Runtime 等。开发人员可以很方便地把训练好的模型部署到 NPU 上。
5. 工业级可靠性
支持 NPU 的工控机采用工业级设计，宽温、抗振动、抗电磁干扰，可以在工业环境下 7×24 小时稳定运行。
三、支持 NPU 工控机 边缘 AI 推理方案：工业产品 AI 缺陷检测系统
上个月我们给佛山一家陶瓷厂做了个产品缺陷检测系统。这个系统需要检测瓷砖表面的各种缺陷，比如划痕、裂纹、色差、缺角等。检测速度要求达到每分钟 120 片。
这个项目的难点在于，需要在保证检测精度的同时，尽可能降低系统的成本和功耗。
我们给他们选型了 UT100NU 主板做的支持 NPU 的工控机。这款主机搭载 Intel Ultra5 125H 处理器，内置 NPU 算力达 34TOPS。完全满足这个项目的算力需求。
我们帮客户把 YOLOv8 缺陷检测模型部署到 NPU 上，实现了实时缺陷检测。检测速度达到了每分钟 150 片，缺陷检出率达到了 99.8%，误检率低于 0.3%。
最让客户满意的是，这套系统的功耗非常低，只有 30W 左右。比以前用 GPU 的方案节省了 80% 的电费。而且体积小，安装方便，可靠性高。
四、支持 NPU 工控机选型注意事项
NPU 算力：根据 AI 模型的复杂度选择合适的 NPU 算力
模型兼容性：要选择支持你使用的 AI 框架和模型的产品
接口丰富性：确保有足够的接口连接相机、传感器和外设
工业级可靠性：确保产品具备工业级的可靠性，适应恶劣的工业环境
软件支持：要选择提供完整驱动和 SDK 的厂商，方便开发和部署
其实支持 NPU 的工控机是边缘 AI 推理的最佳选择。它把强大的 AI 算力、低功耗、高集成度和工业级可靠性完美结合起来，为边缘 AI 的普及铺平了道路。如果你也有边缘 AI 推理的需求，不知道该怎么选型，可以在评论区留言，我会给你一些专业的建议。
文章来源：派勤电子(17 年专注工控主板 / 工控机 / 工业平板电脑生产研发)
