1.海思 MPP 框架-以 Hi3516 为例
前面讲的是 Linux 通用的 V4L2 框架。实际做海思 Hi3516 这类芯片时,还会经常遇到另一个词:MPP。
MPP 全称通常理解为 Media Processing Platform,也就是海思 SDK 里提供的一套媒体处理平台。
可以先这样区分:
V4L2:Linux 通用视频框架,核心是 /dev/videoX、ioctl、buffer。
海思 MPP:海思 SDK 封装好的媒体处理框架,核心是 VI、VPSS、VENC、VO、VB、SYS 等模块。
如果说 V4L2 更像 Linux 的标准接口,那么 MPP 更像海思给自家芯片准备好的“积木式流水线”。应用程序通过 HI_MPI_xxx 接口,把采集、图像处理、编码、显示这些模块串起来。
1.1 Hi3516上的典型视频链路
先看这张总图。它把 Hi3516 MPP 中几个最容易混的概念放到了一起:MIPI RX、VI Dev、VI Pipe、VI Chn、VPSS Group、VPSS Chn、VENC Chn、VO Dev/Layer/Chn、VB 和 SYS_Bind。

Hi3516海思MPP视频链路框架图
读这张图时,可以按三层看:
- 最上面是数据主链路:Sensor -> MIPI RX -> VI -> VPSS -> VENC/VO/算法。
- 中间看 Dev / Pipe / Group / Chn:它们不是同一类概念,分别表示硬件入口、处理管线、处理组和输出通道。
- 下面看 VB 和 SYS:VB 提供视频帧内存,SYS 负责初始化和模块绑定。
这里还要补一个很重要的概念:MPP 里经常会说“在线模式”和“离线模式”。
这里的“在线”不是联网,“离线”也不是断网。它说的是模块之间的数据流转方式。
|
模式 |
数据怎么走 |
应用程序做什么 |
特点 |
|
在线模式 |
上下游模块绑定后,帧在 MPP 内部自动流转 |
主要负责初始化、绑定、启动模块 |
延迟低,应用代码简单 |
|
离线模式 |
上游模块把帧放到内存,应用取出后再送给下游 |
需要 GetFrame/SendFrame/ReleaseFrame |
灵活,适合算法处理或插入自定义流程 |
在线模式可以这样理解:
VI -> VPSS -> VENC
应用调用 HI_MPI_SYS_Bind 把模块接好。
后面帧会在模块之间自动流动。
比如:
HI_MPI_SYS_Bind(&stViChn, &stVpssChn);
HI_MPI_SYS_Bind(&stVpssChn, &stVencChn);
这种方式适合常规采集、预览、编码场景。应用不用每一帧都手动取出来再送进去。
离线模式可以这样理解:
VPSS
-> 应用 GetFrame 取出一帧
-> 应用自己处理
-> SendFrame 给 VENC/VO/算法模块
-> ReleaseFrame 归还buffer
比如算法场景常常需要离线取帧:
HI_MPI_VPSS_GetChnFrame(VpssGrp, VpssChn, &stFrame, timeout);
/* 用户算法处理 stFrame */
HI_MPI_VPSS_ReleaseChnFrame(VpssGrp, VpssChn, &stFrame);
一句话记忆:
在线模式:模块绑定,自动传帧。
离线模式:应用取帧,处理后再归还或送给下游。
在线模式更像“搭好管道让水自己流”。
离线模式更像“把水舀出来处理一下,再倒回下一段管道”。
以摄像头采集并编码为例,Hi3516 上常见链路是:
Sensor
-> MIPI / LVDS / BT.1120
-> VI
-> VPSS
-> VENC
-> 码流文件 / RTSP / 网络发送
如果还要本地显示,可以再接一路:
VPSS
-> VO
-> HDMI / LCD / CVBS
如果要做算法分析,可以接:
VPSS
-> IVE / NNIE / 用户算法
其中每个模块的职责很清楚:
|
模块 |
大致作用 |
可以怎么记 |
|
SYS |
系统初始化、模块绑定、时间戳等基础能力 |
总开关 |
|
VB |
Video Buffer,统一管理视频帧内存 |
内存池 |
|
VI |
Video Input,接收 Sensor/接口输入 |
采集入口 |
|
ISP |
图像信号处理,处理 RAW 图像 |
调画质 |
|
VPSS |
Video Processing Sub-System,缩放、裁剪、格式转换等 |
图像加工站 |
|
VENC |
Video Encoder,H.264/H.265/JPEG 编码 |
压缩码流 |
|
VO |
Video Output,显示输出 |
屏幕显示 |
|
RGN |
Region,画 OSD、遮挡块等 |
叠加图层 |
|
AI/AO |
Audio Input/Output |
音频输入输出 |
|
AENC/ADEC |
音频编码/解码 |
音频压缩解压 |
先不要把这些模块看成一堆 API。更好的理解方式是:
VI 负责拿到原始图像。
VPSS 负责把图像变成后续模块想要的样子。
VENC 负责把图像压成码流。
VO 负责把图像送到屏幕。
VB 负责给这些模块提供可流转的内存。
SYS 负责把模块接起来。
1.2 MPP和V4L2的关系
在 Linux 通用框架里,应用层通常通过 /dev/video0 和 ioctl 操作摄像头。
在海思 MPP 里,应用层更多是这样写:
HI_MPI_SYS_Init();
HI_MPI_VB_SetConfig(&stVbConf);
HI_MPI_VI_EnableDev(ViDev);
HI_MPI_VI_EnableChn(ViChn);
HI_MPI_VPSS_StartGrp(VpssGrp);
HI_MPI_VENC_CreateChn(VencChn, &stVencAttr);
HI_MPI_SYS_Bind(&stSrc, &stDst);
也就是说,海思 MPP 把很多底层细节封装成了 SDK API。
可以这样理解:
V4L2思路:
应用直接面对 /dev/videoX,通过 ioctl 控制采集。
MPP思路:
应用面对 VI/VPSS/VENC/VO 等模块,通过 HI_MPI_xxx API 搭建流水线。
它们不是完全对立的两个世界。底层仍然离不开 Linux 驱动、Sensor 驱动、MIPI 接收、ISP、DMA 和内存管理。只是 MPP 在应用层给你提供了更完整的一套封装。
对做项目的人来说,区别主要体现在写法上:
|
维度 |
V4L2 |
海思 MPP |
|
应用入口 |
/dev/videoX |
HI_MPI_xxx API |
|
采集模块 |
video_device / driver ioctl |
VI |
|
图像处理 |
驱动或其他用户态库 |
VPSS / ISP |
|
编码 |
通常接 FFmpeg、硬编驱动等 |
VENC |
|
buffer 管理 |
vb2_queue、mmap、QBUF/DQBUF |
VB、Video Frame、模块绑定 |
|
模块连接 |
V4L2/media link、应用自己调度 |
HI_MPI_SYS_Bind |
1.3 SYS和VB:MPP链路初始化
海思 MPP 程序通常不会一上来就开 VI 或 VENC,而是先初始化 VB 和 SYS。
典型顺序是:
配置VB公共内存池
-> HI_MPI_VB_SetConfig
-> HI_MPI_VB_Init
-> HI_MPI_SYS_Init
为什么要先配 VB?
因为视频帧很大。比如 1920×1080 的 NV12,一帧大约是:
1920 x 1080 x 1.5 ≈ 3MB
如果是 30fps,每秒就会有大量图像数据在模块之间流动。MPP 不可能每来一帧就临时申请普通内存,这样效率低,也容易碎片化。
所以它会提前准备一批视频 buffer:
VB = 给视频帧准备的公共内存池。
常见配置会关心:
- buffer 块大小。
- buffer 块数量。
- 不同分辨率是否需要不同池。
- 编码、抓拍、显示是否共用或单独使用 buffer。
可以这样记:
VB管内存。
SYS管全局初始化和模块关系。
1.4 VI:视频输入模块
VI 是 Video Input,也就是视频输入模块。
在 Hi3516 上,VI 负责从 Sensor 或视频输入接口拿到图像。它通常和这些东西有关:
- Sensor 驱动。
- MIPI/LVDS/BT.1120 输入接口。
- ISP。
- VI Dev、VI Pipe、VI Chn。
不同 Hi3516 型号、不同 MPP 版本命名会有差异。有些版本强调 VI_DEV 和 VI_CHN,有些版本还会看到 VI_PIPE。理解时不用先纠结名字,先抓住层次:
VI Dev:更偏输入设备或硬件接口。
VI Pipe:更偏一条图像处理管线,常和 ISP/RAW 处理相关。
VI Chn:更偏输出通道,把处理后的帧送给后级模块。
一个常见过程是:
配置Sensor和MIPI
-> 启动ISP
-> 使能VI设备
-> 使能VI通道
-> VI开始产生视频帧
从 V4L2 角度类比:
VI 很像海思 MPP 里的采集入口。
但 VI 不只是 /dev/video0 的简单替代。它通常和海思 ISP、Sensor 配置、MIPI 接收紧密绑定。
1.5 ISP:RAW图像处理模块
Sensor 输出的常常是 RAW 数据。RAW 数据不能直接拿来显示或编码,通常要经过 ISP。
ISP 会做很多图像处理:
- 黑电平校正。
- 去坏点。
- 去噪。
- 自动曝光 AE。
- 自动白平衡 AWB。
- 颜色校正。
- Gamma。
- 锐化。
- RAW 转 YUV。
在海思 MPP 里,ISP 通常不是孤立使用的。它会和 Sensor、VI、3A 库一起工作。
可以这样理解:
Sensor 负责把光变成电信号。
ISP 负责把原始图像调成可用画面。
VI 负责把处理后的帧送入MPP流水线。
如果画面过曝、偏色、噪点多,很多时候不是 VENC 的问题,而是 ISP 或 Sensor 参数的问题。
1.6 VPSS:图像裁剪缩放旋转
VPSS 是 Video Processing Sub-System。
VI 拿到图像后,通常不会直接给 VENC。中间会先进 VPSS。
VPSS 常见作用:
- 缩放。
- 裁剪。
- 格式转换。
- 旋转或镜像。
- 降噪。
- 一路输入,多路输出。
比如主码流要 1080P,子码流要 640×360,就可以这样理解:
VI输出一份原始图像
-> VPSS处理
-> VPSS Chn0 输出 1080P 给主码流 VENC
-> VPSS Chn1 输出 640×360 给子码流 VENC
VPSS 的“组”和“通道”也很好记:
VPSS Group:一组处理上下文,通常接一路输入。
VPSS Channel:这组处理后的不同输出。
所以,VPSS 很适合做“一路输入,多路输出”。
1.7 VENC:编码模块
VENC 是 Video Encoder。
它把一帧帧 YUV 图像压缩成码流,比如:
- H.264
- H.265
- MJPEG
- JPEG
典型流程:
创建VENC通道
-> 设置编码类型、分辨率、码率、GOP
-> 绑定VPSS到VENC
-> 启动接收图像
-> 获取编码码流
-> 写文件或网络发送
常见 API 思路:
HI_MPI_VENC_CreateChn(VencChn, &stVencChnAttr);
HI_MPI_VENC_StartRecvFrame(VencChn, &stRecvParam);
HI_MPI_VENC_GetStream(VencChn, &stStream, HI_TRUE);
HI_MPI_VENC_ReleaseStream(VencChn, &stStream);
需要注意:VENC 输出的不是图像帧,而是压缩后的码流。
VPSS输出:一帧YUV图像。
VENC输出:H.264/H.265/JPEG码流。
如果要推流,通常就是不断从 VENC 取码流,再送给 RTSP、RTP、文件或其他网络模块。
1.8 VO:显示输出模块
VO 是 Video Output。
如果项目需要本地预览,就会用到 VO。
典型链路:
VI
-> VPSS
-> VO
-> HDMI / LCD / CVBS
VO 关心的是显示设备、显示层、显示通道。
可以这样记:
VENC负责压缩给网络或文件。
VO负责显示给屏幕。
很多项目里,编码和预览会同时存在:
VI -> VPSS -> VENC -> 网络推流
\\
-> VO -> 本地预览
这就是 MPP 模块化的好处。一个上游模块可以绑定到多个下游模块,或者通过 VPSS 分出不同尺寸的图像。
1.9 HI_MPI_SYS_Bind:把模块接起来
MPP 里的模块不是靠应用自己一帧一帧搬来搬去。更常见的方式是绑定。
比如:
VI -> VPSS
VPSS -> VENC
VPSS -> VO
应用程序会调用类似:
HI_MPI_SYS_Bind(&stSrcChn, &stDstChn);
绑定之后,数据会在 MPP 内部流转。
可以这样理解:
不绑定:应用要自己取帧、送帧。
绑定:模块之间自动传帧。
这和 V4L2 的应用层 DQBUF/QBUF 思路不太一样。
V4L2 常见写法是应用自己从驱动取 buffer,再决定怎么处理。MPP 更倾向于把模块绑好,让数据自动从上游流到下游。
1.10 一路编码的典型初始化顺序
以“摄像头采集并编码 H.264/H.265”为例,主线可以写成:
1. 配置VB
2. 初始化SYS
3. 配置并启动Sensor/MIPI/ISP
4. 启动VI
5. 创建并启动VPSS
6. 创建VENC通道
7. 绑定VI -> VPSS
8. 绑定VPSS -> VENC
9. 启动VENC接收图像
10. 循环获取VENC码流
11. 退出时解绑、停止模块、释放VB和SYS
伪代码如下:
/* 1. 准备公共内存 */
SAMPLE_COMM_SYS_Init(&stVbConf);
/* 2. 启动VI,包含Sensor/MIPI/ISP等准备工作 */
SAMPLE_COMM_VI_StartVi(&stViConfig);
/* 3. 启动VPSS */
SAMPLE_COMM_VPSS_Start(VpssGrp, abChnEnable, &stVpssGrpAttr, astVpssChnAttr);
/* 4. 启动VENC */
SAMPLE_COMM_VENC_Start(VencChn, enPayLoad, enPicSize, enRcMode, u32Profile, bRcnRefShareBuf);
/* 5. 绑定模块 */
SAMPLE_COMM_VI_Bind_VPSS(ViPipe, ViChn, VpssGrp);
SAMPLE_COMM_VPSS_Bind_VENC(VpssGrp, VpssChn, VencChn);
/* 6. 获取码流 */
SAMPLE_COMM_VENC_StartGetStream(&VencChn, 1);
不同 SDK 版本的 sample 函数名可能不同,但主线大体类似。
真正重要的是顺序:
先准备内存和系统。
再启动输入和处理模块。
再启动编码模块。
最后绑定模块并取码流。
退出时顺序通常反过来:
停止取流
-> 解绑模块
-> 停止VENC
-> 停止VPSS
-> 停止VI/ISP/Sensor
-> SYS退出
-> VB退出
1.11 MPP里的buffer怎么理解
前面 V4L2 里讲过 vb2_queue 和 v4l2_buffer。
在 MPP 里,要对应到 VB 和 VIDEO_FRAME_INFO_S。
可以这样类比:
|
V4L2 |
海思MPP |
|
vb2_queue |
VB公共内存池 |
|
v4l2_buffer |
VIDEO_FRAME_INFO_S |
|
QBUF/DQBUF |
模块内部传帧,或应用 GetFrame/ReleaseFrame |
|
mmap |
MPP内部物理/虚拟地址管理 |
MPP 的帧一般会用结构体描述,比如里面会有:
- 宽高。
- 像素格式。
- stride。
- 物理地址。
- 时间戳。
- 压缩模式。
应用如果直接从 VI 或 VPSS 取帧,常见思路是:
HI_MPI_VPSS_GetChnFrame(VpssGrp, VpssChn, &stFrame, s32MilliSec);
/* 使用图像 */
HI_MPI_VPSS_ReleaseChnFrame(VpssGrp, VpssChn, &stFrame);
这里一定要 release。否则 buffer 还不回去,后面就可能没有空闲帧可用。
这和 V4L2 的 DQBUF 后要重新 QBUF,本质上很像。
取走buffer以后,一定要还。
1.12 MPP和V4L2的记忆对照
最后做一个对照表,方便把两套体系连起来。
|
学习问题 |
V4L2视角 |
Hi3516 MPP视角 |
|
应用从哪里开始? |
打开 /dev/video0 |
调用 HI_MPI_xxx |
|
谁负责采集? |
video驱动、subdev、vb2 |
VI |
|
谁负责Sensor控制? |
v4l2_subdev_ops、I2C |
Sensor驱动、ISP、VI配置 |
|
谁负责图像处理? |
驱动、ISP、用户库 |
ISP、VPSS |
|
谁负责内存? |
vb2_queue |
VB |
|
谁负责编码? |
其他编码接口或硬编驱动 |
VENC |
|
谁负责显示? |
DRM/Framebuffer/其他显示框架 |
VO |
|
模块怎样连接? |
media graph、应用调度 |
HI_MPI_SYS_Bind |
|
应用怎样取数据? |
DQBUF |
GetStream / GetFrame |
海思MPP路线:
VB/SYS
-> VI
-> VPSS
-> VENC/VO
-> GetStream 或显示输出
V4L2 路线:
video_device
-> ioctl_ops
-> v4l2_subdev
-> Sensor/CSI/ISP
-> vb2 buffer
两条线合起来看,Hi3516 的视频系统就不再是一个黑盒。




